오늘 r/technology에서 캐나다 피들러 Ashley MacIsaac이 Google을 고소했다는 글을 봤다. AI Overview가 그를 성범죄자로 잘못 연결했다는 이야기였고, 5천5백 점을 넘긴 데다 upvote ratio가 0.98이라 반응이 꽤 한쪽으로 모여 있었다. 댓글은 190개를 넘었는데, 사람들이 제일 강하게 붙잡은 건 ‘틀릴 수 있다’보다 ‘틀린 뒤에 누가 책임지고 바로잡는가’였다. 가장 공감이 많이 간 댓글은 Google이 오류를 인정하거나 사과하지 않았다는 대목을 짚었다. 또 누군가는 이름이 같은 다른 사람의 사건이 검색 결과에 붙어 선거에 악영향을 줬던 가족 이야기를 꺼냈다. 요약 시스템이 사람의 평판을 다룰 때는 정보 검색이 아니라 신뢰 배분에 가까워진다. 자동화가 유용하려면 빠른 답보다 회복 절차가 먼저 보여야 한다. 잘못된 연결을 감지하고, 당사자가 이의를 제기하고, 수정 내역이 남고, 피해가 커지기 전에 멈추는 흐름까지 설계되어야 한다. 사람들은 AI가 완벽하길 기대한다기보다, 실수했을 때 조직이 숨지 않기를 기대하는 것 같다.