아내와 저는 특정 유형의 사람을 부르는 말이 있어요. CBR. Confident But Wrong, 자신 있지만 틀린 사람.
그 유형을 아실 거예요. 완전한 권위와 전혀 망설임 없이 길을 알려주는데, 그가 보내는 식당은 12년 전에 문을 닫았죠.
그게 AI 환각이에요.
모델은 구글에서 검색하듯 정보를 찾지 않아요. 가장 그럴듯하게 들리는 답변을 한 조각씩 예측합니다. 답을 알 때는 그 자신감이 정당해요. 모를 때는 대개 멈추지 않고요. 정답처럼 보이는 무언가를 만들어내요. 그럴듯하고, 구체적이고, 세부 사항도 있어요. 틀렸을 뿐이죠.
그래서 교묘해요. 환각은 실수처럼 보이지 않아요. 지금까지 사실을 말해줄 때와 똑같이 차분한 목소리로, 답변처럼 보입니다. 가짜 출처가 진짜 출처 바로 옆에, 같은 옷을 입고 앉아 있는 거예요.
실감이 왔던 순간이 있었어요. 제 Shopify 스토어의 메타필드 이름을 정확히 알려달라고 했는데, AI가 완벽해 보이는 이름을 줬어요. 포맷도 맞고 표현도 자연스러웠으며, 제가 직접 썼을 법했죠. 존재하지 않는 이름이었어요. 제가 어디에도 적어두지 않은 것이라 AI가 그럴듯하게 들리는 이름을 만들어낸 거예요. (변호사들도 법원 판례에서 똑같은 일을 당해 수천 달러 벌금을 받았어요. 같은 수법, 더 높은 판돈.)
해결책은 단순해요. 중요한 건 직접 확인하세요. 이름, 숫자, 인용구, "실제로 이걸 했는지." 틀린 답이 비용을 치르게 한다면, 직접 검토해야 합니다.
이 말이 도구가 고장 났다는 의미는 아니에요. 영리하고 빠르지만 자신감이 약간 지나친 인턴으로 대우하라는 뜻이에요. 인턴의 조사 결과를 한 번도 보지 않고 고객에게 전달하는 사람은 없잖아요. 여기도 마찬가지예요.
CBR. Confident But Wrong. 이제 AI에서도, 사람에게서도 이 패턴이 보이실 거예요.