AI에게 "strawberry"에 R이 몇 개 있냐고 물어보면 당황하는 걸 볼 수 있어요.
여러 모델을 시험하다 보면 그중 하나는 눈 하나 깜짝하지 않고 두 개라고 단언해요. 다섯 살 아이도 맞출 수 있는 단어에서 가장 뛰어난 도구가 걸려 넘어지는 거죠. 토큰을 이해하면, 이게 더 이상 미스터리가 아니라 당연한 일이 돼요.
핵심은 이렇습니다. AI는 우리가 입력한 문장을 그대로 보지 않아요. 입력한 단어들은 AI가 읽기 전에 이미 토큰이라는 조각으로 잘려요. 토큰은 때로는 단어 하나 전체이고, 때로는 단어의 일부예요. "Cat"은 토큰 1개예요. "Strawberry"는 여러 개로 쪼개지고요. 대략적인 기준은 이렇습니다.
- 토큰 1개는 영어 단어 약 0.75개에 해당해요.
- 100토큰은 대략 75단어예요.
- 100만 토큰은 약 75만 단어, 책 1,500페이지 분량이에요.
토큰은 언어의 레고 블록이라고 생각하시면 돼요.
문장을 건네면 AI는 블록 더미를 받아 들고, 다음에 올 블록이 무엇일지 예측하는 게 전부예요. 의미를 이해하는 게 아니에요. 그저 세상에서 가장 정교한 "다음에 오는 것" 게임을 하고 있을 뿐이죠.
이 사실 하나가, 아마 한 번쯤 마주쳤을 세 가지 현상을 설명해 줘요.
1. 비용. API로 AI를 사용하면 월정액이 아니라 토큰 단위로 요금이 청구돼요. 보내는 것도, 받는 것도 모두 포함되고요. 짧은 질문은 저렴해요. 긴 문서를 붙여넣고 장황하게 대화를 이어가면 그렇지 않아요. 블록 하나하나에 값이 붙어 있으니까요.
2. 공간. 컨텍스트 윈도우는 모든 것이 들어가야 하는 방 하나예요. 이 방의 크기는 페이지나 메시지 수가 아니라 토큰으로 측정돼요. "20만 컨텍스트 윈도우"는 한 번에 20만 개의 블록을 담을 수 있다는 뜻이에요. 방이 가득 차면 먼저 들어온 블록이 밀려 나가요.
3. 사각지대. 다시 strawberry 얘기로 돌아가면, AI는 s-t-r-a-w-b-e-r-r-y라는 글자를 보는 게 아니에요. "strawberry"를 의미하는 블록 두세 개를 보는 거예요. 단어가 블록이 되는 순간 글자는 사라져요. R이 몇 개냐는 글자를 묻는 질문인데, 세어볼 글자가 남아 있지 않은 거죠.
실용적인 결론이에요.
- 프롬프트를 간결하게 쓰세요. 장황하면 토큰을 낭비하고 공간만 차지해요. 하고 싶은 말을 바로 쓰는 게 낫습니다.
- 철자, 글자 수, "몇 번 나오나" 같은 질문은 AI를 믿지 마세요. 글자를 묻는 질문인데 AI는 블록만 보고 있어요. 직접 확인하는 게 맞아요.
- 파일은 붙여넣기 전에 변환하세요. 지저분한 PDF는 레이아웃 해석에만 토큰이 대거 소비돼요. 일반 텍스트로 바꾸면 그 블록들이 실제 사고에 쓰여요.
블록은 비용의 단위이기도 하고 AI가 사고하는 단위이기도 해요. 더 깔끔한 블록을 건네면 같은 모델에서 더 싼 비용과 더 나은 답변을 얻을 수 있어요.