AI에게는 기억이 없어요. 방이 있을 뿐이에요.
이걸 처음 실감한 건, 무언가를 빌드하려고 몇 시간째 채팅 창 안에서 씨름할 때였어요. 메시지가 백 개쯤 쌓였을 무렵, AI가 점점 둔해지기 시작했습니다. 방금 말한 것도 잊고, 앞뒤가 맞지 않는 답을 내놓았어요.
고장난 줄 알았습니다. 아니었어요. 방이 꽉 찬 것뿐이었습니다.
핵심은 이렇습니다. AI에게 전달하는 모든 것은 단 하나의 방 안에 동시에 담겨야 해요. 지금 보낸 메시지, 지금까지의 대화 전체, 업로드한 파일, 앱이 뒤에서 몰래 집어넣는 숨겨진 지시사항('당신은 친절한 어시스턴트입니다, 오늘 날짜는...' 같은 것들)까지 모두. 전부 같은 방에 쌓입니다. '컨텍스트 윈도우'란 그 방의 크기를 가리키는 말이에요.
그리고 대부분의 사람이 모르는 부분이 있어요. 전송 버튼을 누를 때마다 AI는 방 전체를 처음부터 다시 읽습니다. 사람처럼 이전 메시지를 기억하는 게 아니라, 매번 위에서 아래로 전부 다시 훑어요.
모델마다 방 크기가 다르고, 그 차이는 상당합니다.
- GPT-4o 같은 소형 또는 구형 모델은 원룸 수준이에요. 약 128,000토큰, 수백 페이지 분량이죠.
- GPT-5.1 같은 주력 모델은 제대로 된 집 크기예요. 약 272,000토큰이에요.
- 최전선 모델은 저택급입니다. Anthropic의 Claude Opus와 Google의 Gemini는 각각 약 1,000,000토큰(대략 75만 단어, 1,500페이지)을 담아요.
숫자를 외울 필요는 없습니다. 몇 달마다 올라가니까요. 중요한 건 격차예요. 가장 큰 방은 가장 작은 방의 열 배 가까이 담을 수 있고, 계속 커지고 있어요. (토큰은 방 크기를 재는 단위예요.)
무한정 넓게 느껴질 수 있어요. 그렇지 않습니다. 크다고 자동으로 좋은 건 아니에요. 잡동사니로 벽까지 꽉 찬 저택은 아무것도 찾을 수 없는 저택일 뿐이니까요. 방이 가득 차면 AI는 무엇이 어디 있는지 놓치기 시작해요. 기술적으로는 '담겨 있어도'. 대화가 길어질수록 새 채팅보다 점점 둔해지는 느낌이 드는 이유가 바로 이것입니다. 고장난 게 아니에요. 방이 어질러진 것뿐이에요.
그러니 "방금 전에 말했잖아요"라고 해도 AI가 멍하게 반응한다면, 그건 건망증이 아닙니다. 방이 꽉 차서 초반 내용이 새 내용을 위해 밖으로 밀려난 거예요. 천장까지 잡동사니로 가득 찬 저택에서 영수증 한 장을 찾으라고 기대하는 격입니다.
방의 개념이 보이기 시작하면, 더 이상 싸우지 않게 돼요.
새 채팅을 자주 시작하세요. 방을 깔끔하게 유지하면 됩니다.