추수감사절 저녁 식탁을 떠올려 보세요. 칠면조, 스터핑, 으깬 감자, 아무도 시키지 않았지만 다 먹어치운 파이까지. 이걸 전부 블렌더에 쏟아붓고 버튼을 누릅니다.
기술적으로는 여전히 추수감사절 음식이에요. 같은 재료, 다 들어 있어요. 하지만 전혀 같은 음식이 아니고, 되돌릴 수도 없어요.
그게 컴팩션이에요.
실제로 무슨 일이 일어나는지 설명할게요. AI는 방 안에서 생각해요. 지금까지 나눈 대화 전부가 그 방에 쌓여 있고요. 방이 꽉 차면 AI는 더 밀어 넣을 수 없어요. 그래서 살아남기 위해, 대화의 앞부분을 짧은 요약으로 압축하고 전체 기록 대신 그 요약본을 들고 계속 진행합니다.
핵심은 남아요. 세부 내용은 뭉개지고요.
조짐은 성격 변화로 나타나요. AI가 날카롭고 집중된 상태로 원하는 방식을 정확히 기억하고 있었는데, 컴팩션이 일어나면 답이 흐릿해져요. 약간 엇나가고요. 정확한 답을 잡으려다 '비슷한 것'을 집어드는 느낌이에요. AI가 멍청해진 게 아니에요. 갈아진 버전으로 작동하고 있을 뿐이에요.
그리고 여기서 신경 써야 할 부분이 있어요. 컴팩션이 일어날 때, 무엇을 남길지 결정하는 건 AI예요. 내가 아니에요. AI가 몇 시간의 대화를 훑고 "우리가 하던 것"에 대한 자체 요약을 작성하는데, 내가 실제로 중요하게 여겼던 세부 내용이 블렌더 속으로 조용히 사라질 수 있어요.
그래서 제가 실제로 쓰는 방법은 이래요. 세션이 스스로 컴팩션하도록 내버려 두지 않아요.
방이 차오르는 게 보이는 순간, 멈춰요. 블렌더가 돌아가길 기다리지 않고, 대신 이렇게 해요.
새 세션을 시작해요. 비어 있고 깨끗한 방을 다시 얻는 거예요.
빠른 인수인계 메모를 써요. 실제로 중요한 것들만요. 무엇을 만들고 있는지, 무엇이 결정됐는지, 남은 할 일은 무엇인지.
그걸 새 대화에 붙여넣어요. 세부 내용을 그대로 유지하면서 정확히 이어서 진행하는 거예요. 내가 무엇을 남길지 결정했으니까요.
이런 상황에 당하지 않으려면 알아둘 게 몇 가지 있어요.
- 컴팩션은 대개 조용히 일어나요. 일부 도구는 "지금 압축 중"이라고 알려줘요. 많은 도구는 그냥 해버려요. 긴 대화가 갑자기 안개 낀 느낌이 든다면, 컴팩션이 첫 번째 용의자예요.
- 방이 클수록 늦춰질 뿐, 막히지는 않아요. 저택은 원룸보다 느리게 차지만, 대화가 충분히 길어지면 어떤 방이든 가득 차요.
- 인수인계 메모는 요약보다 항상 나아요. 모델에게 추측을 맡기는 대신, 무엇이 살아남을지 내가 직접 결정하는 거니까요.
모델이 컴팩션하면 펜을 모델이 쥐어요. 인수인계 메모와 함께 새로 시작하면 펜을 내가 쥐게 돼요.