한동안 AI는 어려운 질문에 첫 번째 떠오르는 것을 곧바로 내뱉는 아이처럼 작동했어요. 빠르고 자신감 있었지만, 문제가 복잡할수록 틀리는 일이 많았죠. 추론은 그것을 바꾼 기술이에요.
추론 모델은 최종 답을 내놓기 전에 문제를 단계별로, 글로 풀어가며 생각해요. 바로 "42"를 외치는 대신 조용히 생각하는 거예요. '이 질문이 묻는 건 이거고, 그러면 먼저 이걸 해야 하고, 그다음엔 이걸 확인해야 한다.' 그런 다음 답하는 방식이에요. 그 중간 단계는 대부분 보이지 않아요. 커튼 뒤에서 일어나는 일이에요. 하지만 바로 그 과정이 즉흥적인 추측과 제대로 풀어낸 답의 차이를 만들어요.
"17 곱하기 23"과 "2 더하기 2"를 어떻게 처리하는지 떠올려보세요. 쉬운 건 그냥 알아요. 어려운 건 잠깐 생각하거나 연습지가 필요하죠. 추론은 모델이 연습지를 꺼내는 행위예요. 즉각적인 답이 틀리기 쉬운 곳, 즉 수학, 논리, 다단계 계획, 코드, 함정이 있는 문제에서 가장 유용해요.
앞서 다룬 추론 실행(inference)을 기억하시나요? 모델이 토큰을 하나씩 쌓아 답을 만들어가는 과정이었는데요. 추론(reasoning)은 그 토큰 중 더 많은 몫을 먼저 자기 자신에게 쓰는 거예요. 당신에게 말을 걸기 전에 먼저 큰 소리로 생각하는 셈이에요. 그래서 추론 답변은 비용이 더 들고 시간도 걸려요. 최종 답만이 아니라 풀이 과정 전체에 토큰을 쓰는 거니까요. 가끔 실제 답이 나오기 전에 "생각 중..." 같은 멈춤이 보이는 것도 이 이유예요. 연습지를 채우는 중인 거예요.
모델이 "추론을 잘한다"거나, 추론 노력(reasoning effort)을 low 또는 high로 설정하는 옵션을 보셨다면, 그건 답하기 전에 얼마나 많은 풀이 과정을 거칠지 조절하는 다이얼이에요. 빠르고 단순한 문제엔 low, 꼼꼼히 확인해야 하는 복잡한 문제엔 high로 두는 거예요. 더 많이 생각한다고 항상 더 좋은 건 아니에요. 어려운 문제에서는 확실히 낫지만, 쉬운 문제에서는 그저 더 느리고 비쌀 뿐이에요.
솔직한 한계도 있어요. 모델이 보여주는 풀이 단계가 실제로 그 답에 도달한 진짜 이유와 항상 일치하지는 않아요. 페이지에서는 아름답게 추론하고도 답이 틀릴 수 있거든요. 더 많은 풀이가 붙은, 여전히 자신감 있는 환각(hallucination)인 거예요. 추론은 어려운 답을 훨씬 더 신뢰할 수 있게 만들어줘요. 하지만 보장해주지는 않아요.
추론은 모델이 답하기 전에 연습지를 꺼내는 과정이에요. 더 많은 토큰과 시간이 들어요. 첫 번째 추측이 틀릴 만큼 문제가 어려울 때, 바로 그때 그 비용이 가치를 발휘해요.