RAG는 오픈북 시험이에요. AI가 답하기 전에 자료를 뒤적이죠. 그런데 AI에게 내 세계를 알게 만드는 두 번째 방법이 있어요. 방향이 정반대예요. 참고서를 건네주는 대신, 이미 머릿속에 있는 것 자체를 바꾸는 거예요.
두 방법을 나란히 놓고 볼게요. "AI가 우리 것을 알게 하려면?"이라는 질문은 거의 언제나 이 갈림길로 귀결돼요.
신입사원 비유가 가장 명확해요.
- RAG는 바인더를 건네며 "답은 여기 있으니 찾아봐"라고 하는 거예요. 빠르고 저렴하고, 바인더는 언제든 업데이트할 수 있어요. 단, 눈앞의 바인더가 전부예요.
- 파인튜닝은 6주짜리 교육 과정에 보내는 거예요. 교육이 끝나면 그 부분에서는 더 이상 바인더를 꺼내지 않아요. 몸에 밴 거니까요. 따로 상기시키지 않아도 회사 문체로 글을 써요. 다만 교육에는 시간과 비용이 들어요. 그리고 프로세스가 바뀌는 날, 다시 교육을 보내야 해요.
결국 파인튜닝이란 기반 모델을 가져다가 내 예시 데이터로 계속 학습시켜서, 패턴이 영구히 새겨지게 만드는 거예요. 뒤적일 페이지가 없어요. 그냥 그렇게 하게 되는 거예요.
잘하는 것과 못하는 것. 파인튜닝은 사실(fact)에는 보통 약해요. 가격, 재고, 지난주 수치처럼 사실은 변하거든요. 가격이 바뀔 때마다 모델을 다시 학습시키는 건 말이 안 돼요. 사실은 RAG의 영역이에요. 파인튜닝이 빛나는 곳은 형태와 스타일이에요. 모델이 브랜드 톤으로 일관되게 말하게 만들거나, 모든 답변을 원하는 형식으로 뽑게 하거나, 반복적인 단일 작업을 정확히 처리하게 만드는 거예요. 새로운 사실을 가르치는 게 아니라 새로운 습관을 심는 거예요.
솔직한 트레이드오프를 나열하면:
비용과 노력. 양질의 예시 데이터가 상당량 필요하고, 실제 학습 실행도 필요해요. RAG에 폴더 하나 연결하는 것과는 차원이 다른 작업량이에요.
시간이 멈춰요. 오늘의 지식을 구워 넣으면 오늘에서 얼어붙어요. 세상은 계속 움직이지만 파인튜닝된 모델은 다시 학습하기 전까지 그 자리예요.
되돌릴 수 없어요. 학습 데이터에 잘못된 사실이 구워지면 나중에 자신감 있는 헛소리로 튀어나와요. 환각(hallucination) 문제가 더 고착된 형태로 나타나는 거예요. 페이지 하나 수정해서 고칠 수 없어요. 다시 학습해야 해요.
실전 답은 거의 언제나 "둘 다"예요. 스타일은 파인튜닝으로 브랜드 목소리를 입히고, 사실은 RAG로 최신 상태를 유지하는 거예요. "우리 비즈니스를 아는 AI"처럼 보이는 것 대부분은 이 조합이에요. 둘 중 하나를 고르는 종교적 선택이 아니에요.
누군가 "파인튜닝을 해야 할까요, RAG를 써야 할까요?"라고 물으면 이렇게 바꿔서 생각해 보세요. 영구히 학습해야 하는 건가, 아니면 그냥 찾아봐야 하는 건가? 계속 바뀌는 것이라면 RAG부터 시작하세요. 같은 형태의 같은 작업이 천 번 반복된다면, 파인튜닝이 비용을 정당화하기 시작해요.
RAG는 책을 펴줘요. 파인튜닝은 학교에 보내줘요. 사실은 변하니까 찾아보게 하고, 스타일과 습관은 고정되니까 구워 넣으세요.