LLM 파인튜닝, RAG, 프롬프트 – 무엇을 먼저 써야 할까

핵심 요약

• 프롬프트 엔지니어링은 모델에 주는 지시문과 예시를 설계하는 방법이고, RAG는 관련 문서를 검색해 함께 주는 방법이며, 파인튜닝은 예시 데이터로 모델의 가중치를 추가 학습시키는 방법입니다. 학습 범위는 기법에 따라 다릅니다.
• 자주 바뀌는 사내 지식을 근거로 답하게 하려면 RAG가 적합하며, 파인튜닝은 지식이 바뀔 때마다 다시 학습해야 합니다.
• 파인튜닝은 일정한 출력 형식, 대량 분류·추출, 고유한 문체가 프롬프트와 RAG로 해결되지 않을 때, 또는 작은 모델로 운영비를 줄이려 할 때 검토할 가치가 있습니다.
• 공개 사례 연구에서 싱가포르 프롭테크 스타트업의 RAG 매물 검색은 매물 정보 할루시네이션 0건을 기록했고, 미국 핀테크의 LLM 문서 인텔리전스는 정확도 95%와 처리 시간 80% 감소를 기록했습니다.

세 가지 방식 비교

세 방식은 함께 쓸 수 있습니다. RAG로 근거를 주고, 프롬프트로 답변 규칙을 정하고, 형식이 까다로운 부분만 파인튜닝한 모델에 맡기는 식입니다. 다만 구성 요소가 늘어날수록 문제가 생겼을 때 원인을 찾기 어려워지므로, 단순한 구성으로 기준 점수를 먼저 확보한 뒤 하나씩 더하는 것이 좋습니다.

선택 순서 – 네 가지 질문

1. 회사 고유 지식이 필요 없는 작업인가? 그렇다면 프롬프트 설계부터 시작합니다. 최신 상용 LLM은 지시문과 예시 몇 개만으로 많은 업무를 처리합니다.
2. 사내 문서나 자주 바뀌는 정보를 근거로 답해야 하는가? 그렇다면 RAG를 더합니다. 구축 순서는 RAG 구축 실무 가이드에, 서비스 범위는 RAG 개발 서비스에 있습니다.
3. 그래도 출력 형식, 분류 정확도, 문체가 기준에 못 미치는가? 그때 파인튜닝을 검토합니다.
4. 처리량이 많아 운영비가 부담되는가? 큰 모델 대신 작은 모델을 파인튜닝해 같은 작업을 처리하는 방안을 비교합니다.

각 단계의 판단은 같은 평가 세트(실제 업무 사례 50–100건과 그 정답)로 내려야 합니다. 방식을 바꿀 때마다 같은 세트로 점수를 비교하지 않으면, 어떤 변경이 효과가 있었는지 알 수 없습니다.

LLM 파인튜닝이 실제로 필요한 경우

• 출력 형식의 일관성. 정해진 보고서 양식이나 특정 JSON 구조처럼 매번 정확히 같은 형식이 필요한 경우입니다.
• 대량 분류·추출. 문의 유형 분류, 문서에서 특정 항목 추출을 대량으로 안정적으로 처리해야 하는 경우입니다.
• 문체와 용어. 회사 고유의 응대 말투나 업계 용어를 일관되게 써야 하는 경우입니다.

지식을 넣으려는 목적의 파인튜닝은 기대에 못 미치기 쉽습니다. 학습한 내용을 정확히 꺼내는 데 한계가 있고, 내용이 바뀔 때마다 다시 학습해야 하기 때문입니다. 요즘은 LoRA(모델 전체가 아니라 작은 추가 가중치만 학습하는 기법)처럼 학습 비용을 줄이는 방법이 널리 쓰이지만, 학습 후 평가와 모델 버전 관리 비용은 계속 남습니다. 데이터를 준비할 때는 학습용과 검증용을 나누고, 앞에서 만든 평가 세트와 겹치는 사례가 학습 데이터에 들어가지 않게 해야 합니다. 겹치면 점수가 실제보다 높게 나와 효과를 과대평가하게 됩니다. 한국어 품질이 중요하다면 기반 모델 선택도 함께 검토해야 하며, 이 부분은 한국어 LLM 선택 가이드에서 다룹니다.

개인정보 측면의 차이

RAG는 검색 대상 문서를 갱신할 수 있지만, 기존 인덱스·캐시·로그에도 정보가 남아 있는지 확인해야 합니다. 파인튜닝된 모델에서 특정 학습 정보를 제거하는 일은 더 복잡할 수 있습니다. 그래서 학습 데이터에서는 개인정보를 미리 제거하는 것이 기본이며, 가명처리한 정보도 여전히 개인정보이므로 처리 근거와 보호조치를 따로 검토해야 합니다(개인정보 보호법, 2026년 10월 기준).

개인정보보호위원회가 2025년 8월 공개한 생성형 AI 개발·활용을 위한 개인정보 처리 안내서는 상용 LLM 서비스 활용, 오픈소스 LLM 추가 학습, 소형 모델 자체 개발로 개발 방식을 나눠 단계별 안전조치를 제시합니다. 이 부분은 일반적인 정보이며 법률 자문이 아닙니다.

공개 사례에서 볼 점 – 방식보다 측정 기준

베트남 하노이의 AI 엔지니어링 기업 NKKTech Global의 공개 사례 연구 두 건은 결과를 숫자로 정의해 두는 것이 왜 중요한지 보여 줍니다. 싱가포르 프롭테크 스타트업의 RAG 매물 검색(14주)은 매물 정보 할루시네이션 0건, 매물 탐색 시간 65% 단축, 사용자 참여 40% 증가라는 결과가 공개되어 있어, "근거 없는 답변을 얼마나 막았는가"도 측정 가능한 목표가 될 수 있음을 보여 줍니다. 미국 핀테크의 LLM 문서 인텔리전스(14주, USD 85,000)는 정확도 95%, 처리 시간 80% 감소, 연간 USD 200,000 절감이라는 결과가 공개되어 있습니다. 두 건 모두 한국 고객 사례는 아닙니다. 어떤 방식을 택하든 "무엇을 몇 점 이상 맞혀야 성공인가"를 먼저 정해 두면 방식 간 비교도, 이후 개선 여부 판단도 같은 기준으로 할 수 있습니다.

자주 묻는 질문

파인튜닝과 RAG를 함께 쓸 수 있나요? 함께 쓸 수 있습니다. RAG로 최신 문서를 근거로 제공하고, 파인튜닝한 모델이 정해진 형식과 문체로 답하게 하는 조합입니다. 다만 RAG만으로 충분한지 먼저 확인한 뒤 파인튜닝을 더하는 것이 비용 면에서 유리합니다.

파인튜닝하면 할루시네이션이 줄어드나요? 파인튜닝만으로 근거 없는 답변이 사라지지는 않습니다. 사실에 기반한 답변이 중요하다면 RAG로 근거 문서를 제공하고, 근거가 없을 때 "모른다"고 답하도록 설계하는 편이 효과적입니다.

LLM 파인튜닝에는 데이터가 얼마나 필요한가요? 작업의 난이도와 목표에 따라 다르며, 양보다 품질과 일관성이 결과를 좌우합니다. 소규모 예시로 먼저 효과를 확인한 뒤 데이터를 늘리는 것이 안전하고, 개인정보는 학습 전에 제거하는 것이 원칙입니다.