한국어 LLM 선택 가이드 – 글로벌 모델과 국산 모델, 무엇을 기준으로 고를까

핵심 요약

• 한국어 LLM 후보는 글로벌 상용 API, 국산 모델, 오픈 웨이트 모델로 나눌 수 있으며, 모델명과 제공 조건은 자주 바뀌므로 도입 시점의 공식 자료로 확인해야 합니다.
• KMMLU, HAE-RAE Bench 같은 한국어 벤치마크는 일반적인 한국어 능력을 가늠하는 참고 지표일 뿐, 자사 업무의 정확도를 보장하지 않습니다.
• 모델마다 토크나이저가 달라 같은 한국어 문장도 소비 토큰 수가 다를 수 있으므로, 비용은 자사 문서 샘플로 직접 측정해야 합니다.
• 오픈 웨이트 모델이라도 라이선스에 따라 상업적 이용이나 서비스 규모가 제한될 수 있습니다.
• 개인정보보호위원회는 2025년 8월 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」를 공개했습니다.

한국어 LLM 후보 세 부류

구체적인 모델명과 버전은 빠르게 바뀌므로 표에서는 유형만 정리했습니다(2026년 10월 기준). 오픈 웨이트 모델은 학습된 가중치 파일이 공개되어 직접 내려받아 실행할 수 있는 모델을 말합니다.

국산 모델을 후보에 넣을 때도 제공 방식과 이용 조건은 해당 모델의 공식 문서에서 확인해야 합니다. 선택지가 계속 늘어나는 만큼 특정 모델에 묶이지 않는 설계가 중요합니다.

한국어 업무용 평가 세트 만드는 법

평가 세트는 실제 업무 질문, 모범 답안, 근거 문서를 묶은 시험지입니다. 한국어 업무에서는 다음 항목을 의도적으로 넣어야 차이가 드러납니다.

• 어투: 고객 응대용이라면 합니다체·해요체가 상황에 맞게 일관되는지
• 고유명사와 사내 약어: 상품명, 부서명을 다른 말로 바꾸지 않는지
• 숫자와 표: 금액, 날짜, 표 안의 수치를 정확히 옮기는지
• 한자어·영문 혼용 문서: 계약서와 기술 문서의 의미를 놓치지 않는지
• 답이 없는 질문: 근거 문서에 없는 내용을 물었을 때 "확인할 수 없다"고 답하는지

채점에서 자주 생기는 함정은 한국어 표기 차이입니다. 띄어쓰기나 조사 하나 때문에 맞는 답이 오답으로 처리되지 않도록, 자동 채점 전에 정답과 응답을 정규화하고 금액·날짜·조항 번호처럼 정답이 분명한 항목만 자동으로 판정합니다. 문장 품질은 현업 담당자 2명 이상이 같은 기준표로 점수를 매기는 방식이 현실적입니다.

데이터 위치, 라이선스, 비용

• 기업용 약관: 입력 데이터가 모델 학습에 쓰이지 않는 조건인지, 로그 보관 기간은 얼마인지 확인합니다.
• 처리 지역: 고객 데이터나 내부 문서가 어느 나라 서버에서 처리되는지, 국내 처리가 필요한 업무인지 정합니다.
• 라이선스: 공개 모델이라도 상업적 이용 조건을 원문으로 확인합니다.
• 개인정보: 개인정보가 들어가는 업무라면 개인정보보호위원회의 생성형 AI 안내서와 개인정보 보호법을 함께 검토합니다. 이 글은 일반적인 정보이며 법률 자문이 아닙니다.

비용은 보통 토큰 단위로 계산됩니다. 토큰은 모델이 글을 처리하는 단위이고, 토크나이저는 문장을 토큰으로 나누는 규칙입니다. 영어 기준 가격표만으로 비교하면 실제 한국어 비용이 예상과 달라질 수 있으니 자사 문서로 측정하세요. 실시간 상담처럼 속도가 중요한 업무와 야간 일괄 처리처럼 비용이 중요한 업무는 맞는 모델이 다르고, 분류·추출은 가벼운 모델에, 긴 답변 생성은 성능이 높은 모델에 나눠 맡길 수도 있습니다.

모델을 바꿀 수 있는 구조와 공개 사례

모델 시장은 빠르게 바뀝니다. 모델 호출부를 한 곳에 모으고, 사내 지식은 모델 밖의 검색 계층에 두고, 평가 세트를 자산으로 관리하면 모델을 바꿔도 같은 기준으로 다시 검증할 수 있습니다. 검색 계층은 보통 RAG로 만듭니다. RAG는 질문과 관련된 사내 문서를 먼저 찾은 뒤 그 내용을 근거로 답하게 하는 방식이며, 자세한 구성은 RAG 구축 서비스 페이지에 정리되어 있습니다. RAG를 만드는 순서는 RAG 구축 실무 가이드에서, 프롬프트·RAG·파인튜닝 중 무엇을 쓸지는 LLM 파인튜닝과 RAG 비교에서 다룹니다.

근거 데이터에 답을 묶어 두는 설계의 예로, 하노이에서 개발하는 AI 엔지니어링 기업 NKKTech Global이 싱가포르 PropTech 스타트업(NDA)을 위해 14주 동안 구축한 RAG 매물 검색이 있습니다. 공개 사례 연구에서 매물 탐색 65% 단축, 사용자 참여 40% 증가, 매물 정보 환각 0건을 보고했습니다(사례 보기). 한국어 서비스 사례는 아니므로, 한국어 정확도는 위의 평가 세트로 따로 확인해야 합니다.

후보 모델 2–3개를 같은 평가 세트로 비교할 때는 정확도와 함께 질문 100개당 비용과 평균 응답 시간을 한 표에 기록해 두세요. 나중에 모델을 바꿀 때도 같은 표로 다시 비교할 수 있습니다. 한국어 평가 세트의 정답 검수는 해당 업무를 잘 아는 사내 담당자가 맡는 것이 좋습니다.

자주 묻는 질문

한국어를 가장 잘하는 LLM은 무엇인가요? 업무에 따라 답이 다릅니다. 공개 벤치마크 순위는 모델 버전이 바뀔 때마다 달라지고 자사 업무 정확도와 일치하지 않을 수 있습니다. 실제 업무 질문 50–100개로 평가 세트를 만들어 2–3개 모델을 비교하는 것이 가장 확실합니다.

국산 LLM과 GPT 중 기업용으로 무엇이 더 나은가요? 어느 한쪽이 항상 낫다고 말하기는 어렵습니다. 국내 데이터 처리나 국내 클라우드 연계가 중요하다면 국산 모델이 유리할 수 있고, 도구 연동 생태계와 범용 성능을 중시한다면 글로벌 모델이 맞을 수 있습니다. 같은 평가 세트와 같은 비용 기준으로 비교해 보세요.

한국어 LLM을 사내 서버에 설치해서 쓸 수 있나요? 오픈 웨이트 모델이나 설치형으로 제공되는 모델이라면 가능합니다. 다만 상업적 이용 조건을 확인해야 하고, GPU 서버 비용과 모델 업데이트를 직접 관리해야 합니다. 모델을 사내에 두더라도 로그·모니터링 도구나 외부 연동이 데이터를 밖으로 보내지 않는지는 따로 확인하세요.