“우리 회사 데이터로 AI를 다시 학습해야 한다”는 생각이 항상 정답은 아닙니다
생성형 AI와 대규모 언어 모델(LLM)을 기업 업무에 도입하는 사례가 빠르게 늘어나고 있습니다. 이에 따라 기업이 보유한 내부 문서, 업무 데이터, 고객 문의 기록 등을 활용해 AI 모델을 파인튜닝(Fine-tuning)해야 하는지 고민하는 기업도 많아지고 있습니다.
하지만 기업이 자체 데이터를 가지고 있다고 해서 반드시 AI 파인튜닝이 필요한 것은 아닙니다.
파인튜닝은 AI 모델의 특정 행동이나 업무 수행 방식을 안정적으로 개선하는 데 효과적입니다. 반면 매일 변경되는 정보나 사내 문서를 AI에게 제공하는 것이 목적이라면 RAG(Retrieval-Augmented Generation)나 Tool Calling이 더 적합할 수 있습니다.
결국 중요한 것은 “파인튜닝이 가능한가?”가 아니라 “어떤 문제를 해결하기 위해 파인튜닝이 필요한가?”입니다.
이번 글에서는 기업 AI 도입 과정에서 자주 혼동되는 Fine-tuning과 RAG의 차이, 파인튜닝이 필요한 경우, 사전에 확인해야 할 평가 방법(Evaluation), 그리고 실제 운영 단계에서 주의해야 할 점을 중심으로 알아봅니다. 또한 SotaTek은 이러한 관점에서 기업이 AI를 효과적으로 설계하고 적용하기 위한 단계별 접근 방법을 소개합니다.
파인튜닝이란 무엇인가?
Fine-tuning(파인튜닝)은 이미 학습된 AI 모델을 특정 목적이나 업무에 맞게 추가 학습시키는 방법입니다.
쉽게 말하면 AI 모델에게 새로운 백과사전을 통째로 넣는 방식이라기보다, “이런 상황에서는 이런 방식으로 답하고 행동해야 한다”는 패턴을 반복해서 학습시키는 것에 가깝습니다.
예를 들어 기업이 고객 문의를 처리하는 AI를 운영한다고 가정해 보겠습니다.
기본 모델이 고객 문의에 답할 수는 있지만,
- 회사가 정한 답변 형식을 항상 지키지 못하거나
- 특정 산업의 전문적인 표현을 일관되게 사용하지 못하거나
- 출력 형식이 매번 달라지거나
- 특정 업무 지침을 안정적으로 따르지 못하는
문제가 발생할 수 있습니다.
이때 충분한 고품질 예시 데이터를 활용해 모델의 행동 패턴을 조정하는 방법이 Fine-tuning입니다.
즉, 파인튜닝은 AI에게 단순히 ‘새로운 정보를 알려주는 것’보다 ‘특정 방식으로 행동하도록 만드는 것’에 더 가깝습니다.
사내 데이터가 있다고 무조건 Fine-tuning할 필요는 없습니다
기업이 AI 프로젝트를 시작할 때 가장 흔하게 나오는 질문 중 하나가 있습니다.
“우리 회사의 내부 문서를 AI 모델에 학습시키면 되지 않을까요?”
하지만 여기에는 중요한 구분이 필요합니다.
기업이 가진 데이터가 업무 행동을 학습시키기 위한 데이터인지, 계속 변경되는 지식인지에 따라 접근 방식이 달라집니다.
예를 들어 다음과 같은 정보는 계속 변경될 가능성이 높습니다.
- 제품 가격
- 재고 정보
- 계약 내용
- 사내 규정
- 최신 업무 매뉴얼
- 고객 정보
- 정책 및 공지사항
이런 정보를 모델의 파라미터에 직접 학습시키면 정보가 변경될 때마다 다시 학습해야 할 수 있습니다.
이 경우에는 파인튜닝보다 RAG가 더 적합할 수 있습니다.
RAG란 무엇인가?
RAG(Retrieval-Augmented Generation)는 AI가 답변을 생성하기 전에 필요한 정보를 외부 데이터베이스나 문서에서 검색하고, 검색한 내용을 바탕으로 답변하도록 하는 기술입니다.
쉽게 설명하면 파인튜닝이 AI의 “업무 습관”을 바꾸는 방법이라면, RAG는 AI가 필요할 때 “최신 자료를 찾아보게 하는 방법”입니다.
예를 들어 회사의 휴가 규정이 변경됐다고 가정해 보겠습니다.
RAG 시스템에서는 최신 사내 규정 문서를 검색해 답변에 활용할 수 있습니다. 또한 사용자 권한에 따라 접근 가능한 문서만 검색하도록 설정하고, 답변에 어떤 문서를 참고했는지 출처를 표시하는 것도 가능합니다.
따라서 다음과 같이 생각하면 이해하기 쉽습니다.
AI가 새로운 정보를 모른다면 → RAG와 같은 Retrieval을 먼저 고려합니다.
AI가 정보를 알고 있지만 회사가 원하는 방식으로 안정적으로 행동하지 못한다면 → Fine-tuning을 고려합니다.
Fine-tuning 전에 먼저 시도해야 할 4가지 방법
기업 AI 프로젝트에서는 처음부터 모델을 다시 학습시키기보다 더 단순한 방법부터 검토하는 것이 좋습니다.
1. Prompt Engineering & Structured Output
첫 번째 방법은 Prompt Engineering입니다.
Prompt는 AI에게 어떤 작업을 수행할지 전달하는 지시문입니다. 좋은 예시를 제공하거나, 답변 형식을 명확하게 지정하는 것만으로도 결과가 크게 개선될 수 있습니다.
특히 Structured Output을 사용하면 AI가 JSON이나 특정 Schema 등 정해진 형식으로 결과를 반환하도록 만들 수 있습니다.
따라서 단순한 출력 형식 문제라면 파인튜닝보다 Prompt, Few-shot Example, Schema, Validation 등을 먼저 적용하는 것이 효율적입니다.
2. RAG
두 번째는 RAG입니다.
사내 문서나 최신 정보를 AI가 참고해야 하는 경우에는 모델을 다시 학습시키기보다 필요한 정보를 검색해서 제공하는 것이 더 적합할 수 있습니다.
3. Workflow & Tool Calling
세 번째는 Workflow와 Tool Calling입니다.
AI가 단순히 답변하는 것을 넘어 실제 업무 시스템을 사용해야 한다면 Tool Calling이 필요할 수 있습니다.
예를 들어 AI가 고객의 주문 상태를 확인하거나, ERP에서 재고를 조회하거나, CRM에서 고객 정보를 가져와야 한다면 모델을 다시 학습시키는 것보다 AI가 필요한 시스템과 도구를 호출할 수 있도록 연결하는 것이 중요합니다.
4. Routing, Caching & Small Model
네 번째는 모델 자체를 효율적으로 선택하는 방법입니다.
모든 요청에 가장 크고 비싼 모델을 사용할 필요는 없습니다.
단순한 질문은 작은 모델로 처리하고 복잡한 요청만 고성능 모델로 보내는 Model Routing, 반복되는 결과를 저장해 재사용하는 Caching, 특정 업무에 최적화된 작은 모델을 사용하는 방법 등을 통해 비용과 응답 속도를 개선할 수 있습니다.
그렇다면 언제 Fine-tuning을 고려해야 할까?
다음과 같은 상황에서는 파인튜닝의 효과를 검토할 수 있습니다.
Prompt가 지나치게 길어지고도 결과가 불안정한 경우
복잡한 지침을 모두 Prompt에 넣어도 AI가 이를 일관되게 따르지 못한다면 파인튜닝을 고려할 수 있습니다.
고품질의 학습 예시가 충분한 경우
기업이 원하는 행동을 보여주는 고품질 Example Dataset을 충분히 확보하고 있다면 Fine-tuning을 통해 특정 업무에 최적화된 모델을 만들 수 있습니다.
작은 모델로 비용을 낮추고 싶은 경우
대형 모델을 계속 사용하는 대신 특정 업무에 맞게 작은 모델을 파인튜닝하면 일정 수준 이상의 품질을 유지하면서 Inference 비용과 Latency를 낮출 가능성이 있습니다.
여기서 Inference는 학습이 끝난 AI 모델이 실제 사용자 요청을 처리하고 답변을 생성하는 과정을 의미합니다.
반복되는 전문 업무가 충분히 많은 경우
특정 업무가 반복적으로 발생하고, 해당 업무의 품질 기준이 명확하다면 파인튜닝에 투자할 이유가 커집니다.
결국 Fine-tuning의 핵심은 “우리 회사 데이터가 많다”가 아니라 “우리 회사가 원하는 AI의 행동을 충분한 데이터로 정의할 수 있는가”에 있습니다.
데이터의 양보다 중요한 것은 데이터의 품질입니다
Fine-tuning을 이야기할 때 데이터의 양만큼 자주 언급되는 것이 데이터 품질입니다.
대표적인 연구인 InstructGPT에서는 사람이 작성한 Demonstration과 Human Feedback을 활용해 모델이 사용자의 의도를 더 잘 따르도록 학습했습니다.
특히 연구에서 약 13억 개의 파라미터를 가진 InstructGPT 모델이 1,750억 개 규모의 GPT-3보다 선호된 결과가 나타났습니다.
이는 단순히 “더 큰 모델이 항상 더 좋은 결과를 만드는 것은 아니다”라는 점을 보여줍니다.
중요한 것은 모델의 크기만이 아니라 목표로 하는 행동과 얼마나 밀접하게 연결된 데이터를 학습시키느냐입니다.
제대로 된 Fine-tuning은 Training보다 Evaluation에서 시작합니다
기업이 Fine-tuning을 결정했다고 해서 바로 GPU와 학습 환경부터 준비해서는 안 됩니다.
가장 먼저 해야 할 일은 Evaluation, 즉 평가 기준을 만드는 것입니다.
Evaluation이란 무엇인가?
Evaluation은 AI 모델의 성능을 일정한 기준으로 측정하는 과정입니다.
쉽게 말하면 “새로운 모델이 정말 좋아졌는지 확인하기 위한 시험지”입니다.
기업 환경에서는 다음과 같은 다양한 사례가 평가 데이터에 포함되어야 합니다.
- 일반적인 사용자 질문
- 실제 Production 환경에서 자주 발생하는 질문
- Edge Case
- 잘못된 답변이 발생하기 쉬운 상황
- Hallucination 위험이 높은 질문
- 보안 및 개인정보 관련 상황
- 한국어·베트남어 등 실제 서비스 언어
- 산업별 전문 용어
특히 한국과 베트남을 동시에 대상으로 하는 AI 서비스라면 단순히 영어 Test Set을 번역하는 것만으로는 충분하지 않습니다.
한국어의 존댓말과 경어 표현, 산업별 용어, 한-영 또는 한-베트남어 Code-switching, 문화적 맥락까지 평가할 필요가 있습니다.
Evaluation이 없으면 무엇이 문제일까?
평가 기준이 없다면 모델의 성능이 좋아졌는지 정확하게 판단하기 어렵습니다.
예를 들어 Fine-tuning 이후 전체 점수가 5% 상승했다고 가정해 보겠습니다.
하지만 실제로 중요한 고객 문의 영역에서는 오히려 성능이 크게 떨어졌을 수도 있습니다.
따라서 기업 AI Evaluation에서는 전체 평균뿐 아니라 Slice별 평가가 필요합니다.
Slice란 전체 데이터를 특정 조건이나 그룹으로 나누어 분석하는 것을 의미합니다.
예를 들어,
- 일반 질문
- 고객 불만
- 전문 용어 질문
- 한국어 질문
- 베트남어 질문
- 안전성 관련 질문
등으로 나누어 각각의 성능을 확인하는 방식입니다.
또한 Training Set과 Test Set을 명확하게 분리해야 합니다.
이를 제대로 하지 않으면 학습에 사용한 데이터가 테스트 데이터에 섞이는 Data Leakage가 발생해 실제보다 성능이 높게 측정될 수 있습니다.
Fine-tuning 방식도 목적에 따라 달라집니다
Fine-tuning에는 하나의 방법만 존재하지 않습니다.
대표적으로 다음과 같은 접근 방식이 있습니다.
Supervised Fine-tuning
정답이 포함된 Example Dataset을 사용해 모델이 원하는 답변 패턴을 학습하도록 하는 방식입니다.
LoRA / QLoRA
Parameter-Efficient Fine-Tuning(PEFT)의 대표적인 방법입니다.
전체 모델의 파라미터를 모두 업데이트하는 대신 일부 파라미터만 효율적으로 조정해 학습 비용과 메모리 사용량을 줄이는 방식입니다.
Preference Optimization
사람이 선호하는 답변과 그렇지 않은 답변을 비교해 모델이 더 선호되는 결과를 생성하도록 최적화하는 방법입니다.
Distillation
큰 모델의 성능이나 지식을 더 작은 모델이 학습하도록 하는 방식입니다.
어떤 방법을 사용할지는 유행하는 기술을 기준으로 결정해서는 안 됩니다.
변경하려는 AI의 행동, 데이터 민감도, 인프라 환경, Serving 비용, 목표 품질을 종합적으로 고려해야 합니다.
기업이 자주 겪는 Fine-tuning 실패 사례 3가지
1. 계속 변하는 정보를 모델에 학습시키는 경우
가격, 재고, 정책, 계약서처럼 지속적으로 변경되는 정보를 모델의 Weight에 넣으면 모델이 빠르게 오래된 정보를 갖게 될 수 있습니다.
또한 답변의 출처를 확인하기 어렵고, 정보가 변경될 때마다 새로운 Fine-tuning이 필요할 수 있습니다.
이런 경우에는 RAG 또는 Tool Calling이 더 적합할 가능성이 높습니다.
2. 제품 Log를 그대로 학습 데이터로 사용하는 경우
기업이 보유한 사용자 Log를 그대로 Fine-tuning Dataset으로 사용하는 것도 위험합니다.
실제 Log에는 다음과 같은 문제가 포함될 수 있습니다.
- 품질이 낮은 AI 답변
- 개인정보 및 민감정보
- 악의적인 사용자 입력
- 과거 시스템의 오류
- 특정 사용자 그룹에 대한 편향
따라서 Log를 그대로 “AI가 배워야 할 정답”으로 취급해서는 안 됩니다.
Data Curation, 즉 학습에 적합한 데이터를 선별하고 정제하는 과정이 반드시 필요합니다.
잘못된 데이터를 그대로 학습시키면 AI가 기존의 오류와 편향을 오히려 강화할 수 있습니다.
3. 평균 점수만 보고 모델을 선택하는 경우
AI Evaluation에서 평균 점수만 보는 것도 위험합니다.
전체 평균은 높아졌지만 중요한 Edge Case에서 성능이 떨어지는 상황이 발생할 수 있기 때문입니다.
따라서 기업 AI 프로젝트에서는 Regression Test, Slice Evaluation, Human Review 등을 함께 활용해야 합니다.
특히 자동화된 평가만으로 판단하기 어려운 안전성, 업무 적합성, 표현의 자연스러움 등은 전문가의 Human Review가 필요할 수 있습니다.
Fine-tuning 이후의 운영이 더 중요합니다
Fine-tuning이 완료됐다고 프로젝트가 끝나는 것은 아닙니다.
실제 Production 환경에 배포한 이후에도 지속적인 관리가 필요합니다.
모델과 함께 다음 정보를 관리해야 합니다.
- Dataset Version
- Training Configuration
- Model Version
- Evaluation 결과
- Training Code
- Model Card
또한 새로운 모델을 바로 전체 사용자에게 적용하기보다 Shadow Test 또는 Canary Deployment를 활용해 단계적으로 검증하는 것이 안전합니다.
운영 단계에서는 다음 항목을 지속적으로 모니터링해야 합니다.
Quality · Model Drift · Latency · Cost · Safety
사용자에게서 새롭게 발생한 Feedback 역시 그대로 학습 데이터로 넣는 것이 아니라 먼저 Curation 과정을 거쳐야 합니다.
이러한 지속적인 개발·배포·모니터링 과정을 MLOps(Machine Learning Operations)라고 합니다.
MLOps는 AI 모델을 한 번 학습시키고 끝내는 것이 아니라, 실제 서비스 환경에서 안정적으로 운영하고 개선하기 위한 체계입니다.
Fine-tuning의 진짜 비용은 Training 비용만이 아닙니다
기업이 Fine-tuning을 검토할 때 GPU 비용만 계산해서는 안 됩니다.
실제로는 다음과 같은 비용을 함께 고려해야 합니다.
- 데이터 수집 및 정제
- Annotation 및 Curation
- 모델 학습
- Evaluation
- Serving Infrastructure
- Monitoring
- Security
- 기반 모델 업데이트
- AI/ML 전문 인력
- 지속적인 데이터 관리
이를 TCO(Total Cost of Ownership), 즉 총소유비용 관점에서 판단해야 합니다.
경우에 따라서는 상용 LLM에 좋은 Prompt와 RAG를 적용하는 것이 더 저렴할 수 있습니다.
반대로 특정 업무의 요청량이 매우 많다면 작은 모델을 Fine-tuning해 사용하는 것이 Latency와 Serving 비용 측면에서 더 유리할 수도 있습니다.
따라서 정답은 기업의 사용량과 목표에 따라 달라집니다.
결국 중요한 것은 “Fine-tuning이 필요한가?”가 아닙니다
기업 AI 프로젝트에서 가장 중요한 질문은 다음과 같습니다.
어떤 AI의 행동을 바꾸려고 하는가?
그 행동이 개선됐다는 것을 어떻게 측정할 것인가?
더 단순한 방법으로 같은 문제를 해결할 수 없는가?
Fine-tuning에 필요한 전체 비용과 운영 부담을 감당할 수 있는가?
이 질문에 대한 답이 명확해졌을 때 비로소 Fine-tuning을 시작하는 것이 좋습니다.
즉, Fine-tuning은 AI 도입의 출발점이 아니라 검증된 문제를 해결하기 위한 하나의 기술적 수단입니다.
SotaTek Korea, 기업 AI를 위한 모델 평가부터 Fine-tuning까지
SotaTek Korea는 기업의 AI 도입 과정에서 Build vs. Buy 의사결정, AI Benchmark 및 Evaluation, 데이터 정제, Instruction/Preference Dataset 구축, Prompt Engineering, RAG, Fine-tuning, 모델 최적화, Serving 및 Monitoring까지 단계별 AI/ML 엔지니어링을 지원합니다.
SotaTek Korea가 중요하게 생각하는 것은 처음부터 Fine-tuning을 전제로 하는 것이 아닙니다.
동일한 Evaluation 기준에서 Prompt, RAG, Workflow, 모델 변경, Fine-tuning 등 다양한 방법을 비교하고, 품질(Quality), 응답 속도(Latency), 비용(Cost), 데이터 통제력 측면에서 실제로 더 나은 방법을 검증하는 것입니다.
최종적으로 기업이 확보해야 하는 것은 단순한 Fine-tuned Model Checkpoint 하나가 아닙니다.
재현 가능한 Dataset, Evaluation Suite, Training Pipeline, Model Card, 운영 문서까지 포함해 향후 모델을 지속적으로 관리하고 개선할 수 있는 환경을 구축하는 것이 중요합니다.
특히 한국 기업이 베트남을 비롯한 해외 시장으로 서비스를 확대하거나 다국어 AI 서비스를 구축하는 경우에는 언어와 지역별 맥락을 반영한 Evaluation이 필수적입니다.
한국어와 베트남어의 단순 번역만으로는 충분하지 않습니다. 한국어의 경어 표현, 산업별 전문 용어, Code-switching, 현지 사용자의 질문 방식과 문화적 기대까지 고려해야 실제 서비스 환경에서의 AI 품질을 제대로 측정할 수 있습니다.
이 과정에서 도메인 전문가, Data Labeling, AI Engineering이 함께 협력하는 것이 기업 AI의 실제 성능을 높이는 중요한 요소가 됩니다.
SotaTek Korea
SotaTek Korea는 한국 기업을 대상으로 AI/ML, 소프트웨어 개발, Cloud, System Integration 및 IT Consulting 서비스를 제공하고 있습니다.
베트남 SotaTek의 글로벌 Delivery 역량과 한국 현지의 비즈니스 전문성을 연결해 기업의 AI 도입과 디지털 전환을 지원합니다.
기업의 AI 도입을 검토하고 있다면, 먼저 현재 해결하려는 문제가 Prompt, RAG, Workflow, Fine-tuning 중 어떤 접근에 적합한지부터 평가하는 것이 중요합니다.
기업에 적합한 AI 도입 전략을 찾고 있다면 SotaTek Korea에 문의해 보세요.
https://www.sotatek.com/kr/ 
(+82) 2 2088 0867 
