AI 프로젝트를 시작할 때 많은 기업이 먼저 AI 모델과 기술을 고민한다. 어떤 LLM을 사용할지, 어떤 알고리즘을 적용할지, 얼마나 높은 정확도를 달성할 수 있을지가 주요 관심사가 된다.
하지만 AI 모델의 성능은 모델 자체만으로 결정되지 않는다. AI가 무엇을 학습했는지, 그리고 그 학습 데이터가 얼마나 정확하고 일관되게 구축됐는지 역시 중요한 영향을 미친다.
이 과정에서 핵심적인 역할을 하는 것이 데이터 라벨링(Data Labeling)이다.
그렇다면 데이터 라벨링은 정확히 무엇이며, 왜 AI 성능에 영향을 미치는 것일까? 또한 흔히 말하는 AI 학습 데이터(AI Training Data)와 Ground Truth는 어떤 관계가 있을까?
데이터 라벨링이란?
데이터 라벨링(Data Labeling)은 AI 모델이 학습할 수 있도록 원본 데이터에 의미나 정답 정보를 부여하는 작업이다.
예를 들어 이미지 속에 자동차가 있는지 판단하는 AI를 개발한다고 가정해보자.
AI가 학습하기 전의 이미지에는 단순히 픽셀 데이터만 존재한다. 사람이 이미지에 대해
- 자동차 있음
- 자동차 없음
과 같은 정보를 지정하면 AI는 이미지와 해당 Label의 관계를 학습할 수 있다.
텍스트 데이터라면 다음과 같이 Label을 지정할 수 있다.
“제품을 환불받고 싶습니다.”
→ 환불 요청
또는
“배송이 너무 늦어서 더 이상 필요 없습니다.”
→ 배송 지연 + 구매 취소 가능성
이처럼 데이터에 사람이 정의한 의미를 부여하는 과정이 데이터 라벨링이다.
데이터 라벨링은 이미지뿐만 아니라 텍스트, 음성, 영상, 문서 등 다양한 데이터 유형에 적용할 수 있다.
AI 학습 데이터란?
그렇다면 데이터 라벨링은 AI 학습 데이터와 어떤 관계가 있을까?
AI 학습 데이터(AI Training Data)란 AI 모델이 패턴과 규칙을 학습하기 위해 사용하는 데이터셋을 의미한다.
예를 들어 고객 문의를 자동으로 분류하는 AI를 만든다면,
고객 문의 + 해당 문의의 유형
으로 구성된 데이터가 AI 학습 데이터가 될 수 있다.
일반적인 구조는 다음과 같다.
원본 데이터(Raw Data)
↓
데이터 라벨링(Data Labeling)
↓
검수 및 품질 관리(QA)
↓
AI 학습 데이터셋 구축
↓
AI 모델 학습 및 평가
따라서 데이터 라벨링은 단순한 데이터 입력 작업이 아니라 AI 학습 데이터를 만드는 핵심 과정이라고 볼 수 있다.
Ground Truth란 무엇인가?
Ground Truth는 AI 모델이 내린 예측이 맞는지 판단하기 위한 ‘기준이 되는 정답’이다.
쉽게 말하면 AI에게 시험을 봤다고 생각해보자.
AI가 제품 이미지를 보고
“이 제품은 정상입니다.”
라고 판단했다면, 실제로 정상인지 비교할 기준이 필요하다.
그 기준이 바로 Ground Truth다.
예를 들어 제조 현장에서 불량 제품을 찾는 AI를 개발한다고 가정해보자.
제품 이미지에 작은 스크래치가 있다.
AI는 이 이미지를 보고 다음과 같이 예측할 수 있다.
AI 예측: 정상
하지만 사람이 검토한 결과,
실제 판정: 불량
이라면 AI의 예측은 틀린 것이다.
이때 사람이 정해 놓은 ‘불량’이라는 최종 판정값이 Ground Truth가 된다.
즉,
AI 예측 → Ground Truth와 비교 → AI가 맞았는지 평가
라는 구조다.
그런데 ‘정답’은 누가 결정하는가?
여기서 데이터 라벨링의 중요한 문제가 등장한다.
제품에 스크래치가 있다고 해서 무조건 ‘불량’이라고 할 수 있는 것은 아니다.
예를 들어 기업의 품질 기준이 다음과 같다고 가정해보자.
- 스크래치가 1mm 미만이면 정상
- 1mm 이상이면 불량
- 제품의 핵심 부위에 발생하면 크기와 관계없이 불량
그렇다면 같은 스크래치가 있는 이미지라도 기업의 기준에 따라 정상 또는 불량으로 판단될 수 있다.
따라서 Ground Truth는 단순히 데이터 안에 이미 존재하는 ‘절대적인 정답’이 아니다.
비즈니스 목적과 판단 기준을 정하고, 그 기준에 따라 사람이 데이터를 검토하고 검증하면서 만들어지는 ‘참조 기준’에 가깝다.
데이터 라벨과 Ground Truth는 같은 것일까?
비슷하지만 완전히 같은 개념은 아니다.
데이터 라벨(Label)은 데이터에 부여한 분류나 의미다.
예를 들어 제품 이미지에 불량이라는 Label을 붙이는 것이 데이터 라벨링이다.
반면 Ground Truth는 해당 데이터에 대해 검증된 기준값으로 사용되는 정답을 의미한다.
따라서 데이터 라벨링 과정에서 만들어진 Label이 충분히 검증되고 기준에 맞는 것으로 확정되면, AI 모델의 학습이나 평가에 Ground Truth로 활용될 수 있다.
간단히 정리하면 다음과 같다.
Data Labeling: 데이터에 의미나 Label을 부여하는 과정
Label: 데이터에 부여된 분류 또는 의미
Ground Truth: AI의 예측과 비교하기 위해 검증된 기준값
결국 중요한 것은 ‘정답이 원래 데이터 안에 있었는가’가 아니다.
기업이 AI를 통해 무엇을 판단하려는지 먼저 정의하고, 그 판단 기준을 일관되게 적용해 신뢰할 수 있는 기준 데이터를 만드는 것이 중요하다.
이것이 데이터 라벨링과 Ground Truth가 밀접하게 연결되는 이유다.
Ground Truth는 처음부터 존재하는 ‘절대적인 정답’이 아니다
예를 들어 제조 현장에서 제품의 불량을 탐지하는 AI를 개발한다고 생각해보자.
제품 표면에 작은 스크래치가 발견됐다고 하자.
이것을 모두 ‘불량’으로 분류해야 할까?
아니면 일정 크기 이상의 스크래치만 불량으로 판단해야 할까?
또는 스크래치의 위치에 따라 불량 여부가 달라질 수도 있다.
이 경우 원본 이미지 자체가 “이것은 불량이다”라는 정답을 알려주는 것은 아니다.
기업의 품질 기준과 비즈니스 목적에 따라 다음과 같은 기준을 정의해야 한다.
- 스크래치의 위치
- 크기
- 깊이
- 제품 기능에 미치는 영향
- 허용 가능한 범위
- 불량 등급
그리고 이러한 기준을 바탕으로 사람이 데이터를 라벨링한다.
따라서 Ground Truth는 단순히 발견되는 것이 아니라, 명확한 기준과 검증 과정을 통해 구축되는 경우가 많다.
이것이 데이터 라벨링이 AI 성능에 중요한 이유 중 하나다.
데이터 라벨링이 AI 성능을 좌우하는 이유
AI 모델은 학습 데이터에 포함된 패턴과 기준을 바탕으로 새로운 데이터를 판단한다.
따라서 학습 데이터의 Label이 잘못되거나 일관성이 없다면 모델 역시 잘못된 패턴을 학습할 가능성이 높아진다.
예를 들어 1,000개의 이미지 중 동일한 유형의 불량을 어떤 작업자는 ‘불량’으로 분류하고, 다른 작업자는 ‘정상’으로 분류한다면 모델이 무엇을 학습해야 하는지 명확하지 않게 된다.
이러한 문제를 흔히 Label Noise, 즉 라벨 오류라고 한다.
문제는 데이터의 양이 많아질수록 반드시 해결되는 것이 아니라는 점이다.
잘못된 기준으로 100만 건을 라벨링한다고 해서 좋은 AI 학습 데이터가 만들어지는 것은 아니다.
따라서 데이터 라벨링에서는 데이터의 양뿐만 아니라 정확성, 일관성, 대표성, 추적 가능성을 함께 관리해야 한다.
1. 좋은 데이터 라벨링은 Taxonomy부터 시작한다
대규모 데이터 라벨링을 시작하기 전에 먼저 정의해야 하는 것이 있다.
바로 Taxonomy다.
Taxonomy는 데이터를 어떤 기준과 범주로 분류할 것인지 정의한 체계다.
예를 들어 고객센터 AI를 구축한다면 다음과 같이 분류할 수 있다.
- 배송 문의
- 결제 문의
- 환불 요청
- 제품 불량
- 서비스 불만
- 회원 탈퇴
하지만 실제 고객의 문장은 하나의 범주로 깔끔하게 나뉘지 않을 수 있다.
“상품이 아직 안 왔는데 환불받고 싶습니다.”
이 문장은 동시에 배송 지연과 환불 요청에 해당할 수 있다.
따라서 Label을 단순히 나열하는 것보다 먼저 다음을 정의해야 한다.
- 각 Label의 의미
- Label 간의 관계
- 동시에 적용할 수 있는 Label
- 서로 배타적인 Label
- 제외해야 하는 사례
- 경계가 모호한 사례
- 예외 상황의 처리 방법
이러한 기준이 명확하지 않으면 같은 데이터를 보고도 Annotator마다 다른 Label을 부여할 수 있다.
2. 데이터 라벨링 Guideline과 Calibration이 필요하다
Taxonomy를 정의한 뒤에는 Labeling Guideline을 만들어야 한다.
Guideline은 작업자가 데이터를 보고 어떤 Label을 선택해야 하는지 설명하는 실무 기준이다.
좋은 Guideline에는 단순한 정답 사례만 포함해서는 안 된다.
오히려 실제 현장에서 의견이 갈릴 가능성이 높은 Edge Case를 충분히 포함해야 한다.
이후에는 소규모 데이터를 활용해 Calibration Pilot을 진행할 수 있다.
여러 Annotator가 동일한 데이터를 독립적으로 라벨링하고 결과를 비교한다.
만약 같은 데이터에 서로 다른 Label이 부여됐다면 전문가가 그 차이를 검토하고 기준을 다시 정리한다.
즉,
Labeling → 의견 불일치 확인 → Expert Review → Guideline 수정 → 재검증
의 과정을 반복하면서 라벨링 기준을 안정화하는 것이다.
3. Golden Set으로 데이터 라벨링 품질을 검증한다
Production 단계에서는 단순히 “몇 건을 처리했는가”만 확인해서는 안 된다.
이를 보완하기 위해 Golden Set을 사용할 수 있다.
Golden Set은 전문가가 미리 정답을 검증해 놓은 샘플 데이터다.
이 데이터를 일반 라벨링 과정에 포함시키면 작업자의 실제 품질을 지속적으로 확인할 수 있다.
예를 들어 100개의 Golden Set 데이터를 라벨링했는데 95개가 기준과 일치했다면 해당 작업자의 품질 수준을 정량적으로 확인할 수 있다.
또한 난이도가 높은 데이터는 별도의 검수 과정을 거칠 수 있다.
Annotator → Peer Review → Expert Adjudication
여기서 Expert Adjudication은 작업자 간 의견이 일치하지 않을 때 전문가가 최종 판단을 내리는 과정이다.
이러한 다단계 QA 체계는 데이터 라벨링 품질 관리에서 중요한 역할을 한다.
4. 데이터 Versioning과 Lineage도 중요하다
AI 모델의 성능이 떨어졌을 때 단순히 모델만 확인해서는 원인을 찾기 어려운 경우가 있다.
모델 학습에 사용된 Dataset이 변경됐거나 Labeling Guideline이 수정됐을 수도 있기 때문이다.
따라서 AI 학습 데이터에는 가능한 한 다음과 같은 정보를 기록하는 것이 좋다.
- Annotator
- 작업 시간
- Guideline Version
- Label 변경 이력
- 수정 사유
- Review 결과
- Dataset Version
이러한 정보를 관리하는 것을 Data Lineage, 즉 데이터가 어디에서 생성되고 어떻게 변경됐는지 추적하는 과정과 연결할 수 있다.
이를 통해 문제가 발생했을 때 특정 Dataset이나 Labeling 기준까지 거슬러 올라가 원인을 분석할 수 있다.
5. Human-in-the-loop로 데이터 라벨링을 자동화할 수 있다
데이터 라벨링 자동화를 이야기할 때 “AI가 사람을 대체하는 것”을 먼저 생각할 수 있다.
하지만 실제 AI 데이터 구축에서는 Human-in-the-loop 방식이 더욱 현실적인 접근이 될 수 있다.
Human-in-the-loop란 AI가 데이터를 먼저 분석하거나 예측하고, 사람이 결과를 검토하고 수정하는 방식이다.
예를 들어 AI가 이미지에 대해 먼저
“불량 가능성 85%”
라고 예측하면 Annotator는 해당 결과를 확인한 후
- 맞으면 승인
- 틀리면 수정
- 판단하기 어려우면 전문가에게 전달
하는 방식으로 작업할 수 있다.
이렇게 하면 모든 데이터를 사람이 처음부터 직접 라벨링할 필요가 없다.
Raw Data → AI Pre-labeling → Human Review → 수정 데이터 → Model Improvement
라는 구조를 만들 수 있기 때문이다.
6. Active Learning으로 중요한 데이터를 우선 라벨링한다
여기서 한 단계 더 나아간 방법이 Active Learning이다.
Active Learning은 AI 모델이 특히 학습할 가치가 높은 데이터를 우선적으로 선택해 사람에게 라벨링을 요청하는 방식이다.
예를 들어 모델이 확신하지 못하는 데이터나 기존 학습 데이터에서 충분히 다뤄지지 않은 데이터를 먼저 선택할 수 있다.
대표적으로 다음과 같은 데이터가 대상이 될 수 있다.
- 모델 Confidence가 낮은 데이터
- 기존 데이터에 부족한 유형
- 새로운 유형의 데이터
- 오류가 자주 발생하는 데이터
- 비즈니스 중요도가 높은 데이터
목표는 단순히 더 많은 데이터를 라벨링하는 것이 아니다.
AI 모델의 성능을 가장 효과적으로 개선할 수 있는 데이터에 전문가의 시간을 집중하는 것이다.
7. 데이터 라벨링 품질은 무엇으로 측정해야 하는가?
데이터 라벨링에서 “시간당 몇 개를 처리했는가”는 Throughput을 보여주는 지표다.
하지만 이것만으로 데이터 품질을 평가할 수는 없다.
Production 환경에서는 다음과 같은 지표를 함께 관리할 필요가 있다.
| 지표 | 의미 |
|---|---|
| Inter-Annotator Agreement | Annotator 간 판단의 일치도 |
| Expert Overturn Rate | 전문가가 작업 결과를 수정한 비율 |
| Label-level Error Rate | 특정 Label에서 발생하는 오류율 |
| Dataset Coverage | 다양한 데이터 유형이 충분히 포함됐는지 여부 |
| Disagreement Resolution Time | 의견 불일치를 해결하는 데 걸리는 시간 |
| Return Rate | 검수 과정에서 반려되는 데이터 비율 |
| Model Impact | Dataset 변경이 AI 모델 성능에 미친 영향 |
특히 전체 데이터의 평균적인 품질만 보는 것은 위험하다.
예를 들어 전체 정확도가 95%라고 하더라도 특정 장비, 지역, 사용자 그룹에서 정확도가 70%라면 실제 서비스에서는 심각한 문제가 될 수 있다.
따라서 다음과 같은 Slice별 데이터 및 모델 품질도 확인해야 한다.
- 장비
- 조명 조건
- 지역
- 언어
- 사용자 유형
- 문서 형식
- 제품 유형
- 음성 및 억양
8. 한·베트남 AI 데이터 구축에서는 언어와 문화도 고려해야 한다
한국과 베트남을 대상으로 AI 서비스를 개발할 경우 데이터 라벨링은 단순 번역 작업만으로 해결하기 어렵다.
특히 한국어 데이터에는 다음과 같은 특성이 있다.
- 존댓말과 반말
- 간접적인 표현
- 생략된 주어
- 줄임말
- 고유명사
- 전문용어
- 한국어와 영어가 섞이는 Code-switching
- 문화적 맥락에 따른 표현 차이
예를 들어 고객이 직접 “환불해 주세요”라고 말하지 않더라도 문맥상 환불 의사를 나타낼 수 있다.
이러한 경우 단순히 영어로 작성된 Labeling Guideline을 한국어로 번역하는 것만으로는 충분하지 않을 수 있다.
Annotator가 언어뿐만 아니라 제품과 비즈니스의 맥락을 이해해야 하기 때문이다.
한국과 베트남 데이터를 함께 다루는 프로젝트에서는 이러한 언어적·문화적 차이를 데이터 구축 단계부터 반영하는 것이 중요하다.
9. AI 학습 데이터에는 보안과 개인정보 보호도 필요하다
AI 학습 데이터에는 단순한 공개 데이터만 사용되는 것이 아니다.
기업의 실제 데이터에는 다음과 같은 민감한 정보가 포함될 수 있다.
- 개인정보(PII)
- 고객 문서
- 내부 업무 자료
- 제조 현장 이미지
- 상담 및 통화 데이터
- 의료 관련 정보
- 내부 시스템 데이터
따라서 데이터 라벨링 과정에서도 데이터 보안을 함께 설계해야 한다.
대표적인 관리 항목은 다음과 같다.
- 최소 권한 원칙
- 민감정보 Masking
- 다운로드 권한 제한
- 작업 로그 관리
- 데이터 접근 이력 관리
- 데이터 보존 기간 관리
- 외부 Annotator의 접근 범위 제한
특히 외부 인력을 활용하는 경우에는 업무 수행에 필요한 데이터만 접근할 수 있도록 권한을 제한하는 것이 중요하다.
결국 중요한 것은 ‘많은 데이터’가 아니라 ‘신뢰할 수 있는 데이터’다
AI 프로젝트에서 데이터가 많다는 것은 분명 중요한 요소다.
그러나 데이터의 양만 늘린다고 AI 성능이 자동으로 향상되는 것은 아니다.
잘못된 기준으로 라벨링된 100만 건의 데이터보다, 명확한 기준과 품질 관리 체계를 갖춘 데이터가 더 가치 있을 수 있다.
이를 위해서는 다음과 같은 전체 프로세스를 설계해야 한다.
Taxonomy 및 Ontology 정의
↓
Labeling Guideline 작성
↓
Calibration Pilot
↓
Data Labeling
↓
Golden Set 및 QA
↓
Dataset Versioning
↓
AI Model Training & Evaluation
↓
Error Analysis 및 Feedback
↓
Dataset 개선
이 과정에서 중요한 것은 데이터 라벨링을 AI 개발의 일회성 전처리 작업으로 보는 것이 아니라 AI 성능을 지속적으로 개선하는 Data Operations의 일부로 관리하는 것이다.
SotaTek Korea의 AI 데이터 구축 및 Data Operations
SotaTek Korea는 한국 기업의 AI/ML 프로젝트를 위한 AI 학습 데이터 구축 및 데이터 라벨링 프로세스를 설계하고 운영할 수 있다.
프로젝트의 목적과 데이터 유형에 따라 다음과 같은 영역을 지원한다.
- 데이터 라벨링 및 데이터 어노테이션
- Taxonomy 및 Ontology 설계
- Labeling Guideline 구축
- Annotation Platform 구축 및 연동
- Text / Image / Audio / Document 데이터 Pipeline
- AI Pre-labeling
- Active Learning 적용
- Human-in-the-loop 운영
- 다단계 Data QA
- Dataset Versioning 및 Data Lineage
- AI/ML 모델 개발 및 Evaluation 연계
특히 SotaTek의 베트남 Delivery 역량과 SotaTek Korea의 한국 현지 협업 구조를 활용해 한국의 도메인 전문가와 베트남의 데이터 운영 인력을 연결하는 AI 데이터 구축 프로젝트도 지원할 수 있다.
또한 데이터팀과 AI Engineering 및 Model Team이 긴밀하게 협업할 수 있다는 점도 중요한 요소다.
모델 Evaluation이나 실제 Production 환경에서 오류가 발견되면 이를 단순히 모델의 문제로 끝내지 않고,
Model Error → Data Issue 분석 → Labeling Requirement 정의 → Dataset 개선 → Model 재평가
로 연결할 수 있어야 한다.
결론: Ground Truth는 데이터에 있는 것이 아니라 만들어진다
데이터 라벨링을 단순히 “데이터에 정답을 붙이는 작업”이라고 생각하면 AI 학습 데이터의 본질을 놓치기 쉽다.
실제 기업 환경에서는 먼저 무엇을 정답으로 볼 것인지를 정의해야 한다.
그리고 그 기준을 바탕으로 데이터를 라벨링하고, 작업자 간의 차이를 조정하고, 전문가가 검수하며, 데이터의 변경 이력을 관리해야 한다.
따라서 Ground Truth는 항상 데이터 안에 이미 존재하는 절대적인 사실이라기보다, 명확한 비즈니스 기준과 사람의 판단, 검증 과정을 통해 구축되는 기준값에 가깝다.
결국 좋은 데이터 라벨링의 목표는 단순히 많은 데이터를 처리하는 것이 아니다.
AI가 무엇을 학습해야 하는지 명확하게 정의하고, 그 데이터가 왜 그렇게 Labeling됐는지 설명할 수 있도록 만드는 것이다.
그리고 이러한 데이터 품질 관리가 갖춰졌을 때 기업은 Raw Data를 신뢰할 수 있는 AI 학습 데이터와 AI 자산으로 전환할 수 있다.
SotaTek Korea
SotaTek Korea는 한국 기업을 대상으로 AI/ML, AI Engineering, 소프트웨어 개발, Cloud 및 시스템 통합 서비스를 제공하며, 베트남 SotaTek의 글로벌 Delivery 역량과 연결된 기술 지원 체계를 구축하고 있다.
기업의 데이터 라벨링, AI 학습 데이터 구축, 데이터 어노테이션, AI/ML 개발 및 Data Operations에 대한 전문적인 지원이 필요하다면 SotaTek Korea와 함께 프로젝트에 적합한 AI 데이터 구축 전략을 설계할 수 있다.
https://www.sotatek.com/kr/ 
(+82) 2 2088 0867 
