기업들이 ChatGPT와 생성형 AI(Generative AI)를 도입하고 있지만, 모든 프로젝트가 실제 사업 성과로 이어지는 것은 아니다. AI를 활용해 문서를 작성하고, 코드를 생성하고, 고객 문의에 답변하는 것만으로는 기업 전체의 생산성이나 수익성이 개선됐다고 단정하기 어렵다.
Gartner는 2026년 1월 발표한 분석에서 2025년 말까지 생성형 AI 프로젝트의 최소 50%가 개념검증(PoC) 이후 중단됐다고 밝혔다. 주요 원인은 데이터 품질 부족, 불충분한 위험 관리, 비용 증가, 불명확한 사업 가치였다.
여기서 주의해야 할 점이 있다. 이 수치는 ChatGPT를 도입한 기업의 50%가 실패했다는 의미가 아니라, 생성형 AI 프로젝트가 PoC 이후 중단되는 비율에 관한 것이다. 그러나 AI 실험을 실제 운영 환경으로 전환하고 측정 가능한 성과를 확보하는 과정에서 기업들이 직면하는 문제를 보여주는 지표다.
그렇다면 기업용 ChatGPT와 생성형 AI 프로젝트는 왜 기대한 성과를 내지 못할까? AI 도입에 따른 ROI를 확보하려면 무엇을 준비해야 하며, 데이터 유출 위험과 AI 에이전트 도입은 어떻게 접근해야 할까?
1. AI를 도입했지만 기업 전체의 ROI가 개선되지 않는 이유
1-1. AI 활용과 사업 성과를 동일하게 보는 문제
AI 도입 초기에는 사용자가 얼마나 늘었는지, 생성된 콘텐츠가 얼마나 많은지, 작업 시간이 얼마나 단축됐는지에 관심이 집중되기 쉽다. 그러나 이러한 지표만으로는 기업 전체의 재무적 성과를 판단하기 어렵다.
McKinsey가 2025년 11월 발표한 The State of AI in 2025에 따르면, 설문 응답자의 거의 3분의 2는 자사 조직이 아직 AI를 전사적으로 확대하는 단계에 진입하지 못했다고 답했다. 또한 AI가 기업 전체의 EBIT(이자·세금 차감 전 이익)에 영향을 미쳤다고 응답한 비율은 39%였다.
이는 AI를 활용하는 것과 기업 전체의 재무적 성과를 개선하는 것이 별개의 과제임을 보여준다. 다만 EBIT에 영향을 보고하지 않았다는 사실만으로 해당 기업의 AI 프로젝트가 실패했다고 판단할 수는 없다. 생산성, 혁신, 고객 경험 등 재무제표에 즉시 반영되지 않는 효과도 있기 때문이다.
출처: McKinsey, The State of AI in 2025: Agents, Innovation, and Transformation (2025년 11월)
기업이 AI 도입 효과를 정확하게 평가하려면 다음 세 가지를 구분해야 한다.
- 활용 지표: AI 사용자 수, 사용 빈도, 처리 건수
- 업무 성과 지표: 작업 시간, 오류율, 재작업률, 처리 비용
- 사업 성과 지표: 수익성, 고객 유지율, 매출 기여도, 운영 효율성
예를 들어 ChatGPT를 활용해 제안서 작성 시간을 단축했다고 하더라도, 담당자의 검토 시간이 늘어나거나 결과물의 수정률이 높다면 실제 절감 효과는 기대보다 작을 수 있다.
따라서 AI 프로젝트의 성과는 단순한 사용량이 아니라 도입 전후의 업무 결과와 비용을 비교해 판단해야 한다.
1-2. 기존 업무 프로세스를 바꾸지 않은 채 AI만 추가한다
AI를 기존 업무에 추가하는 것과 AI를 중심으로 업무 프로세스를 재설계하는 것은 다르다.
예를 들어 고객 지원 업무에 ChatGPT를 도입해 답변 초안을 생성하더라도, 담당자가 별도로 관련 문서를 검색하고 답변을 검증한 뒤 CRM에 내용을 입력해야 한다면 수작업이 상당 부분 남는다.
반면 문의 분류, 사내 지식 검색, 답변 초안 생성, 담당자 전달, CRM 기록을 하나의 업무 흐름으로 연결하면 반복 작업을 줄일 가능성이 커진다.
McKinsey의 2025년 AI 조사에서도 업무 흐름의 재설계는 AI 활용을 통해 더 큰 가치를 확보하는 조직에서 나타나는 중요한 특징으로 제시됐다.
AI 도입을 검토할 때는 다음 질문에 답할 수 있어야 한다.
- 현재 업무에서 가장 많은 시간이 소요되는 단계는 무엇인가?
- AI가 담당할 작업과 사람이 검토할 작업은 어떻게 구분되는가?
- 기존 시스템과 연동해야 하는 데이터는 무엇인가?
- 업무 프로세스 변경 이후 성과를 어떻게 측정할 것인가?
AI가 업무 프로세스의 일부에만 적용된다면 개선 효과도 제한적일 수 있다. 반대로 업무 흐름을 분석하고 자동화 범위를 적절하게 설계하면 AI를 실질적인 운영 개선 수단으로 활용할 수 있다.
1-3. 데이터 품질과 구축 비용을 과소평가한다
Gartner가 지적한 생성형 AI 프로젝트 중단 원인에는 데이터 품질 부족과 비용 증가도 포함된다.
기업용 AI는 모델 자체의 성능만으로 완성되지 않는다. 사내 문서의 최신성, 데이터 접근 권한, 시스템 연동 방식, 결과 검증 절차 등이 함께 갖춰져야 한다.
예를 들어 사내 규정과 고객 정보가 여러 시스템에 분산되어 있다면 AI가 필요한 정보를 정확하게 검색하기 어려울 수 있다. 데이터 정비와 시스템 통합에 예상보다 많은 비용이 발생하면 PoC에서 확인한 효과가 실제 운영 환경에서는 충분한 경제성을 확보하지 못할 수도 있다.
따라서 기업은 PoC 단계부터 모델 이용료뿐 아니라 데이터 정비, 개발, 시스템 통합, 검수, 운영 및 유지보수 비용을 함께 검토해야 한다.
2. 기업용 ChatGPT 도입에서 놓치기 쉬운 데이터 보안 위험
AI 도입의 또 다른 과제는 데이터 보안이다.
직원들이 업무 편의를 위해 승인되지 않은 AI 도구에 회사 내부 자료를 입력하는 경우, 기업은 데이터 처리 범위와 접근 권한을 충분히 통제하지 못할 수 있다. 이러한 비공식적인 AI 활용은 섀도 AI(Shadow AI)라고 불린다.
2-1. Shadow AI는 왜 기업 보안의 문제가 되는가?
IBM이 2025년 발표한 Cost of a Data Breach Report는 Ponemon Institute가 조사한 전 세계 600개 조직의 데이터 유출 사고를 분석했다.
보고서에 따르면 조사 대상 조직의 5곳 중 1곳은 Shadow AI와 관련된 데이터 유출 사고를 경험했다고 답했다. 또한 Shadow AI 사용 수준이 높은 조직은 사용 수준이 낮거나 사용하지 않는 조직보다 데이터 유출 사고 비용이 평균 67만 달러 높게 나타났다.
보고서는 조사 대상 조직의 63%가 AI 거버넌스 정책을 보유하지 않았거나 아직 개발 중이라고 밝혔다.
출처: IBM / Ponemon Institute, 2025 Cost of a Data Breach Report
이 결과는 모든 기업에서 동일한 수준의 위험이 발생한다는 의미는 아니다. 다만 AI 사용 정책과 접근 통제가 부족하면 기업의 정보보안 관리가 어려워질 수 있음을 보여준다.
특히 다음과 같은 정보는 AI 도구에 입력하기 전에 데이터 처리 기준을 확인해야 한다.
- 고객 개인정보 및 계약 관련 자료
- 미공개 재무 정보와 사업 계획
- 소스 코드, API 키 및 인증 정보
- 내부 시스템 구성과 보안 문서
- 영업 전략 및 지식재산권 관련 자료
문제는 직원들이 반드시 악의적인 목적으로 정보를 입력하는 것은 아니라는 점이다. 반복 업무를 빠르게 처리하려는 과정에서 승인된 도구와 데이터 처리 정책을 충분히 이해하지 못할 수도 있다.
기업은 AI 사용을 무조건 금지하는 방식보다 허용된 사용 사례, 데이터 분류 기준, 접근 권한 및 승인 절차를 명확하게 정의하는 것이 바람직하다.
2-2. ChatGPT를 사용하면 기업 데이터가 무조건 유출되는가?
그렇지는 않다. 데이터 처리 방식은 서비스 유형, 계정 설정, 계약 조건 및 기업의 운영 방식에 따라 달라진다.
OpenAI는 ChatGPT Business, ChatGPT Enterprise 및 API 플랫폼의 입력과 출력 데이터를 기본적으로 모델 학습에 사용하지 않는다고 명시하고 있다.
그러나 모델 학습에 데이터를 사용하지 않는다는 정책이 모든 종류의 데이터 유출이나 보안 사고를 방지한다는 의미는 아니다.
기업은 다음 항목을 함께 검토해야 한다.
- 데이터 보존 및 삭제 정책
- 사용자별 접근 권한과 인증 방식
- 외부 애플리케이션 및 API 연동
- 감사 로그와 보안 모니터링
- 개인정보 및 기밀 정보 처리 기준
- 공급업체의 보안 정책과 계약상 의무
참고: OpenAI, Business Data Privacy and Security
기업용 AI 보안은 특정 제품을 선택하는 것만으로 완성되지 않는다. AI에 어떤 데이터가 전달되는지, 누가 해당 데이터에 접근할 수 있는지, AI가 어떤 시스템과 연결되는지, 결과를 어떻게 검증하는지를 포함하는 관리 체계가 필요하다.
3. 기업용 AI의 ROI를 측정하는 방법
AI 도입의 ROI(Return on Investment)를 평가하려면 도입 전에 기준값을 설정하고, 운영 이후 동일한 지표를 비교해야 한다.
예를 들어 고객 지원 업무에 AI를 도입한 후 평균 응답 시간이 감소했다고 가정해 보자. 그러나 AI 운영 비용과 추가 검수 비용이 증가했다면 실제 비용 절감 효과는 예상과 다를 수 있다.
기업은 프로젝트의 목적에 따라 다음과 같은 지표를 설정할 수 있다.
| 평가 영역 | 주요 KPI | 측정 목적 |
|---|---|---|
| 생산성 | 작업당 소요 시간 | 업무 처리 시간 단축 여부 |
| 비용 | 건당 처리 비용, 총운영비 | 실질적인 비용 절감 여부 |
| 품질 | 오류율, 수정률, 재작업률 | 결과물의 품질 변화 |
| 고객 경험 | 응답 시간, 해결률, 재문의율 | 고객 지원 성과 개선 |
| 보안 | 정책 위반, 비인가 접근 기록 | 데이터 통제 수준 |
| 활용도 | 실제 업무 채택률, 지속 사용률 | 업무에 정착했는지 여부 |
ROI를 계산할 때는 비용과 편익의 범위를 명확히 해야 한다.
실무에서는 다음과 같은 구조로 평가할 수 있다.
ROI = (AI 도입으로 발생한 순편익 ÷ AI 도입 총비용) × 100%
순편익은 평가 기간 동안 발생한 비용 절감과 추가 수익 등 측정 가능한 편익에서 해당 평가에 포함되는 비용을 차감해 산정할 수 있다. 총비용에는 모델 이용료뿐 아니라 개발, 시스템 통합, 데이터 정비, 운영 및 유지보수 비용도 포함해야 한다.
다만 조직의 혁신 역량이나 고객 만족도처럼 금액으로 환산하기 어려운 효과는 별도의 지표로 평가할 필요가 있다.
중요한 것은 모든 AI 프로젝트에 동일한 KPI를 적용하는 것이 아니라, 각 프로젝트가 해결하려는 문제에 맞는 측정 기준을 설정하는 것이다.
4. ChatGPT에서 AI 에이전트로: 기업용 AI 활용의 다음 단계
기업이 AI를 통해 더 큰 업무 개선 효과를 얻으려면 단순한 질의응답이나 콘텐츠 생성에서 나아가 실제 업무 시스템과 AI를 연결하는 방식을 검토할 수 있다.
이 과정에서 주목받는 기술이 AI 에이전트다.
McKinsey의 2025년 조사에서는 응답자의 62%가 자사 조직이 AI 에이전트를 최소한 실험하는 단계에 있다고 답했다. 이는 AI 에이전트에 대한 관심이 확대되고 있음을 보여주지만, 모든 조직이 이를 전사적으로 운영하거나 투자 효과를 확보했다는 의미는 아니다.
출처: McKinsey, The State of AI in 2025
4-1. 일반적인 생성형 AI와 AI 에이전트의 차이
일반적인 생성형 AI 활용은 질문에 답변하거나 문서 초안을 작성하는 등 특정 작업을 지원하는 데 초점을 둔다.
반면 AI 에이전트는 정의된 목표와 권한 범위 안에서 여러 단계를 연결하고, 승인된 도구와 업무 시스템을 활용하도록 설계할 수 있다.
| 구분 | 일반적인 생성형 AI 활용 | AI 에이전트 기반 자동화 |
|---|---|---|
| 주요 역할 | 질문 응답, 요약, 초안 작성 | 여러 단계의 업무 수행 |
| 업무 흐름 | 사용자가 다음 작업을 진행 | 정의된 절차에 따라 작업을 연결 |
| 시스템 연동 | 별도 작업이 필요한 경우가 많음 | 승인된 API 및 업무 시스템 연동 가능 |
| 데이터 활용 | 사용자가 제공한 정보 중심 | 권한이 부여된 사내 데이터 활용 가능 |
| 통제 방식 | 사용자 검토 중심 | 권한, 실행 조건, 승인 및 로그 관리 |
AI 에이전트가 모든 업무에서 일반적인 ChatGPT 활용보다 우수한 것은 아니다. 단순한 문서 요약이나 번역처럼 작업 범위가 명확한 경우에는 기존 생성형 AI 도구가 더 효율적일 수 있다.
반면 여러 시스템을 거치는 반복 업무나 단계별 처리가 필요한 업무에서는 AI 에이전트를 검토할 수 있다.
4-2. AI 에이전트를 적용할 수 있는 업무 사례
고객 지원
고객 문의를 분류하고 관련 지식 문서를 검색한 뒤 답변 초안을 생성한다. 필요한 경우 담당자에게 전달하고 CRM에 기록하는 업무 흐름을 구성할 수 있다.
사내 지식 검색
RAG(Retrieval-Augmented Generation)를 활용해 권한이 부여된 사내 문서와 지식 저장소에서 관련 정보를 검색하고, 근거 자료를 바탕으로 답변을 생성할 수 있다.
소프트웨어 개발
요구사항 분석, 코드 초안 작성, 테스트 생성 및 코드 리뷰 지원을 연결할 수 있다. 다만 코드 병합과 운영 환경 배포 등 영향이 큰 작업은 별도의 검증 및 승인 절차를 유지해야 한다.
백오피스 업무
문서에서 필요한 정보를 추출하고 승인된 시스템에 데이터를 입력하거나 후속 업무를 생성하는 작업을 지원할 수 있다.
이러한 시스템을 구축하려면 모델 선택뿐 아니라 API 연동, 데이터 접근 권한, 업무 규칙, 예외 처리 및 결과 검증 구조를 함께 설계해야 한다.
5. 기업용 AI 프로젝트의 성공 가능성을 높이는 5단계
1단계. 해결할 업무 문제와 목표를 정의한다
AI 도입 자체를 목표로 삼기보다 반복적인 문서 작성, 사내 정보 검색, 고객 문의 분류 등 개선이 필요한 업무를 식별한다.
프로젝트 시작 전에 현재 업무 시간, 비용 및 품질을 측정하고 기대하는 개선 수준을 정의한다.
2단계. 데이터 품질과 보안 요건을 점검한다
사용할 데이터의 정확성, 최신성, 민감도 및 접근 권한을 확인한다. 개인정보와 기밀 정보의 처리 기준을 수립하고, 승인된 AI 서비스와 사용 범위를 정의한다.
3단계. 제한된 범위에서 PoC를 수행한다
업무 범위를 명확하게 설정하고 AI 적용 전후의 결과를 비교한다. 성공 기준과 중단 기준을 사전에 정의해 PoC가 끝없이 이어지지 않도록 한다.
4단계. 검증된 업무를 기존 시스템과 연결한다
PoC에서 효과가 확인되면 필요한 경우 CRM, ERP, 사내 문서 저장소 및 업무 관리 시스템과 연동한다.
이때 최소 권한 원칙, 접근 통제, 감사 로그, 예외 처리 및 사람의 승인 절차를 고려해야 한다.
5단계. 운영 성과와 위험을 지속적으로 관리한다
AI 모델, 데이터 및 업무 환경은 시간이 지나면서 변경될 수 있다. 따라서 정확도, 운영 비용, 응답 시간, 보안 이벤트 및 사용자 피드백을 지속적으로 점검해야 한다.
성과가 확인된 업무부터 적용 범위를 확대하고, 기대한 결과를 얻지 못하는 경우에는 데이터, 모델, 업무 흐름 및 운영 비용을 재검토한다.
6. SotaTek과 함께 검토하는 기업 맞춤형 AI 솔루션
기업용 AI의 성공은 최신 모델을 선택하는 것만으로 결정되지 않는다. 기업의 업무 구조와 데이터 환경을 이해하고, 적합한 기술을 선택한 뒤 기존 시스템과 연결하며, 운영 단계에서 성과와 위험을 관리할 수 있어야 한다.
SotaTek은 AI/ML 개발과 엔터프라이즈 시스템 구축 역량을 바탕으로 기업의 요구사항에 맞는 AI 솔루션 개발 및 시스템 통합을 지원한다.
기업의 AI 도입 목적과 기존 시스템 환경에 따라 다음과 같은 영역을 검토할 수 있다.
- 기업용 AI 솔루션 개발: 조직별 업무 요구사항에 맞는 AI 기반 애플리케이션 설계 및 개발
- RAG 기반 사내 지식 검색: 승인된 내부 문서를 활용하는 검색·응답 시스템 구축
- AI 에이전트 개발: 업무 규칙과 권한에 따라 여러 작업을 연결하는 AI 기반 업무 자동화
- 엔터프라이즈 시스템 통합: 기존 업무 시스템 및 API와 AI 솔루션 간 연동
- AI 운영 및 유지보수: 실제 사용 환경에서의 성능, 품질 및 운영 안정성 개선
모든 기업에 동일한 AI 아키텍처가 필요한 것은 아니다. 단순한 문서 처리 자동화가 적합한 기업도 있고, 사내 지식 검색이나 여러 시스템을 연결하는 AI 에이전트가 필요한 기업도 있다.
중요한 것은 기술 도입 자체가 아니라 명확한 사업 목표, 데이터 준비 수준, 보안 요건 및 측정 가능한 성과를 기반으로 적합한 솔루션을 선택하는 것이다.
기업용 AI 도입 또는 AI 에이전트 구축을 검토하고 있다면, 먼저 현재 업무에서 개선이 필요한 영역과 기대하는 성과를 정의하는 것부터 시작할 수 있다.
SotaTek과 함께 기업 환경에 적합한 AI 솔루션과 구축 방향을 검토해 보자.
자주 묻는 질문(FAQ)
Q1. 생성형 AI 프로젝트의 최소 50%가 실패한다는 것은 사실인가?
Gartner는 2026년 1월 발표한 분석에서 2025년 말까지 생성형 AI 프로젝트의 최소 50%가 PoC 이후 중단됐다고 밝혔다. 이는 전체 ChatGPT 도입 기업의 실패율이 아니라 PoC 이후 중단된 생성형 AI 프로젝트에 관한 수치다.
Q2. 기업용 ChatGPT 도입 시 가장 중요한 것은 무엇인가?
명확한 업무 목표와 KPI, 데이터 품질, 보안 정책, 기존 업무 시스템과의 연동 구조가 중요하다. 사용자 수나 사용 빈도만으로는 실제 비용 절감이나 생산성 향상을 보장할 수 없다.
Q3. ChatGPT에 회사 내부 자료를 입력하면 데이터가 유출되는가?
사용하는 서비스, 계정 유형, 데이터 처리 설정 및 기업의 운영 방식에 따라 달라진다. 기업은 모델 학습 정책뿐 아니라 데이터 보존, 접근 권한, 외부 연동 및 민감 정보 처리 기준을 함께 확인해야 한다.
Q4. 기업은 AI 도입의 ROI를 어떻게 측정해야 하는가?
작업당 소요 시간, 처리 비용, 오류율, 재작업률 및 고객 응답 시간 등을 도입 전후로 비교해야 한다. 모델 이용료뿐 아니라 개발·통합·검수·운영 비용을 포함해 평가하는 것이 바람직하다.
Q5. AI 에이전트는 일반적인 ChatGPT 활용과 어떻게 다른가?
일반적인 생성형 AI는 질문에 답하거나 특정 작업을 보조하는 데 초점을 둔다. AI 에이전트는 정의된 권한과 업무 규칙 안에서 여러 작업을 연결하고 승인된 도구나 시스템을 활용하도록 구성할 수 있다.
Q6. AI 에이전트를 도입하려면 자체 AI 모델을 개발해야 하는가?
반드시 그렇지는 않다. 기존 상용 모델과 API를 활용해 기업별 업무 시스템을 구축하는 방법도 있다. 적합한 방식은 데이터 민감도, 요구 성능, 운영 비용, 시스템 연동 및 규제 요건을 고려해 결정해야 한다.
https://www.sotatek.com/kr/ 
(+82) 2 2088 0867 
