
AI 도입은 왜 시범 사업에서 멈춥니까
국내외 조사를 보면 AI 시범 사업이 본 업무로 넘어가지 못하는 일은 큰 회사에서도 흔합니다. MIT와 S&P글로벌, IBM, 국내 실태조사 숫자로 멈추는 이유를 살피고, 작은 회사가 첫 과제를 고를 때 무엇을 정해 두면 좋은지 적었습니다.
2025년 8월 MIT의 NANDA 연구팀이 낸 「The GenAI Divide: State of AI in Business 2025」는 기업 생성형 AI 시범 사업의 95%가 초기 단계에서 멈췄다고 썼습니다. 경영진 150명 인터뷰, 직원 350명 설문, 공개된 도입 사례 300건을 분석한 결과입니다. 시범으로 써 본 도구가 매출이나 비용에 숫자로 남는 변화를 만들고 회사 전체로 퍼진 경우는 5% 정도였습니다.
비슷한 숫자는 다른 조사에도 나옵니다. S&P글로벌 마켓인텔리전스가 2025년 3월 북미·유럽 기업 관계자 1,000여 명을 조사했더니, AI 과제 대부분을 접었다는 응답이 42%였습니다. 1년 전 17%에서 크게 늘었습니다. 개념검증 단계의 과제 가운데 평균 46%가 운영에 들어가기 전에 폐기됐습니다. IBM이 2025년 2~4월 CEO 2,000명에게 물은 조사에서는 기대한 투자수익을 낸 AI 과제가 25%, 회사 전체로 확산된 과제가 16%였습니다.
돈과 사람이 많은 회사도 이렇게 멈춥니다. 그러니 작은 회사가 몇 달 써 보다 그만둔 경험이 있다면, 그 자체를 부끄러워할 일은 아닙니다. 다만 왜 멈췄는지는 따져 볼 만합니다.
국내 중소기업은 어디까지 왔나
한국중소벤처기업유통원이 2026년 5~6월 중소기업 1,066곳을 조사한 결과, AI를 쓰고 있다는 기업은 57.5%였습니다. 숫자만 보면 절반이 넘습니다. 그런데 「매우 적극적으로 활용 중」이라는 기업은 18.9%에 그쳤고, 쓰는 분야는 콘텐츠 제작(34.1%)과 홍보 문구 작성(16.6%)에 몰려 있었습니다. 재고·수요·물류 관리는 2.9%, 생산·품질 관리는 2.6%였습니다.
제조업만 보면 차이가 더 큽니다. 대한상공회의소가 2025년 11월 발표한 제조기업 504곳 조사에서 AI를 경영에 활용하는 비율은 대기업 49.2%, 중소기업 4.2%였습니다. 응답 기업의 60.6%는 AI를 써도 효과가 미미할 것이라고 답했습니다.
두 조사를 함께 보면, 많은 중소기업이 글과 이미지를 만드는 데까지는 AI를 써 봤지만 매출이나 원가에 닿는 업무로는 아직 넘어가지 못한 상태로 보입니다.
멈추는 원인은 모델보다 일의 설계
MIT 보고서는 실패 원인을 「학습 격차」라는 말로 설명합니다. 개인이 쓰는 챗봇은 유연해서 금방 손에 익지만, 회사 업무에 들어간 도구는 고쳐 달라고 한 내용을 기억하지 못하고, 회사 사정에 맞춰 나아지지도 않는다는 것입니다. 같은 설명을 매번 다시 넣어야 하는 도구는 몇 주 지나면 쓰는 사람이 줄어듭니다.
예산을 어디에 쓰는지도 영향을 줍니다. 보고서에 따르면 기업 AI 예산의 절반 이상이 영업·마케팅에 들어갔는데, 수익이 크게 남은 곳은 외주 업무 축소나 사무 처리 자동화 같은 뒷단 업무였습니다. 눈에 잘 띄는 업무에 돈이 몰리고, 효과가 숫자로 남는 업무는 뒤로 밀렸습니다. 작은 회사도 홍보 문구와 이미지부터 AI로 만들기 시작하는 경우가 많아, 비슷한 배분이 생기기 쉽습니다.
만드는 방식도 차이를 냈습니다. 외부 업체의 도구를 사서 쓰거나 제휴한 경우는 약 3분의 2가 성공했고, 내부에서 직접 만든 경우는 약 3분의 1에 그쳤습니다. 보고서는 중앙의 AI 전담 조직보다 실제 업무를 맡은 현업 관리자가 도입을 이끈 회사의 결과가 좋았다고 권고했습니다.
개인이 쓰는 AI와 회사가 들이는 AI는 다릅니다
마이크로소프트와 링크드인의 「2024 Work Trend Index」는 31개국 3만 1천 명을 조사했습니다. 지식노동자의 75%가 이미 생성형 AI를 쓰고 있었고, 그 가운데 78%는 회사가 준 도구가 아니라 자기가 고른 도구를 쓰고 있었습니다. 회사에서 AI 교육을 받았다는 사람은 39%였습니다.
이 숫자는 회사가 도입하는 도구가 직원들이 이미 쓰는 개인 도구와 경쟁한다는 뜻으로 읽힙니다. 회사 도구가 더 불편하거나 회사 자료와 연결되지 않으면, 직원들은 다시 개인 계정을 엽니다. 겉으로는 도입이 멈춘 것처럼 보이지만, 실제로는 회사가 관리하지 못하는 곳에서 계속 쓰이고 있는 경우도 있습니다. 개인정보와 영업 비밀이 걱정되는 것은 이쪽입니다.
작은 회사가 첫 과제를 고를 때
조사 결과를 작은 회사 상황에 옮기면, 첫 과제는 다음 조건을 갖춘 업무가 무난합니다. 매주 반복되는 일이어야 효과를 잴 수 있고, 지금 그 일에 몇 시간이 드는지 적을 수 있어야 비교가 됩니다. 결과가 틀려도 외부로 나가기 전에 사람이 바로잡을 수 있는 내부 업무가 위험이 적습니다. 견적 비교표 정리, 거래처 문의 분류, 정산 증빙 대조 같은 일이 여기에 들어갑니다.
그다음은 사람을 정하는 일입니다. 그 업무를 실제로 하는 팀의 책임자가 도입 결과를 책임지게 하면, 도구가 업무 흐름에 맞지 않을 때 바로 알 수 있습니다. 대표가 도구만 사 주고 손을 떼면, 맞지 않는다는 신호가 위로 올라오지 않습니다.
데이터 상태도 미리 봐야 합니다. 앞의 한국중소벤처기업유통원 조사에서 데이터가 거의 없거나 엑셀·수기로 관리한다는 기업이 합쳐서 56.7%였습니다. 자료가 흩어져 있으면 AI가 읽을 수 있는 형태로 모으는 일이 먼저 생깁니다. 이 시간을 계획에 넣지 않으면 시작하자마자 일정이 밀립니다.
대가도 셈해 두어야 합니다. 도구 요금보다 큰 비용은 직원들이 새 방식을 익히는 몇 주 동안 처리 속도가 떨어지는 시간입니다. 한국은행이 2025년 8월 취업자 5,512명을 조사한 결과, 생성형 AI를 업무에 쓰는 사람의 주당 업무시간은 평균 3.8% 줄었습니다. 주 40시간이면 1.5시간 정도입니다. 한 업무에서 이보다 훨씬 큰 효과를 기대한다면, 그 근거가 무엇인지 시작 전에 적어 보는 편이 좋습니다.
마지막으로, 시작할 때 판단할 날짜와 그만둘 조건을 적어 두십시오. 예를 들어 「8주 뒤 주당 처리 시간이 20% 이상 줄지 않으면 중단」처럼 숫자로 적어 두면, 시범 사업이 흐지부지 끝나지 않고 계속할지 접을지를 정하고 끝납니다. 접은 과제에서 얻은 기록은 다음 과제를 고를 때 그대로 쓸 수 있습니다.
이어서 읽을 글로는 AI 도입 효과를 무엇으로 셀지와 첫 90일 운영 계획이 있습니다.
출처: MIT NANDA 「The GenAI Divide: State of AI in Business 2025」(2025.8) · S&P Global Market Intelligence 조사(CIO Dive 2025.3.14 보도) · IBM 기업가치연구소 CEO 조사(2025.5.6 발표) · 한국중소벤처기업유통원 「2026년 상반기 리테일·마케팅 동향 리포트」(뉴시스 2026.7.24 보도) · 대한상공회의소 「기업의 AI 전환 실태와 개선방안」(2025.11.18) · Microsoft·LinkedIn 「2024 Work Trend Index」(2024.5) · 한국은행 「AI의 빠른 확산과 생산성 효과」(2025.8.18)
자주 묻는 질문
AI 시범 사업은 얼마나 자주 실패합니까?
MIT NANDA의 2025년 보고서는 기업 생성형 AI 시범 사업의 95%가 매출이나 비용에 측정 가능한 변화를 만들지 못하고 초기 단계에 머물렀다고 봤습니다. IBM의 2025년 CEO 조사에서는 지난 몇 년간 기대한 투자수익을 낸 AI 과제가 25%였습니다.
직접 만드는 것과 사서 쓰는 것 중 어느 쪽이 낫습니까?
MIT 보고서에서는 외부 업체 도구를 사거나 제휴한 경우의 성공률이 약 3분의 2, 내부에서 직접 만든 경우가 약 3분의 1이었습니다. 작은 회사는 이미 나와 있는 도구로 시작해 효과를 확인한 뒤 손대면 부담이 적습니다.
첫 과제는 어떤 업무가 좋습니까?
매주 반복되고, 지금 몇 시간이 드는지 잴 수 있고, 틀려도 바로 고칠 수 있는 내부 업무가 좋습니다. MIT 보고서는 영업·마케팅보다 외주 정리나 사무 자동화 같은 뒷단 업무에서 수익이 더 컸다고 적었습니다.
시범 사업을 중간에 그만두면 실패입니까?
미리 정한 숫자를 보고 그만두었다면 판단을 한 것입니다. 숫자 없이 흐지부지 끝나는 경우가 손해가 큽니다. 시작할 때 판단 날짜와 그만둘 조건을 같이 적어 두십시오.
AI 도입 · 운영 자료를 준비해 두었습니다
글에서 다룬 것을 실제로 쓰실 수 있게 정리한 시트와 서식입니다. 가입도 결제도 없습니다.
이 글 인용하기
보고서나 발표자료에 옮겨 쓰셔도 됩니다. 출처만 같이 적어 주십시오.
정윤섭. 「AI 도입은 왜 시범 사업에서 멈춥니까」. younsubjung.com, 2026.11.06. https://younsubjung.com/blog/ai-adoption-fails
<a href="https://younsubjung.com/blog/ai-adoption-fails">정윤섭, 「AI 도입은 왜 시범 사업에서 멈춥니까」</a> (younsubjung.com, 2026.11.06)
이 주제로 강연 · 워크숍이 필요하시면
기관 목적과 대상에 맞춰 90분 특강부터 2일 집중과정까지 형식을 맞춰 드립니다. 보통 1일 이내에 회신드립니다.


