
AI 도입 효과, 무엇으로 셉니까
「편해졌다」는 말로는 AI 도입을 계속할지 판단할 수 없습니다. IBM 조사에서 기대한 수익을 낸 AI 과제는 25%였고, 대규모 연구들의 평균 시간 절감은 3% 안팎이었습니다. 시간·오류·비용을 재는 방법과 검토 시간까지 넣어 계산하는 식을 적었습니다.
IBM 기업가치연구소가 2025년 2~4월 33개국 CEO 2,000명을 조사한 결과, 지난 몇 년간 기대한 투자수익을 낸 AI 과제는 25%였습니다. 회사 전체로 확산된 과제는 16%였습니다. 응답한 CEO의 64%는 뒤처질까 봐 가치를 다 이해하기 전에 기술에 투자한다고 답했습니다.
작은 회사도 비슷한 처지에 놓이기 쉽습니다. 요금을 내고 몇 달 쓰다 보면 「편해졌다」, 「빨라진 것 같다」는 말이 나옵니다. 그런데 그 말로는 계속 돈을 낼지, 다른 업무로 넓힐지 정할 수 없습니다. 효과를 숫자로 재야 하는 이유입니다.
큰 연구들이 보여 준 숫자
기대치를 잡을 때 참고할 연구가 몇 있습니다. 시카고대와 코펜하겐대 연구진은 2025년 4월, 덴마크 11개 직군 노동자 2만 5천 명과 사업장 7천 곳의 자료를 분석했습니다. AI 챗봇을 쓰는 사람의 평균 시간 절감은 2.8%였고, 임금과 근로시간에는 의미 있는 변화가 없었습니다. 한국은행이 2025년 8월 취업자 5,512명을 조사한 결과에서는, 생성형 AI를 업무에 쓰는 사람의 주당 업무시간이 평균 3.8% 줄었습니다. 주 40시간으로 치면 1.5시간 정도입니다.
이 숫자들은 모든 업무를 섞은 평균입니다. AI가 잘 맞는 업무 하나만 보면 효과가 훨씬 클 수 있고, 맞지 않는 업무에서는 오히려 시간이 늘 수 있습니다. 그래서 회사 전체 효과를 한 번에 재기보다, 업무 하나씩 따로 재야 판단에 쓸 수 있습니다.
느낌과 측정이 반대로 나오기도 합니다
2025년 7월 비영리 연구기관 METR는 숙련 오픈소스 개발자 16명이 실제 과제 246건을 처리하는 실험을 했습니다. 과제마다 AI 사용을 무작위로 허용하거나 금지했더니, AI를 쓴 과제가 19% 더 오래 걸렸습니다. 개발자들은 실험 전에 24% 빨라질 거라고 예상했고, 실험 뒤에도 20% 빨라졌다고 느꼈습니다.
이 실험은 숙련자와 특정 시기의 도구를 대상으로 해서 모든 업무에 옮길 수는 없습니다. 하지만 사람의 체감이 실제 시간과 반대일 수 있다는 점은 분명히 보여 줍니다. 직원 설문은 만족도를 아는 데 쓰고, 효과 판단은 시계와 건수로 합니다.
재는 방법
먼저 업무 하나와 재는 단위를 정합니다. 견적서라면 「견적서 한 건」, 문의 응대라면 「문의 한 건」입니다. 그다음 도입 전 한두 주 동안 다음을 적습니다. 건수, 건당 걸린 시간, 나중에 고친 오류 건수입니다. 외주를 주던 업무라면 외주비도 적습니다.
도입 뒤에는 같은 방식으로 다시 적되, 시간을 셋으로 나눕니다. AI로 초안을 만드는 시간, 결과를 확인하고 고치는 시간, 결과를 받은 동료나 상사가 다시 확인한 시간입니다. 업워크의 2024년 조사에서 AI를 쓰는 직원의 77%가 일이 늘었다고 답한 것은, 이 두 번째와 세 번째 시간이 예상보다 컸기 때문입니다. 만드는 시간만 재면 효과가 부풀려집니다.
처음 몇 주는 익숙해지는 기간이라 숫자가 나쁘게 나올 수 있습니다. 첫 2주를 따로 떼어 두고, 3주 차 이후의 숫자로 비교하는 편이 공정합니다.
시간 말고 셀 것
AI 효과가 시간으로만 나타나지는 않습니다. 고객 문의에 답하는 시간이 하루에서 반나절로 줄었다면, 담당자의 일하는 시간은 그대로여도 고객이 느끼는 속도는 달라집니다. 견적서의 계산 오류가 한 달 다섯 건에서 한 건으로 줄었다면, 그 오류를 바로잡느라 쓰던 통화와 재발송이 사라집니다. 이런 효과는 응답까지 걸린 시간, 오류와 재작업 건수, 고객 불만 건수처럼 따로 세어 둡니다.
다만 이런 숫자는 다른 요인의 영향도 받습니다. 같은 기간에 담당자가 바뀌었거나 문의량이 크게 줄었다면, 숫자가 좋아진 이유가 AI만은 아닙니다. 비교하는 기간에 업무에 생긴 다른 변화를 메모해 두면, 나중에 결과를 해석할 때 과대평가가 줄어듭니다.
계산식
숫자를 모았으면 한 달 기준으로 계산합니다. 이익 쪽에는 줄어든 시간에 시간당 인건비를 곱한 값과 줄어든 외주비를 넣습니다. 비용 쪽에는 도구 요금, 늘어난 검토 시간에 인건비를 곱한 값, 교육과 설정에 쓴 시간을 넣습니다. 오류가 늘었다면 그 오류를 고치는 데 든 비용도 비용 쪽에 넣습니다.
예를 들어 설명하면 이렇습니다(아래 숫자는 설명을 위한 가상 예시입니다). 견적서를 한 달에 80건 쓰는데 건당 시간이 60분에서 40분으로 줄었고, 그중 검토 시간이 10분이라면 실제 절감은 건당 20분, 한 달 약 27시간입니다. 시간당 인건비가 3만 원이면 80만 원 정도입니다. 도구 요금이 팀 전체 한 달 20만 원, 처음 한 달 교육과 설정에 10시간을 썼다면 첫 달 비용은 50만 원이고 그다음 달부터는 20만 원입니다.
계산 결과보다 중요한 것은 시작할 때 계속할 조건을 정해 두는 일입니다. 「검토 시간을 포함한 건당 처리 시간이 20% 이상 줄고 오류 건수가 늘지 않으면 확대」처럼 적어 두면, 석 달 뒤 감에 의존하지 않고 결정할 수 있습니다. 이 측정을 90일 계획에 넣는 방법은 AI 도입 첫 90일에, 검토 시간이 늘어나는 구조는 AI를 도입했는데 일이 늘었습니다에 적었습니다.
출처: IBM 기업가치연구소 CEO 조사(2025.5.6 발표) · Humlum·Vestergaard 「Large Language Models, Small Labor Market Effects」(시카고대 BFI 워킹페이퍼, 2025.4) · 한국은행 「AI의 빠른 확산과 생산성 효과」(2025.8.18) · METR 「Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity」(2025.7.10) · Upwork·Workplace Intelligence 조사(2024.7)
자주 묻는 질문
직원 설문으로 효과를 재면 안 됩니까?
설문은 쓰는 사람의 만족도를 알려 주지만 시간 변화와는 다를 수 있습니다. METR 실험에서 개발자들은 AI로 20% 빨라졌다고 느꼈지만 실제로는 19% 느려졌습니다. 설문은 보조 자료로 두고 시간과 오류 건수를 직접 잽니다.
검토 시간은 왜 넣어야 합니까?
AI가 만든 결과를 확인하고 고치는 시간이 새로 생기기 때문입니다. 만드는 시간만 재면 효과가 부풀려집니다. 결과를 받는 사람이 쓴 시간도 같은 업무의 시간으로 셉니다.
얼마나 줄면 성공입니까?
정해진 숫자는 없지만, 시작할 때 계속할 조건을 적어 두십시오. 예를 들어 검토 시간을 포함한 건당 처리 시간이 20% 이상 줄고 오류 건수가 늘지 않으면 확대하는 식입니다. 평균 연구 결과보다 훨씬 큰 효과를 기대한다면 그 근거도 같이 적어 둡니다.
AI 도입 · 운영 자료를 준비해 두었습니다
글에서 다룬 것을 실제로 쓰실 수 있게 정리한 시트와 서식입니다. 가입도 결제도 없습니다.
이 글 인용하기
보고서나 발표자료에 옮겨 쓰셔도 됩니다. 출처만 같이 적어 주십시오.
정윤섭. 「AI 도입 효과, 무엇으로 셉니까」. younsubjung.com, 2026.11.06. https://younsubjung.com/blog/ai-roi-measurement
<a href="https://younsubjung.com/blog/ai-roi-measurement">정윤섭, 「AI 도입 효과, 무엇으로 셉니까」</a> (younsubjung.com, 2026.11.06)
이 주제로 강연 · 워크숍이 필요하시면
기관 목적과 대상에 맞춰 90분 특강부터 2일 집중과정까지 형식을 맞춰 드립니다. 보통 1일 이내에 회신드립니다.


