어떤 AI 모델을 쓸지, 우리 업무로 시험해서 고르는 법

새 AI 모델이 나올 때마다 순위표가 바뀝니다. 그런데 스탠퍼드대 인간중심AI연구소가 2025년 4월 낸 「AI Index 2025」를 보면, 상위 모델 사이의 격차는 해마다 줄고 있습니다. 사용자 투표로 순위를 매기는 챗봇 아레나에서 1위와 10위 모델의 점수 차는 1년 사이 11.9%에서 5.4%로 좁혀졌고, 선두를 다투던 오픈AI와 구글 모델의 차이는 0.7%였습니다. 공개 모델과 비공개 모델의 차이도 8%에서 1.7%로 줄었습니다.

비용은 더 크게 움직였습니다. 같은 보고서에 따르면 GPT-3.5 수준의 성능을 내는 모델을 쓰는 비용은 2022년 11월 100만 토큰당 20달러에서 2024년 10월 0.07달러로, 280분의 1 아래로 떨어졌습니다. 상위권 모델들이 비슷해지고 값은 계속 내려가는 상황에서는, 순위표 1위를 고르는 것보다 우리 업무에서 어느 모델이 덜 틀리고 덜 비싼지를 재는 편이 실속이 있습니다.

순위표를 그대로 믿기 어려운 이유

워싱턴대 멜라니 스클라 연구팀은 2023년 논문에서, 내용은 같고 형식만 다른 프롬프트를 넣었을 때 같은 모델의 정확도가 최대 76%포인트까지 달라지는 것을 보였습니다. 콜론을 쓰느냐 줄바꿈을 쓰느냐, 대문자를 쓰느냐 같은 차이였습니다. 모델이 커지거나 예시를 늘려도 이런 민감성은 사라지지 않았습니다.

이 결과는 공개 순위표의 점수가 그 시험에 쓴 프롬프트 형식에 영향을 받는다는 뜻이기도 합니다. 우리 회사의 지시문과 자료로 돌리면 순서가 바뀔 수 있습니다. 순위표 운영 방식에 대한 비판도 있습니다. 2025년 4월 코히어 연구진 등은 「The Leaderboard Illusion」 논문에서 일부 대형 업체가 공개 전에 여러 비공개 버전을 시험해 보고 점수가 좋은 것만 올릴 수 있었다고 지적했습니다.

그래서 순위표는 후보를 두세 개로 줄이는 데까지만 쓰고, 고르는 일은 우리 업무로 합니다.

우리 업무 20건으로 시험하기

시험 자료는 실제로 매주 하는 업무에서 고릅니다. 거래처 문의 분류라면 지난달 문의 20건, 계약서 요약이라면 지난 분기 계약서 20건입니다. 각 건마다 사람이 정답이나 합격 기준을 미리 적어 둡니다. 분류라면 맞는 분류명, 요약이라면 빠지면 안 되는 항목 목록입니다. 정답을 미리 적지 않으면, 결과를 보고 나서 그럴듯한 쪽을 고르게 됩니다.

개인정보와 영업 비밀이 들어간 자료는 이름과 금액을 가린 사본을 씁니다. 시험 단계에서는 아직 약관 확인이 끝나지 않은 서비스에 자료를 넣게 되기 때문입니다.

후보 모델마다 같은 지시문, 같은 자료를 넣고 한 건을 세 번씩 돌립니다. 같은 질문에도 답이 조금씩 달라질 수 있어서입니다. 2025년 9월 싱킹머신스랩은 무작위성을 끈 설정으로 같은 질문을 1,000번 넣었을 때 서로 다른 답이 80개 정도 나왔다고 발표했습니다. 세 번 중 세 번 맞는 모델과 두 번 맞는 모델은 업무에서 차이가 큽니다.

비교표에 넣을 항목

항목	재는 방법
정확도	20건 × 3회 가운데 정답 기준을 통과한 비율
일관성	세 번 모두 같은 판단을 낸 건수
처리 시간	결과를 받고 사람이 고치는 데 걸린 시간까지 포함한 건당 시간
건당 비용	요금제 월 금액을 처리 건수로 나누거나, 사용량 과금이면 실제 청구액으로 계산
한국어 품질	고객에게 나가는 문서라면 문장을 고친 횟수
약관 조건	입력 데이터의 학습 활용 여부, 서버 위치, 보관 기간, 기업용 요금제 여부

처리 시간에 사람이 고치는 시간을 넣는 이유는, 정확도가 조금 낮아도 틀린 곳을 찾기 쉬운 모델이 있고, 정확도가 높아도 틀린 곳이 그럴듯해서 찾기 어려운 모델이 있기 때문입니다. 2025년 스택오버플로 개발자 설문에서 가장 많이 꼽힌 불만도 「거의 맞는데 조금 틀린 답」이었습니다.

업무마다 다른 모델을 써도 됩니다

시험해 보면 업무마다 결과가 다르게 나오는 경우가 많습니다. 긴 계약서 요약은 한 모델이, 짧은 문의 분류는 값싼 작은 모델이 나을 수 있습니다. 분류처럼 단순하고 건수가 많은 일에는 작은 모델을, 사람이 꼼꼼히 확인하기 어려운 긴 문서에는 정확도가 높은 모델을 쓰는 식으로 나누면 비용이 줄어듭니다.

다만 도구가 늘어나면 관리할 계약과 계정도 늘어납니다. 업무별로 모델을 나누더라도 계약은 한두 곳으로 묶을 수 있는지 봅니다. 여러 모델을 하나의 서비스 안에서 고를 수 있는 기업용 요금제도 있습니다. 쓰는 도구를 줄이는 기준은 쓰는 AI 도구를 줄여야 할 때에 따로 적었습니다.

마지막으로 시험 자료 20건과 정답, 지시문을 그대로 저장해 둡니다. 새 모델이 나오거나 요금이 바뀌었을 때 같은 묶음으로 다시 돌리면 한두 시간 안에 비교가 끝납니다.

출처: Stanford HAI 「AI Index Report 2025」(2025.4) · Sclar 외 「Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design」(arXiv 2310.11324, 2023) · Singh 외 「The Leaderboard Illusion」(arXiv, 2025.4) · Thinking Machines Lab 「Defeating Nondeterminism in LLM Inference」(2025.9) · Stack Overflow 「2025 Developer Survey」(2025.7.29)

FAQ

자주 묻는 질문

가장 좋은 모델 하나를 쓰면 되지 않습니까?

상위 모델 사이의 차이가 작아진 만큼, 업무에 따라 순위가 바뀌는 일이 잦습니다. 비용과 속도, 데이터 처리 조건까지 따지면 업무별로 다른 모델이 나을 수 있습니다.

시험용 업무는 몇 건이 적당합니까?

20건 안팎이면 큰 차이는 보입니다. 정답을 사람이 미리 정해 둘 수 있는 업무여야 비교가 됩니다. 같은 질문에도 답이 매번 조금씩 달라질 수 있으니 한 건을 세 번씩 돌려 봅니다.

한 번 고르면 계속 써도 됩니까?

모델은 몇 달 단위로 새 버전이 나오고 요금도 바뀝니다. 시험용 업무 묶음을 저장해 두고 분기에 한 번 같은 방식으로 다시 돌려 보면, 바꿀지 말지를 빠르게 판단할 수 있습니다.