같은 질문에 AI가 매번 다른 답을 낼 때

거래처 문의를 「긴급」, 「일반」, 「참고」로 분류하는 일을 AI에 맡겼다고 해 봅시다. 같은 문의를 어제 넣었을 때는 긴급, 오늘 넣었을 때는 일반이 나옵니다. 사람이 분류할 때도 가끔 생기는 일이지만, AI는 같은 자료에 같은 지시를 했는데도 이런 일이 생깁니다. 업무에 쓰려면 이 흔들림이 어디서 오는지 알아야 합니다.

무작위성을 꺼도 답이 달라지는 이유

AI 서비스에는 보통 「온도」라는 설정이 있습니다. 온도를 높이면 답이 다양해지고, 0으로 낮추면 가장 가능성이 높은 답만 고르게 됩니다. 그래서 온도를 0으로 하면 같은 답이 나온다고 생각하기 쉽습니다.

2025년 9월 미국 AI 연구소 싱킹머신스랩은 이 생각이 맞지 않는다는 실험을 공개했습니다. 온도 0으로 같은 질문을 1,000번 넣었더니 서로 다른 답이 80개 정도 나왔습니다. 원인은 서버 쪽에 있었습니다. 서비스는 여러 사용자의 요청을 묶어 한꺼번에 계산하는데, 묶이는 요청 수가 그때그때 달라지면서 계산 순서가 바뀌고, 그 차이가 소수점 아래에서 쌓여 다른 단어를 고르게 만듭니다. 연구소는 묶음 크기와 상관없이 같은 결과를 내도록 계산 방식을 바꿔 1,000번 모두 같은 답을 얻었지만, 처리 시간이 26초에서 42초로 늘었습니다. 대부분의 상용 서비스가 이 방식을 기본으로 쓰지 않는 이유입니다.

회사가 서버를 고칠 수는 없습니다. 그러니 흔들림이 있다는 전제에서 업무를 짜야 합니다.

지시문과 버전도 답을 바꿉니다

지시문의 작은 차이도 답을 흔듭니다. 워싱턴대 연구팀은 2023년 논문에서 내용이 같은 프롬프트라도 콜론과 줄바꿈 같은 형식만 바꾸면 같은 모델의 정확도가 최대 76%포인트까지 달라진다는 것을 보였습니다. 팀원마다 지시문을 조금씩 다르게 쓰면 결과도 사람마다 달라집니다.

모델 버전도 변수입니다. 챗봇 서비스는 같은 이름으로 안쪽의 모델을 수시로 업데이트합니다. 지난달과 같은 지시문을 써도 모델이 바뀌면 분류 결과가 달라지기도 합니다. 회사 프로그램에 API로 연결해 쓴다면, 날짜가 붙은 모델 버전을 지정해 두면 업체가 모델을 바꿔도 회사 쪽 결과가 갑자기 달라지지 않습니다.

넣는 자료의 순서도 영향을 줍니다. 긴 자료를 넣을 때 중요한 내용이 앞에 있느냐 뒤에 있느냐에 따라 답이 달라지는 경우가 있어서, 같은 업무라면 자료를 넣는 순서도 정해 둡니다.

업무에서 흔들림을 줄이는 방법

가장 효과가 큰 것은 결과 형식을 좁히는 일입니다. 「이 문의를 분석해 줘」라고 하면 답의 모양부터 매번 달라집니다. 「긴급·일반·참고 중 하나만 고르고, 그렇게 고른 근거가 된 문의 속 문장을 그대로 옮겨 적어」라고 하면 흔들릴 수 있는 폭이 선택지 안으로 줄어듭니다. 분류 규칙도 지시문에 적습니다. 「납기가 7일 안이거나 계약 해지를 언급하면 긴급」처럼 사람이 쓰는 규칙을 옮겨 줍니다.

예시도 함께 넣습니다. 긴급·일반·참고 문의를 한두 건씩 정답과 함께 지시문에 넣으면, 모델이 규칙을 해석하는 폭이 줄어듭니다. 예시는 실제 업무에서 헷갈렸던 경계 사례로 고릅니다.

근거 문장도 같이 받습니다. 답이 달라졌을 때 근거가 있으면 사람이 원문을 보고 어느 쪽이 맞는지 판단할 수 있습니다. 근거로 댄 문장이 원문에 없다면 그 답은 버립니다.

사람의 판단도 같이 재 봅니다

AI의 흔들림을 따지기 전에, 같은 업무를 사람이 할 때는 얼마나 일관된지도 재 보면 좋습니다. 같은 문의 20건을 두 사람에게 따로 분류하게 하면, 사람 사이에도 몇 건은 다르게 나옵니다. 규칙이 애매한 업무라면 AI보다 규칙 쪽을 먼저 고쳐야 합니다.

사람끼리도 다르게 판단한 건은 규칙을 다시 쓰는 재료가 됩니다. 「계약 해지를 언급하면 긴급」이라는 규칙이 있어도, 해지를 검토 중이라는 말과 해지하겠다는 말을 어떻게 나눌지는 정해져 있지 않을 수 있습니다. 이런 경계를 규칙에 한 줄씩 더하면 사람과 AI 모두의 일관성이 올라갑니다. 목표는 사람이 정한 규칙을 AI가 사람만큼 꾸준히 따르게 하는 것입니다.

중요한 판단은 여러 번 돌립니다

틀리면 손해가 큰 판단이라면 같은 질문을 세 번 돌려 봅니다. 세 번 모두 같은 답이면 쓰고, 한 번이라도 다른 답이 나오면 사람에게 넘깁니다. 이렇게 하면 비용은 세 배가 되지만, 사람이 모든 건을 다시 보는 것보다는 적게 듭니다. 흔들리는 건만 골라 사람이 보면 되기 때문입니다.

기록도 남깁니다. 어떤 지시문과 모델 버전으로 어떤 자료에 어떤 답을 냈는지 저장해 두면, 나중에 결과가 이상할 때 원인을 찾기 쉽습니다. 정답을 아는 시험 자료 20건 정도를 따로 두고, 모델이나 지시문을 바꿀 때마다 다시 돌려 일치율을 비교하면 변화를 숫자로 볼 수 있습니다. 시험 자료를 만드는 방법은 AI 모델을 우리 업무로 시험해서 고르는 법에, 팀이 같은 지시문을 쓰게 하는 방법은 지시문을 사람마다 따로 쓰면에 정리했습니다.

출처: Thinking Machines Lab 「Defeating Nondeterminism in LLM Inference」(2025.9) · Sclar 외 「Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design」(arXiv 2310.11324, 2023)

FAQ

자주 묻는 질문

온도를 0으로 맞추면 같은 답이 나옵니까?

그렇지 않을 수 있습니다. 2025년 싱킹머신스랩 실험에서는 온도 0 설정으로도 1,000번 가운데 서로 다른 답이 80개 정도 나왔습니다. 서버가 여러 요청을 묶어 계산하는 방식 때문에 미세한 차이가 생깁니다.

답이 달라지면 둘 중 어느 쪽을 믿어야 합니까?

둘 다 바로 믿지 않습니다. 판단의 근거가 된 원문 문장을 함께 내게 하면, 사람이 그 근거를 보고 어느 쪽이 맞는지 가립니다. 근거를 대지 못하는 답은 버립니다.

모델이 바뀌어서 답이 달라질 수도 있습니까?

서비스 이름이 같아도 안쪽의 모델은 수시로 업데이트됩니다. 회사 프로그램에 연결해 쓴다면 날짜가 붙은 모델 버전을 지정하고, 바꿀 때는 시험 자료로 결과를 비교한 뒤 바꾸십시오.