AI가 쓴 문서를 내보내기 전에 확인할 것

2023년 6월 미국 뉴욕 남부 연방지방법원은 항공사 아비앙카를 상대로 한 소송에서 원고 측 변호사 두 명과 법무법인에 5천 달러의 제재금을 부과했습니다. 변호사들이 제출한 서면에 인용된 판례 여섯 건이 존재하지 않는 사건이었기 때문입니다. 판례는 챗GPT가 만든 것이었고, 변호사는 챗GPT에게 그 판례가 정말 있느냐고 물어 「그렇다」는 답을 받았다고 진술했습니다.

2년 뒤에도 비슷한 일이 이어졌습니다. 2025년 10월 딜로이트 호주 법인은 호주 고용노동관계부에 낸 44만 호주달러 규모의 보고서에서 존재하지 않는 논문과 법원 판결 인용이 발견되자 계약 대금 일부를 돌려주기로 했습니다. 두 사례 모두 문장은 멀쩡했습니다. 오류는 형식이 그럴듯한 인용 속에 숨어 있었습니다.

AI가 자주 틀리는 곳

AI가 만든 문서에서 틀리기 쉬운 것은 대체로 네 종류입니다. 숫자와 단위, 날짜와 기간, 사람과 기관의 이름, 그리고 인용과 법령입니다. 이 네 종류는 문장 흐름과 상관없이 하나하나가 사실이어야 하는데, 언어 모델은 문장을 자연스럽게 만드는 쪽으로 움직이기 때문에 그럴듯한 값을 채워 넣는 경우가 있습니다.

2025년 스택오버플로 개발자 설문에서 응답자 66%가 꼽은 가장 큰 불만도 「거의 맞는데 조금 틀린 답」이었습니다. 완전히 틀린 답은 금방 눈에 띄지만, 거의 맞는 답은 그냥 통과하기 쉽습니다. 확인을 문장 단위가 아니라 사실 단위로 해야 하는 이유입니다.

확인 순서

먼저 문서에서 확인할 대상을 뽑습니다. 숫자, 날짜, 고유명사, 인용, 법령 조항에 표시를 하거나, 다른 AI에게 「이 문서의 숫자·날짜·이름·인용을 모두 뽑아 목록으로 만들어 줘」라고 시킵니다. 목록을 만드는 일까지는 AI가 빠르고 정확합니다.

그다음 목록의 항목을 원문과 한 줄씩 대조합니다. 숫자는 처음 나온 자료에서, 법령은 국가법령정보센터의 현행 조문에서, 논문과 판례는 실제 링크를 열어 해당 문장이 있는지 봅니다. 아비앙카 사건의 변호사처럼 AI에게 맞느냐고 다시 묻는 것은 확인이 아닙니다. 대조하지 못한 항목은 지우거나 「확인 필요」로 표시해 보내지 않습니다.

마지막으로 들어가면 안 되는 정보가 섞이지 않았는지 봅니다. AI는 앞서 넣은 자료의 일부를 다른 문서에 섞어 쓰기도 합니다. 다른 거래처의 이름이나 단가, 내부 검토 메모, 개인정보가 결과물에 남아 있지 않은지 확인합니다.

자주 나오는 오류의 모양

확인하다 보면 오류에도 모양이 있다는 것이 보입니다. 연도가 한 해씩 밀리는 오류가 흔합니다. 「2024년 조사」가 실제로는 2023년에 한 조사이고 2024년에 발표된 경우처럼, 조사 시점과 발표 시점이 섞입니다. 단위도 자주 바뀝니다. 원과 달러, 억과 만, 퍼센트와 퍼센트포인트가 뒤섞이면 문장은 멀쩡해도 뜻이 달라집니다.

법령은 옛 조문이 자주 나옵니다. AI가 학습한 시점 이후에 개정된 법은 개정 전 내용으로 설명되기 쉽습니다. 조항 번호가 맞아도 내용이 바뀌었을 수 있으니 시행일을 확인합니다. 사람과 기관 이름은 비슷한 이름으로 바뀌거나, 직함이 예전 것으로 나옵니다. 고객사의 담당자 이름과 직함은 받은 명함이나 메일 서명과 대조합니다.

문서에 따라 깊이를 다르게

모든 문서를 같은 깊이로 확인하면 AI로 아낀 시간보다 더 많은 시간이 듭니다. 그래서 문서가 가는 곳에 따라 나눕니다. 사내에서만 쓰는 메모와 초안은 작성자가 숫자와 이름만 봅니다. 고객과 거래처에 가는 일반 문서는 작성자가 네 종류를 모두 대조합니다. 기관에 내는 서류, 투자자에게 가는 자료, 계약서와 견적서처럼 돈과 책임이 걸린 문서는 작성자 대조에 더해 두 번째 사람이 읽습니다.

두 번째 사람은 내용을 처음부터 다시 쓰는 사람이 아닙니다. 작성자가 만든 확인 목록을 보고, 위험한 항목 몇 개를 골라 직접 원문을 열어 봅니다. 스탠퍼드와 베터업랩스의 2025년 조사에서 겉만 그럴듯한 AI 결과물 한 건을 처리하는 데 평균 두 시간이 들었는데, 보내는 사람이 확인 목록을 함께 보내면 받는 사람의 시간이 크게 줄어듭니다.

기록을 남깁니다

외부로 나간 문서에는 AI를 썼는지, 누가 확인했는지를 회사 기록으로 남깁니다. 문서 파일의 속성이나 발송 기록에 「AI 초안, 홍길동 확인」 정도면 충분합니다. 나중에 오류가 발견됐을 때 어느 단계에서 놓쳤는지 알 수 있고, 같은 실수를 막을 방법을 찾을 수 있습니다.

딜로이트는 수정한 보고서에 생성형 AI를 썼다는 사실을 덧붙였습니다. 고객에게 AI 사용을 언제 어떻게 밝힐지는 고객에게 AI를 썼다고 알릴 때에, 팀 안에서 검토 부담을 나누는 방법은 AI를 도입했는데 일이 늘었습니다에 적었습니다.

출처: Mata v. Avianca, Inc.(미 뉴욕 남부 연방지법, 2023.6.22 제재 결정) · 딜로이트 호주 보고서 환불 보도(AP·The Register, 2025.10) · Stack Overflow 「2025 Developer Survey」(2025.7.29) · Stanford Social Media Lab·BetterUp Labs 워크슬롭 조사(2025.9)

FAQ

자주 묻는 질문

AI에게 출처를 달라고 하면 믿어도 됩니까?

AI가 단 출처도 확인해야 합니다. 존재하지 않는 논문이나 판례를 그럴듯한 형식으로 만들어 내는 경우가 있습니다. 출처 링크를 직접 열어 해당 문장이 실제로 있는지 봅니다.

모든 문서를 두 사람이 봐야 합니까?

그렇게 하면 시간이 너무 듭니다. 사내에서만 쓰는 문서는 작성자 확인으로 충분하고, 고객·기관·투자자에게 가거나 계약과 돈이 걸린 문서만 두 번째 사람이 읽게 나누면 됩니다.

AI로 AI 결과를 검수해도 됩니까?

다른 AI에게 숫자나 인용을 모두 뽑아 목록으로 만들게 하는 것까지는 쓸 만합니다. 그 목록이 맞는지 원문과 대조하는 일은 사람이 합니다. AI가 맞다고 확인해 준 내용도 틀릴 수 있습니다.