사내 문서를 AI가 찾아 주게 만들려면

작은 회사에서 AI 이야기를 하다 보면 이 문장이 꼭 나옵니다. 「우리 회사 자료를 학습시키면 되는 거 아닙니까.」

대개 4개월쯤 뒤에 멈춥니다. 학습이 어려워서가 아니라, 학습이 필요한 일이 아니었기 때문입니다.

학습과 검색은 다른 일입니다

필요한 건 대부분 이겁니다. 누가 물어보면 관련 문서를 찾아서, 그 내용을 근거로 답한다.

이건 모델을 고치는 일이 아니라 문서를 찾아 물려 주는 일입니다.

Figure 1

질문 하나가 지나는 3자리

먼저

찾기

질문과 가까운 문서 조각을 몇 개 꺼냅니다

→

그다음

읽히기

그 조각을 근거로 붙여서 답을 만들게 합니다

→

마지막

출처 보이기

어느 문서 몇 쪽에서 나왔는지 같이 내놓습니다

문서가 바뀌면 다음 질문부터 바로 반영됩니다. 학습이면 다시 돌려야 합니다.

넣기 전에 버리는 일

이 단계를 건너뛰면 나머지가 다 소용없습니다.

회사 문서함을 열어 보면 대개 이렇습니다. 2023년 규정과 2026년 규정이 같은 폴더에 있고, 「최종」과 「최종_수정」과 「최종_진짜」가 나란히 있습니다.

이걸 그대로 넣으면 AI가 셋 중 하나를 골라서 답합니다. 어느 걸 골랐는지는 모릅니다.

폐기본은 아예 빼십시오. 보관은 다른 자리에 하시면 됩니다. 검색 대상에서 빼는 것과 지우는 것은 다릅니다.

어디부터 넣는가

전체를 한 번에 넣으면 무엇이 문제인지 알 수 없습니다.

질문이 몰리는 자리부터 고르십시오. 대표에게 같은 질문이 반복해서 오는 주제가 있을 겁니다. 휴가 규정, 제품 사양, 견적 기준, 계약 표준안 같은 것들입니다.

거기서부터 시작하면 넉 주 안에 효과가 보이고, 안 되면 왜 안 되는지도 보입니다.

권한은 나중에 붙이기 어렵습니다

사람마다 볼 수 있는 문서가 다른 회사라면 이 이야기가 중요합니다.

급여 자료, 투자 관련 문서, 고객 계약서. 이런 것들이 검색에 섞이면 누가 물어보든 답이 나옵니다.

나중에 경계를 그으려면 대개 처음부터 다시 만들어야 합니다. 그래서 시작할 때 정합니다. 전 직원이 보는 문서만 넣을 것인가, 아니면 사람에 따라 나눌 것인가.

작게 시작할 거라면 전 직원 공개 문서만으로 여는 편이 간단합니다.

틀린 답이 나왔을 때

반드시 나옵니다. 중요한 건 그다음에 무엇을 할 수 있느냐입니다.

출처가 같이 나오면 확인이 30초입니다. 문서가 낡았는지, 조각을 잘못 찾았는지, 문서는 맞는데 요약이 틀렸는지가 바로 갈립니다.

출처가 없으면 그 답이 맞는지 확인하려고 사람이 문서를 다시 찾습니다. 그러면 원래 하려던 일이 사라집니다.

3개월쯤 지나면

정착한 회사와 멈춘 회사가 갈리는 자리가 있습니다. 문서를 고치는 사람이 있느냐입니다.

답이 틀렸을 때 원인이 문서에 있으면 그 문서를 고쳐야 합니다. 그 일을 아무도 안 맡으면 오답이 쌓이고, 사람들이 그냥 안 씁니다.

담당을 한 명 정해 두십시오. 큰 일이 아닙니다. 한 주에 한 시간이면 됩니다.

학습보다 정리가 먼저입니다

학습부터 생각하지 마시고 정리부터 하십시오.

버릴 것을 버리고, 질문이 몰리는 자리부터 넣고, 출처를 같이 보여 주고, 고치는 사람을 정합니다.

이 4가지가 되면 그다음 이야기는 그때 해도 늦지 않습니다.

FAQ

자주 묻는 질문

회사 자료로 모델을 학습시켜야 합니까?

대부분의 작은 회사는 그럴 필요가 없습니다. 질문이 들어오면 관련 문서를 찾아서 그 내용을 근거로 답하게 하는 구조로 충분합니다. 문서가 바뀌면 바로 반영되고, 비용도 학습보다 훨씬 적게 듭니다.

어떤 문서부터 넣습니까?

자주 묻는 질문이 몰려 있는 자리부터입니다. 사내 규정, 제품 사양, 계약 표준안, 고객 응대 기준 같은 것들입니다. 전체를 한 번에 넣으면 무엇이 문제인지 알 수 없습니다.

옛날 문서가 섞이면 어떻게 됩니까?

그게 가장 흔한 실패입니다. 폐기된 규정과 현행 규정이 같이 들어 있으면 둘 중 하나가 답으로 나옵니다. 넣기 전에 버전을 정리하고, 폐기본은 아예 빼십시오.

개인정보가 들어 있는 문서는요?

넣기 전에 걸러야 합니다. 개인정보가 섞여 있는지, 그리고 그 데이터가 국외로 나가는지를 먼저 보십시오. 사내 데이터를 AI에 넣기 전에 보는 3가지를 따로 정리한 글이 있습니다.

권한 관리는 어떻게 합니까?

사람마다 볼 수 있는 문서가 다르면 검색도 그 경계를 따라야 합니다. 이걸 나중에 붙이려면 처음부터 다시 만들어야 하는 경우가 많으니, 시작할 때 정하십시오.