어떤 모델을 쓸지는 업무가 정합니다

AI를 붙이려는 회사가 초반에 오래 붙잡는 질문이 있습니다. 「어느 모델이 제일 좋습니까.」

비교표를 만들고 점수를 보고 몇 주가 지나갑니다. 그리고 정한 다음에도 계속 바뀌니 다시 봅니다.

질문의 방향이 반대입니다. 모델을 고르는 게 아니라 업무를 나누는 일이 먼저입니다.

업무를 세 갈래로

Figure 1

업무의 성격이 선택을 정하는 방식

01 정확

틀리면 손해가 큰 일

계약서 검토, 고객에게 나가는 문서. 건수가 적으니 비싼 쪽을 써도 됩니다.

02 양

건수가 많은 일

문의 분류, 태그 붙이기, 요약. 단가가 전부입니다. 정확도는 사람이 표본으로 확인합니다.

03 위치

밖으로 못 내보내는 일

개인정보나 계약으로 묶인 자료. 성능보다 처리 위치가 먼저 정해집니다.

이렇게 나누면 「제일 좋은 것」이라는 질문이 사라집니다. 각 칸에 맞는 것을 고르면 됩니다.

비용이 먼저 걸립니다

시험할 때는 비용이 안 보입니다. 몇십 건 돌려 보니까요.

실제 업무에 붙이면 자릿수가 달라집니다. 하루 500건 처리하는 업무에 건당 비용이 열 배 차이 나면 월 단위로 큰 금액이 됩니다.

그래서 붙이기 전에 한 번 곱해 보십시오. 건당 비용 × 하루 건수 × 22일.

이 숫자를 보면 2번째 칸에서 어떤 것을 골라야 하는지가 바로 정해집니다.

데이터가 어디까지 갈 수 있는가

3번째 칸은 성능 이야기가 아닙니다.

먼저 볼 것은 둘입니다. 그 자료에 개인정보가 섞여 있는가. 그 자료가 국외로 나가는가.

여기서 걸리면 선택지가 줄어듭니다. 회사 안에서 돌리는 방법, 국내에 처리 위치를 둔 서비스를 쓰는 방법, 아니면 개인정보를 지우고 넣는 방법.

3번째가 가장 현실적인 경우가 많습니다. 이름과 연락처를 빼고 나면 대부분의 업무가 돌아갑니다.

바꿔 탈 수 있게 만듭니다

모델은 계속 바뀝니다. 반년 뒤에 더 싸고 좋은 것이 나옵니다.

그때 바꾸는 데 며칠이 걸리느냐가 지금의 설계에 달려 있습니다.

모델을 부르는 자리를 한 군데로 모아 두면 교체가 설정 하나로 끝납니다. 코드 여기저기에 흩어 두면 그때 다시 만들어야 합니다.

작게 시작할 때도 이 한 가지는 지키는 편이 좋습니다. 나중에 협상력도 여기서 나옵니다.

고르는 순서

정리하면 이렇습니다.

먼저 업무 목록을 만들고 세 칸으로 나눕니다. 그다음 칸마다 후보를 두 개씩 정합니다. 그리고 우리 데이터로 시험합니다.

공개된 비교 점수는 참고만 하십시오. 우리 문서와 우리 문의로 돌려 보는 것과 다릅니다.

표본은 20건이면 충분합니다. 20건에서 갈리지 않으면 둘 중 싼 쪽을 쓰면 됩니다.

20건을 어떻게 비교합니까

「우리 데이터로 시험하라」까지는 다들 동의하는데, 막상 앉으면 무엇을 보고 판단할지가 막힙니다. 읽어 보고 「이게 나은 것 같다」로 끝나면 다음 주에 또 흔들립니다.

채점표를 먼저 만드십시오. 세 열이면 됩니다. 사실이 틀렸는가, 형식이 맞는가, 손을 얼마나 봐야 하는가.

첫 열은 0 아니면 1입니다. 틀린 사실이 하나라도 있으면 0. 이 열에서 갈리면 나머지는 볼 필요가 없습니다.

둘째 열은 우리가 지정한 형식대로 나왔는지. 표로 달라고 했는데 문장으로 오면 0입니다.

셋째 열이 실제로 제일 중요합니다. 그대로 쓸 수 있으면 0분, 조금 고치면 5분, 다시 쓰는 게 빠르면 20분. 이 시간을 20건 합산해 건당 평균을 냅니다.

그리고 셋째 열의 시간에 우리 시급을 곱해 앞서 계산한 호출 비용에 더하십시오. 싼 모델이 검수 시간을 두 배로 만들면 결국 비싼 쪽입니다. 이 계산까지 해야 비교가 끝납니다.

모델이 아니라 업무를 먼저 나눕니다

모델을 먼저 고르지 마시고 업무를 먼저 나누십시오.

틀리면 큰일 나는 일에는 정확도를, 양이 많은 일에는 단가를, 밖으로 못 내보내는 일에는 위치를 봅니다.

그리고 부르는 자리를 한 군데로 모아 두면 반년 뒤에 다시 고민하지 않아도 됩니다.

FAQ

자주 묻는 질문

가장 좋은 모델 하나를 정하면 안 됩니까?

업무마다 필요한 것이 달라서 하나로는 낭비나 부족이 생깁니다. 분류 같은 단순한 일에 비싼 모델을 쓰면 비용이 새고, 판단이 필요한 일에 싼 모델을 쓰면 사람이 다시 봐야 합니다.

어떻게 나눕니까?

3가지를 봅니다. 틀렸을 때 손해가 큰가, 처리량이 많은가, 데이터를 밖으로 보낼 수 있는가. 이 셋으로 나누면 업무별로 답이 대체로 정해집니다.

비용은 어떻게 예상합니까?

건당 비용에 월 처리 건수를 곱해 보십시오. 시험할 때는 몇 건 안 되니 저렴해 보이는데, 실제로 붙이면 자릿수가 달라지는 경우가 많습니다.

데이터를 밖으로 못 보내는 업무는 어떻게 합니까?

개인정보나 계약상 제한이 걸린 자료라면 처리 위치부터 정해야 합니다. 개인정보가 섞여 있는지, 국외로 나가는지를 먼저 확인하십시오. 그 답에 따라 선택지가 줄어듭니다.

나중에 다른 모델로 바꿀 수 있습니까?

처음부터 그렇게 만들어 두면 됩니다. 모델을 부르는 자리를 한 군데로 모아 두면 교체가 설정 변경으로 끝납니다. 여기저기 흩어 두면 그때 다시 만들어야 합니다.