위원마다 점수가 20점씩 벌어질 때

심사가 끝나고 점수를 모읍니다. 같은 기업인데 A위원은 88점, B위원은 67점. 스무 점이 넘게 벌어졌습니다.

이러면 그날 결과를 못 냅니다. 순위가 두 분 점수에 따라 뒤집히기 때문입니다. 그리고 탈락한 기업이 이 표를 보게 되면 그다음은 이의제기입니다.

위원 탓이 아닙니다

「저분이 유난히 짜게 주신다」로 정리하면 다음 사업에도 똑같이 벌어집니다. 점수가 벌어지는 건 대개 같은 항목을 다른 뜻으로 읽어서입니다.

「사업화 가능성」이라는 항목이 있습니다. 한 분은 「지금 팔 수 있느냐」로 읽으시고, 다른 분은 「3년 뒤에 시장이 있느냐」로 읽으십니다. 둘 다 틀리지 않았습니다. 그런데 같은 기업에 20점 차이가 납니다.

눈금을 안 맞춰 놓고 위원 다섯 분께 각자 자를 드린 겁니다.

「위원님 재량껏」이 사고의 시작입니다

제가 사업을 운영할 때는 전체 점수 가이드라인을 미리 드리고, 이에 맞춰 평가해 주시기를 부탁드립니다.

그런데 제가 다른 사업에 심사위원장으로 가 보면, 오리엔테이션에서 담당자가 이렇게 말하는 경우가 종종 있습니다.

「심사위원님 재량껏 평가해 주세요.」

담당자 입장에서는 예의를 갖춘 말입니다. 위원의 전문성을 존중한다는 뜻입니다. 그런데 실제로 벌어지는 일은 다릅니다. 재량껏이라는 말은 눈금을 각자 만들라는 말과 같습니다.

그래서 평균이 60점대인 위원과 평균이 80점인 위원이 같은 표에 앉습니다. 이 표로 순위를 내는 건 정말 쉽지 않습니다.

과락 기준을 모르고 오시는 분이 계십니다

사업마다 탈락 기준이 있습니다. 과락이라고 합니다. 60점 미만은 지체 없이 탈락, 70점 미만은 탈락처럼 기준이 정해져 있습니다.

그런데 이걸 모르고, 혹은 알면서도 감각대로 점수를 쓰시는 분이 종종 계십니다. 「이 기업은 좀 아쉬우니 55점」이라고 쓰셨는데, 그 사업 과락이 60점이면 그 기업은 그 순간 탈락입니다. 위원은 그렇게까지 떨어뜨릴 생각이 아니셨는데도요.

담당자가 할 일은 2가지입니다.

눈금 맞추는 데만 10분

오리엔테이션 전체를 10분 하라는 게 아닙니다. 그 안에서 눈금을 맞추는 데만 10분을 쓰십시오. 이 10분이 그날 전체를 정합니다.

평가표는 미리 보냅니다

오리엔테이션에서 처음 보시면 10분이 모자랍니다. 확정 안내를 보낼 때 평가표 양식과 배점을 같이 보내 두십시오. 그러면 당일 10분은 맞춰보는 시간이 됩니다.

신청기업 자료는 별도입니다. 그건 비밀유지 서약서를 받은 다음입니다. 자료를 언제 보내야 하나에 적었습니다.

그래도 벌어졌을 때

눈금을 맞춰도 벌어질 수 있습니다. 그때 담당자가 점수를 조정하면 안 됩니다. 그건 손대는 겁니다.

대신 절차로 처리합니다. 기관 규정에 최고·최저 점수를 빼고 평균을 내도록 정해져 있는 경우가 있고, 점수 차가 일정 이상이면 재심의하도록 정해 둔 곳도 있습니다. 어떻게 처리할지가 규정에 있는지, 없으면 이번 사업 운영계획에 미리 적어 둘 수 있는지를 먼저 확인하십시오.

엑셀로 점수를 모으신다면 · 표준점수 보정

규정에 산출 방식이 정해져 있으면 그대로 따르시면 됩니다. 그런데 규정이 단순 평균인데 위원 성향 차이가 계속 문제가 되는 경우, 실무에서 쓰는 방법이 하나 있습니다. ○○투자사에서 실제로 쓰는 방식입니다.

표준점수 보정입니다. 점수를 위원별로 손대는 게 아니라, 모든 위원의 점수를 같은 저울 위로 옮깁니다. 짜게 주는 분과 후하게 주는 분의 평균과 퍼짐 정도를 하나로 맞추는 겁니다.

쓰시기 전에 세 가지는 꼭 확인하십시오.

첫째, 이 계산은 공고와 운영계획에 근거가 있을 때만 씁니다. 단순 평균으로 공고해 두고 결과가 마음에 안 들어서 그날 보정식을 꺼내면, 그게 바로 이의제기 사유입니다. 쓰시려면 사업 설계 단계에 넣어 두십시오.

둘째, 과락을 원점수로 볼지 보정점수로 볼지를 같이 정해 두셔야 합니다. 보정하면 점수가 바뀌니까 과락 판정이 뒤집힙니다. 이게 공고에 없으면 그 자체가 분쟁거리가 됩니다.

셋째, 어떤 위원이 모든 기업에 똑같은 점수를 주면 표준편차가 0이 되어 수식이 오류를 냅니다. 이런 경우가 실제로 나옵니다. 그때는 그 위원 점수를 보정 없이 쓸지 어떻게 할지도 미리 정해 두셔야 합니다.

계산보다 먼저 할 일 · 심사위원장

솔직히 말씀드리면, 수식은 마지막 수단입니다. 가능하다면 점수 자체가 가이드에 맞게 나오도록 만드는 쪽이 훨씬 낫습니다.

그 방법이 경험과 능력이 있는 분을 심사위원장으로 위촉하는 것입니다. 위원장이 있으면 담당자가 못 하는 말을 대신 해 줍니다. 담당자가 「점수를 다시 봐 주십시오」 하면 개입이 되지만, 위원장이 위원들 사이에서 「이 항목은 이렇게 보는 게 맞겠습니다」 하면 그건 심사의 일부입니다.

실제로 ○○진흥원 사업은 심사위원장이 다른 위원들의 점수를 볼 수 있게 되어 있습니다. 그러면 유난히 높거나 낮은 점수를 결과가 나오기 전에 발견합니다. 그 자리에서 형평성을 맞출 수 있습니다. 끝난 뒤에 담당자가 표를 보고 발견하는 것과는 완전히 다른 상황입니다.

다음 사업을 위해

매번 같은 항목에서 벌어지면, 그건 평가표 문제입니다. 항목 이름이 모호하거나 배점이 안 맞는 겁니다.

어느 항목에서 얼마나 벌어졌는지 한 줄만 적어 두십시오. 다음 사업 평가표를 만들 때 그 항목부터 고치면 됩니다.

덧붙임

점수 차가 클 때의 처리 방식(최고·최저 제외, 재심의, 조정 여부)은 기관 규정과 사업 운영계획이 정합니다. 담당자가 임의로 조정하는 것은 문제가 될 수 있으니, 소속 기관 규정과 담당 부서 확인을 먼저 거치십시오. 본문에 적은 표준점수 보정도 마찬가지입니다. 산출 방식은 공고와 운영계획에 근거가 있을 때만 적용할 수 있고, 결과가 나온 뒤에 산출식을 바꾸는 것은 어떤 경우에도 안 됩니다.