[메디칼타임즈=백진기 한독 대표]"이상한 평가가 평가결과를 좌지우지하면 평가불신이 생긴다", "평가불신은 조직불신의 트리거다", "생방송만 하는 스포츠 심판을 돌아볼 필요가 있다."

시리즈 드라마가 OTT를 점령했다.

알고이즘은 "이것도 보고싶지?"하고 추천을 한다.

한번 보기시작하면 끊기 힘들어 되도록이면 안본다.

대신 아무생각없이 즐기는 "노래경연"프로그램은 찾아본다.

그것도 생방송이 아니고 '시청자유'를 위해 OTT에서 본다.

구력이 생겨 노래가 끝나면 이 친구는 '몇점정도 나오겠구나'한다.

많은 경우 근사치를 맞춘다.

며칠전 모방송국에서 제작한 '가수경연대회'를 봤다.

최종결승에서 심사위원평가에서 정말'이상한 점수'가 나왔다.

100점만점에 30점대 점수가 부여된 것이다.

모든 시청자, 방청객, 심지어는 같은 심사위원들마저 놀랐다.

"누구야 30점 준 사람이?" "나 아냐" 심사위원들이 서로보며 손사래를 쳤다.

노래로 밥을 먹고사는 수백명의 현역가수 중 선발한 '선수 중 선수'다.

수개월의 경연이 계속됐다.

많은 미션을 성공해서 최종 결승에 올라온 9명이었다.

그동안 모든 노래경연의 결승에서는 90점이상의 점수가 보통이었다.

아니 거의 100점에 가까운 점수를 부여하는 것이 일반적이다.

100점 만점에 30점이라면 어떤 점수인가?

아래 Box Plot에서 나타난 아웃라이어도 그림상 준수하다.

30점은 이 그림보다도 한참 왼쪽으로 점을 찍을 점수다.

30점의 의미는 '과락'인 것이다.

공무원임용고시에서도 40점미만이면 '과락'이다

한국산업인력공단에서 시행하는 각종 자격시험에서도 40점미만이면 '과락'이다

운전면허 시험의 합격 기준(제2종)도 59점 이하면 '불합격'이다.

결승에 오른 9명중 65점이라는 최고점수를 받은 2,3명만 운전면허 패스다.

최종경선에서 30점을 준 평가위원의 점수는 배제했어야 했다.

그런 경우 전체 점수 중 최고점과 최저점을 제외한 나머지 점수들의 평균을 내는 것이 보통이다

평가위원이 15명이라면 상위 1~2명, 하위 1~2명의 점수를 빼고 11~13명의 점수만 합산하는 방법이다(Trimmed Mean)

평가자의 임의가 많이 반영될 수 있는 피겨스케이팅 다이빙 등의 스포츠평가에서는 많이 쓰인다

[Image of a box plot showing outliers]

​AI시대에서는 다른 방법을 쓰는 것은 '일'도 아니다.

그 심사위원이 극단평가를 내려도 그 평가의 영향을 거의 받지 않는 중앙값(Median)을 활용하는 방법도 있다

이런 경우 평균(mean)보다 그림처럼 극단값의 영향을 덜 받는다.

조금 더 객관적으로 하자면 표준 점수 (Z-Score)로 환산하는 방법도 있다.

경연을 보다보면 심사위원마다 점수를 주는 성향이 다르다

어떤분은 항상 후하게 주고 어떤 분은 박하게 준다.

이럴때 각 심사위원이 준 점수들의 평균과 표준편차를 계산하여 모든 심사위원이 동일한 평균과 변별력을 갖도록 점수를 재조정한다. 이 방법은 AI시대에서는 '일'도 아니다.

소잃고 외양간 고치는 셈치고 그날로 돌아가보자

1) 운영의 묘를 살려야 한다.

극단평가(30점)를 한 심사위원이 "내가 잘 못 눌렸다"고 솔직하게 얘기하고 재점수를 부여하는 방법이 가장 쉽고 좋다.

잘못이 아니고 의도된 것이라면 더 이상진행하지 말고 심사를 중지하고 소명 기회 부여하여 납득할 만한 감점 사유(부정행위 적발 등)가 없다면 심사위원 합의를 통해 해당 점수를 조정하고 다음 순서를 시작했어야 한다.

2) 그라운드룰에 객관성을 높이는 내용이 넣어서 경선 시작할때 발표해야 한다.

개인이 부여할 수 있는 점수의 하한선이 있어야 하고, 극단평가가 나오면 심사위원단협의 또는 위에서 제시한 통계처리의 일반원칙을 적용한다는 내용등이 포함되어야 한다.

왜 그런 장치가 필요한가?

아무리 브라인드 평가라고 하더라도 이 한사람의 평가Outlier가 전체등수를 좌지우지한다면 그 평가시스템이 잘 못된 것이다. 통계적 오류나 편향으로 판단할 수 밖에 없다.

시청자는 그 심사위원을 미워하는데 그치지 않는다.

그 회사도 다음에는 그 심사위원을 쓰지 않으면 된다.

문제는 그런 시스템을 운영하고 있고 그런 사태가 벌어졌는데도 아무런 조치없이 끝낸 조직의 명망에 치명타를 남길 뿐이다.

아무리 생방송이라도 이런 이유라면 시청자들은 기다려 준다.

시청자들은 생방송만 하는 스포츠게임에 익숙하기 때문이다.

'공정게임'이 무엇보다 우선되는 가치이기 때문이다.

'생방송만 하는 스포츠 심판'을 보자

'생방생'이었기에 그럴 수밖에 없었다고 하지말고 '생방송만 하는 스포츠 심판'을 돌아볼 필요가 있다.

스포츠심판은 판독오류를 줄이기 위해 경기중단을 서슴치 않고, 비디오판독을 통해 객관성을 확보한 후 발표하고 경기를 속개한다. 이제는 AI심판까지 동원하고 있다.

경기가 끝나고 나도 이의신청을 받는 절차가 있다

그 결과 불법이나 부정(약물복용, 교묘한 트릭 등)이 발견되면 소급해서 적용한다.

올림픽에서 메달을 빼앗는 것이 다반사이다.

그것도 올림픽 끝난후 몇개월 지났는데 '대서특필'하면서 진행한다.

끝난게 끝난것이 아니다.

프로농구 프로축구 승부조작사건도 심심치 않게 뉴스에서 접한다.

해당자 처벌받고 끝나는 것이 아니다.

시청자, 팬이 그 게임을 "쳐다보기도 싫다"고 떠나는 것이다.

팬들이 떠난 프로축구 프로농구가 무슨 존재가치가 있겠는가?

더 문제는 이 회사는 다른 것도 이렇게 처리하는 것 아닌가? 하는 의구심이 스멀스멀들게 한다.

평가불신은 조직불신의 트리거다.

평가불신을 드러내고 고치는 것이 지금길이다

우리조직의 평가시스템은 잘 구조화되어 있나?

인재들이 억울해 하는 부분은 어떤 것일까?

고민해 보는 '경연'이었다.