[메디칼타임즈=이인복 기자]이미 전문의 수준에 이르렀다는 생성형 인공지능(AI)에게 전공의 교육자료나 시험을 맡기면 어떻게 될까.

결과적으로 아직 이르다는 결론이 나왔다. 예상했던 오류 비율을 크게 넘겼기 때문이다. 이에 따라 전문가들은 아직까지 전문가의 최종 감수가 필요하다고 지적하고 있다.

서울아산병원 융합의학과 김남국 교수·남유진 연구원과 삼성창원병원 영상의학과 홍파 교수는 생성형 AI 교육 컨텐츠 개발 시스템을 개발하고 이에 대한 검증 연구를 진행했다.

이 컨텐츠는 총 6단계로 구성됐으며 영상의학 전문의 시험에 대비하기 위한 플래시카드 6000개와 인포그래픽 833개로 구성됐다.

연구팀은 자체 품질 검증을 통과한 교육자료라면 안전하게 활용할 수 있을 것으로 보고 다른 의료 분야의 오류 기준을 참고해 허용 가능한 오류 비율을 0.3% 이하로 설정했다.

즉, 1천 개의 자료 중 중대한 오류가 3개 미만이어야 한다는 기준이다.

또한 AI가 점증한 총 1284개의 플래시카드를 대상으로 영상의학 전공의 9명과 전문의 11명 등 총 20명의 의료진이 사실 정확성, 교육적 적절성, 오류 여부 등을 직접 평가했다.

그 결과 AI 검증을 1차로 통과한 자료에서도 약 1.0%의 오류가 발견됐다. 이는 연구팀이 미리 설정한 안전 기준을 크게 웃도는 결과다.

이번 연구는 생성형 AI가 전문적인 의료 교육 콘텐츠를 대량 생산할 수 있다는 가능성을 보여주는 동시에 교육자료 생성과 배포를 모두 자동화하기보다는 전문가가 개입해 마지막 검증을 수행하는 휴먼 인 더 루프(Human-in-the-loop) 체계가 필요하다는 것을 보여다고 전문가들은 지적했다.

또한, AI가 제시한 피드백을 평가자에게 함께 제공했을 때 평가자들이 더 많은 오류를 발견하고 교육 품질도 더욱 엄격하게 평가하는 경향을 보였다는 점에서 이에 대한 검토가 필요하다는 의견이다.

연구진은 평가자들이 자신의 전문지식과 AI의 피드백이 상충할 때 AI의 판단을 그대로 수용하기보다 비판적으로 재검토하며 오류 탐지 능력이 향상됐기 때문이라고 판단했다.

따라서 현재 수준의 생성형 AI를 활용할 때엔 완전히 자동화된 의료교육 콘텐츠 제작보다는 전문가가 최종 검증하는 체계가 반드시 필요하다고 강조했다.

김남국 서울아산병원 융합의학과 교수는 "사용 빈도가 높아진 생성형 AI를 실제 교육 현장에서 안전하게 활용하기 위해서는 전문가의 검증이 반드시 필요하다는 점을 대규모 연구를 통해 입증했다"며 "자동 검증이 놓치는 오류를 체계적으로 관리하고 안전 기준을 마련하는 연구를 지속해 의학 교육 현장에서 안심하고 활용할 수 있는 생성형 AI 환경을 구축할 필요가 있다"고 밝혔다.

남유진 서울아산병원 융합의학과 연구원은 "이번 연구는 생성형 AI가 의료영상 교육자료를 대량으로 제작할 수 있다는 가능성을 확인한 동시에 생성형 AI가 만든 학습자료를 그대로 사용하기보다 어느 단계에서 어떤 오류가 생기는지 체계적으로 분석하고 걸러내는 과정이 중요하다는 것을 보여준다"고 지적했다.