[메디칼타임즈=최선 기자] 생성형 인공지능(AI) 기반 의료기기가 실제 임상 현장에 도입될 때 발생할 수 있는 보안 취약점과 성능 저하 실태를 구체적인 사례와 함께 경고하는 목소리가 나왔다.

응급성을 요구하는 병원 특성상 의료진에 의한 잘못된 프롬프트 입력이 발생할 수 있지만 이에 따라 정확도가 널뛰기하는 등 다양한 진단 신뢰도 저하 프로세스가 도사리고 있다는 것.

19일 서울 코엑스에서 열린 'KIMES 2026' 강연에서 이충근 분당서울대병원 의생명연구원 의료기기 연구개발센터 연구협력 교수는 '생성형 AI 기반 의료기기의 리스크 및 취약점 사례 조사'를 주제로 생성형 AI가 가진 구조적 위험성을 상세히 분석해 발표했다.

이 교수는 현재 생성형 AI의 취약점을 조사 분석하는 3년 차 과제를 수행 중이며, 이번 발표는 그간의 연구 성과를 공유하는 자리로 마련됐다.

이 교수는 최근 2년 동안 학술적 데이터베이스인 EMBASE 등을 활용해 1만 건 이상의 문헌을 검토, 이 중 실질적인 위험 사례를 담은 107건의 문헌을 심층 분석했다.

먼저 생성형 AI의 보안 허점인 '프롬프트 인젝션'이 의료 데이터의 정확도 저하의 트리거가 될 수 있다는 점이 도마 위에 올랐다.

실험 결과 병리 이미지에 잘못된 라벨을 붙이거나 검은 바탕에 눈에 띄지 않는 회색 글씨로 오정보를 삽입할 경우, AI의 진단 정확도는 기존 1.0에 가까운 수준에서 0에 수렴할 정도로 급락했다.

이충근 교수는 "병리 이미지에 워터마크라든가 어떤 문자 텍스트 정보가 들어가 있는 경우 이를 AI가 프롬프트 명령어로 인지하는 경우가 발생한다"며 "연구자가 병리 이미지에 잘못된 라벨을 붙이는 상황을 가정할 경우 진단 품질 등의 신뢰도가 크게 하락하는 현상이 관찰됐다"고 밝혔다.

그는 "후속 연구로 실제 병변이 있는 이미지에 병변이 없다는 문구를 덧붙이거나 아주 작은 글씨로 잘못된 정보를 삽입하는 경우도 시뮬레이션했다"며 "이런 경우에도 AI 결과물의 품질 저하가 동일하게 재현됐다"고 경고했다.

이러한 현상은 수술 동영상에서도 동일하게 나타났다. 영상 내에 수술용 바늘이 있음에도 불구하고 "바늘이 없지 않냐"는 식의 오도된 프롬프트를 입력하면 AI는 이를 그대로 수용해 오판을 내렸다.

이 교수는 "이미지나 영상 내에 활자화된 정보나 그림 정보가 들어갈 경우 인젝션이 일어나 성능을 열화시킬 수 있음을 확인했다"고 설명했다.

의료 데이터 자체의 편향성으로 인한 진단 오류 문제도 상세히 다뤄졌다. 국내 5대 상급종합병원과 일반 병원의 데이터 구성이 다르고 인구 통계학적 특성 또한 차이가 나기 때문에 물리적인 편향성 제거는 사실상 불가능하다는 분석이다.

실제 현장에서는 방사선 영상 촬영 시 제조사가 권고하는 기본값을 그대로 쓰는 병원이 거의 없으며, 의료진의 선호도에 따라 출력값을 조정해 최적값을 다시 찾는다. 이 교수는 "의료 데이터 자체가 편향인데 이를 없애는 것이 가능하겠느냐"며 "병원마다 퀄리티 차이가 존재하므로 모든 데이터가 동일한 양으로 학습됐다고 보기 어렵다"고 지적했다.

AI에게 판단 근거를 제시하도록 설정하면 정확도는 올라가는 듯 보이지만, 정작 AI가 내놓은 추론 근거가 올바른 경우는 20%에도 미치지 못해 '가짜 근거'에 기반한 정답 도출의 위험성이 확인된 연구도 인용됐다.

지식 정보를 보강하는 에이전트를 늘릴수록 성능이 오히려 떨어지는 현상도 관찰됐다. 모델에 제한된 범위 내에서만 출력하게 하는 기술을 적용해 에이전트를 3개까지 늘려 연구해 본 결과, 판단 에이전트가 많아질수록 성능은 하락하는 양상을 보였다.

이 교수는 "임상 분야의 데이터량이 충분하지 않은 희귀 분야에서는 AI가 올바른 판단을 내리기가 더욱 어렵다"며 "의료진이 AI의 편의성에 매몰돼 오류를 걸러내지 못하는 자동화 편향 역시 위험 요소"라고 말했다.

응급실처럼 긴박한 환경에서 의료진은 AI의 에러 메시지를 검토할 여유가 없어 오동작을 그대로 수용하는 경향을 보일 수 있고, 실제로 AI 사용 그룹의 정확도가 대조군보다 오히려 떨어지는 현상을 보고한 연구도 도출됐다는 것.

이 교수는 "바쁘게 돌아가는 상황에서는 오류를 거를 여유가 없다 보니 그냥 수용하게 될 경우 임상 성능이 떨어지는 결과가 초래된다"며 "시간 경과에 따른 성능의 재현성 문제도 풀어야할 숙제"라고 했다.

그는 "특정 생성형 모델의 경우 분석 초기 95%였던 정확도가 불과 90일 만에 70%로 하락하는 사례가 보고됐다"며 "이는 제조사의 모델 튜닝이나 업데이트 과정에서 기존 학습망이 변형돼 발생하는 문제로, 일관된 답변이 필수적인 의료기기 영역에서는 이는 치명적인 약점"이라고 꼬집었다.

즉 소프트웨어 업그레이드가 반드시 성능 향상으로 이어지지 않는다는 점이 확인된 셈.

이 교수는 "클라우드와 연결해 작동하는 모델은 성능이 계속 변하기 때문에 병원 환경에 적합한 의료기기가 아닐 수 있다"며 "청소년 대상 정신건강 챗봇이 자퇴나 자해 암시 등에 동조하는 AI 사례를 볼 때 범용 모델을 그대로 쓸 수는 없으며 상황에 맞는 가드레일이 반드시 붙어야 한다"고 강조했다.

이어 "완벽하게 안전한 기술은 없으며 규제가 모든 것을 걸러낼 수도 없다"며 "항상 최종 책임자는 사람이 돼야 하고, 이를 위해 의료진에 대한 교육과 함께 실시간 성능 변화를 감시하는 강력한 모니터링 체계가 도입돼야 한다"고 제언했다.