[메디칼타임즈=김승직 기자] 인공지능(AI) 기술이 의료 현장에 깊숙이 침투하고 있는 가운데 가장 큰 한계로 지적되고 있는 환각 현상을 억제하는 것이 최대 과제로 떠오르고 있다.

이에 대해 전문가들은 현실 세계를 이해하는 AI 모델이 시급하다고 입을 모으며 파편화된 데이터 수집을 위한 도구 마련을 촉구했다.

31일 대한의료인공지능학회는 의료인공지능 개발자 및 의대생 대상 워크숍을 개최하고 의료 AI의 실제적 한계를 극복하기 위한 최신 기술 동향과 발전 방향을 점검했다.

■맹목적 벤치마크 지양해야…인간이 '좋은 AI' 평가 기준

첫 발제자로 나선 연세대학교 강민석 교수(전 구글 딥마인드 연구원)는 책임 있는 AI 개발을 위한 올바른 평가 방법론과 가이드라인을 제시했다. 단순히 성능 지표를 끌어올리는 것을 넘어 안전성과 신뢰성, 공정성을 포괄하는 개발이 필요하다는 설명이다.

강 교수는 대중적으로 알려진 챗봇 아레나 등 벤치마크 테스트 1위 모델이 무조건 가장 우수한 모델은 아니라고 짚었다. 연구진이 평가 프롬프트를 분석한 결과, 코딩이나 AI 기술 등 특정 분야에 편중돼 있거나 지나치게 단순한 질문들이 다수를 차지하고 있었다는 것.

수학 문제를 잘 푸는 모델과 글쓰기를 잘하는 모델이 다르듯, 범용 리더보드 순위보단 의료나 영상 분석 등 실제 사용자 목적에 맞는 데이터셋 구성이 좋은 AI의 요소라는 설명이다.

또 그는 생성형 AI 모델은 정답 유무로 단순 평가하기 어렵다고 말했다. 이에 LLM을 심사관으로 활용하는 평가 방식이 쓰이기도 하지만, 이 역시 편향이 발생할 수 있어 맹신해선 안 된다는 부연이다.

이를 보완하기 위해 에러 컴퍼레이터와 같은 시각화 시스템을 도입, 사람이 직접 개별 사례를 훑어보며 모델의 실패 원인과 패턴을 분석하는 과정이 필수적이라는 것. 특정 답변 구조를 선호해 좋은 평가를 받은 것은 아닌지 가설을 세우고 지속해서 검증해야 한다는 제언이다.

강 교수는 "단순히 벤치마크 테스트에서 1등을 차지했다고 해서 모든 상황과 사용자에게 좋은 AI라고 단정할 수는 없다"며 "AI 모델을 평가할 때는 수치에만 의존할 것이 아니라 실제 개발자와 사용자가 개별 사례를 세밀하게 분석하고 가설을 검증해야 한다. 이렇게 지속해서 데이터를 정제해 나가는 인간 중심의 접근이 무엇보다 중요하다"고 강조했다.

■현실 세계 이해하는 '월드 모델'…실제 데이터로 한계 극복

이어진 세션에서는 KAIST 김승룡 교수가 비디오 생성 모델에서 현실 기반 월드 모델로의 진화 과정을 조명했다. 기존 텍스트 기반 생성 모델이 단순히 프레임을 만들어내는 것에 그쳤다. 하지만 최근 월드 모델은 특정 행동을 입력했을 때 환경이 어떻게 변화할지 예측해 비디오로 구현하는 단계로 발전했다는 설명이다.

특히 김 교수는 이미지와 영상을 다루는 AI의 설계가 최신 신경망 구조인 디퓨전 트랜스포머(DiT)로 재편됐다고 짚었다. 이에 대규모 데이터를 학습시킬수록 성능이 비례해서 높아지는 이점이 극대화됐다는 진단이다. 나아가 시각, 텍스트, 오디오, 행동 데이터를 하나의 인공지능망에서 통합해 처리하는 옴니모달 형태로 기술이 고도화되고 있다는 것.

다만 기존 월드 모델들이 그럴듯한 가상의 세계를 만들어낼 뿐, 실제 물리적 세계를 반영하지 못하는 한계가 있다고 지적했다. 이를 극복하기 위해 연구팀은 120만 개에 달하는 네이버 지도 스트리트 뷰 데이터를 활용해 실제 서울을 배경으로 한 모델링 연구를 진행했다.

이렇게 실제 지도를 연속된 영상 모델로 구현하는 과정에서 시공간적 단절 극복의 중요성을 깨달았다는 설명이다. 구체적으로 연구팀은 촬영 시점이 달라 발생하는 동적 사물 혼재 문제는 모델이 정적인 배경만 학습하도록 강제하는 크로스 템포럴 페어링 기법으로 해결했다.

이와 함께 일정 간격으로 촬영된 이미지 사이의 공간적 단절은 키 프레임을 강제로 보간하는 방식으로 부드러운 시뮬레이션 환경을 구축했다.

이런 실제 데이터 기반 월드 모델은 자율주행 에이전트 외에도, 특정 지역의 홍수처럼 가상 재난 시나리오를 현실감 있게 시뮬레이션하는 등 다양한 목적에 활용될 수 있다는 기대다.

■치명적인 의료 AI 환각 현상…'신뢰성 헤드'로 팩트 잡는다

고려대학교 컴퓨터학과 이정범 교수는 거대언어모델(LLM)과 시각언어모델(VLM)의 환각 현상을 분석하고 이를 억제하는 방안을 발표했다. 의료 도메인에서는 AI가 단 1초라도 잘못된 정보를 생성할 경우 의사의 최종 진단에 치명적인 영향을 미칠 수 있어 신뢰성 확보가 필수적이라는 진단이다.

이 교수는 AI의 핵심 구조(트랜스포머) 내부에 존재하는 수천 개의 정보 처리 단위 중 일부가 정보의 사실 여부를 판별하는 역할을 수행한다는 점을 규명했다. 데이터를 분류하는 분석 기법을 통해 확인한 결과, 특정 질문에 대한 정답이 진실인지 거짓인지 구별해 내는 소수의 신뢰성 단위(헤드)가 모델의 중후반부 신경망 연산 단계에 존재했던 것.

이런 특성은 텍스트 기반 모델에 시각 등 복합적인 정보를 더해 목적에 맞게 추가 학습(파인튜닝)시키는 과정에서도 그대로 유지되는 것으로 나타났다.

이에 연구진은 이 원리를 라바 메드(LLaVA-Med)와 같은 의료 특화 기반 AI 모델에 적용했다. 사실 판별 점수가 높은 정보 처리 단위의 비중을 높이고 점수가 낮은 단위들은 배제하는 선별 기법을 도입한 것이다. 이를 통해 막대한 비용이 드는 모델 재학습 과정 없이도 환각 현상을 효과적으로 억제하고 정확도를 높이는 데 성공했다.

이 교수는 "의료 인공지능의 환각 현상은 진단 결과에 치명적인 오류를 초래할 수 있어 팩트에 기반한 응답 시스템 구축이 필수적"이라며 "모델 내부에 존재하는 소수의 신뢰성 헤드를 파악해 이를 가중시키는 방식으로 멀티모달 환경에서도 재학습 비용 없이 환각을 효과적으로 제어할 수 있다"고 분석했다.

■파편화된 의료 데이터 한계…'데이터 조각'으로 도메인 적응

고려대학교 컴퓨터학과 이상민 교수는 의료 영상에서 특정 부위를 분할(세그멘테이션)하는 과정에서 발생하는 데이터 환경 차이(도메인 시프트) 문제를 해결하기 위한 기술을 소개했다. 정답 데이터 없이도 새로운 환경에 AI를 적응시키는 방식이다.

특정 병원이나 장비로 학습된 의료 영상 분석 모델은 다른 환경의 데이터를 만나면 데이터 특성 차이로 인해 성능이 크게 저하된다. 더욱이 이를 극복하기 위한 기존의 방식은 원본 데이터 공유가 불가능했다.

이 때문에 프라이버시 문제, 새로운 환경마다 모델을 새로 구축해야 하는 확장성 문제, 새 데이터를 학습할 때 기존 정보를 잊어버리는 망각 현상 등의 한계가 있었다.

이에 연구진은 AI망 전체를 다시 학습시키는 대신, 적용할 병원의 데이터만 활용해 아주 적은 연산 요소를 가진 핵심 데이터 조각(피처 벡터)을 생성하는 방식을 대안으로 제시했다. 실제 분석 과정에서 새로운 병원의 데이터가 입력되면 인공지능망 중간에 이 조각만을 추가해 영상을 분할하는 구조다.

새로운 환경으로 정답지가 없는 한계를 극복하기 위해선 두 가지 변환 기법이 활용됐다. 주파수를 변환해 영상의 질감을 바꾸는 기법과 이미지를 회전시키거나 뒤집는 기하학적 변환을 적용한 뒤, 변환 전후의 분석 결과가 동일하게 유지되도록 모델을 학습시켰다는 설명이다.

이 방식을 갑상선 및 경동맥 영상 분석에 적용한 결과, 적응 과정을 거치지 않았을 때 대비 16%, 기존 방식 대비 6~7% 이상의 성능 향상을 보였다. 컴퓨터 자원 소모량이 적어 현장의 소형 의료 기기(엣지 디바이스)에도 쉽게 적용할 수 있으며, 환자 개인별 맞춤형 세팅에서도 높은 정확도를 기록했다는 설명이다.

이 교수는 "기존 방식은 데이터 프라이버시 문제와 모델 확장성, 그리고 새로운 데이터 학습 시 기존 정보를 잊어버리는 망각 현상 등의 한계가 컸다"며 "네트워크 전체를 수정하지 않고 타겟 도메인 데이터로 생성된 가벼운 피처 벡터만을 추가하는 방식을 통해 의료 데이터의 보안성을 유지하면서도 세그멘테이션 성능을 대폭 향상할 수 있다"고 설명했다.