[메디칼타임즈=김승직 기자] 정부가 거대언어모델(LLM) 기반 디지털의료기기 관리를 강화하면서, 학계에서 일반 생성형 AI의 의료적 오용을 방지하기 위한 대책 역시 필요하다는 목소리가 나온다.

29일 의료산업계에 따르면 식품의약품안전처가 생성형 AI 기반 디지털의료기기의 특성을 반영해 LLM에 특화된 허가·심사 가이드라인을 마련하고 있다.

관련 기기가 오류나 편향이 있는 데이터를 학습했는지, 출력 정보에 중요한 내용이 누락되거나 할루시네이션과 같은 잘못된 정보가 포함됐는지 등을 집중적으로 관리한다는 방침이다. 인허가 이후에도 학습데이터나 성능이 변경되면 관련 정보를 사용자에게 공개하도록 하는 등 전주기적 모니터링을 강화한다는 구상이다.

이런 규제 정비는 관련 시장의 폭발적인 성장세에 따른 조치다. 식약처 조사 결과 AI 기반 의료기기 전체 허가·인증 건수는 2021년 37건에서 지난해 153건으로 4배 이상 증가했다. 올해도 5월까지 75건이 집계되는 등 가파른 증가세를 기록 중이다.

특히 흉부 엑스레이 예비 소견서 생성 솔루션인 숨빗AI 'AIRead-CXR'와 딥노이드 'M4CXR'이 잇따라 인허가를 받는 등 의료 생성형 AI가 늘어나는 추세다.

하지만 학계에선 제미나이·챗지피티 등 일반 생성형 AI를 의료적으로 사용하는 것은 여전히 회색지대에 있다는 우려가 나온다. 일반 국민이 생성형 AI에 의료 상담을 진행하거나, 의사가 행정업무를 지시하는 사례가 늘어나면서 부작용이 발생할 수 있다는 것.

실제 언론진흥재단 조사에 따르면 우리나라 성인 중 48.9%가 의료 문제에 대해 일반 생성형 AI를 '상담' 방식으로 활용한 경험이 있는 것으로 나타났다. 특히 간단한 질환 외에도 정신건강·성 관련 문제 등 민감한 건강·의료 사안을 상담한 경험이 24.4%로 집계됐다.

또 취재 결과 임상 현장에서 일반 생성형 AI를 소견서·환자 가이드라인 등 문서 작성, 문헌 검색 등 행정 보조 업무에 사용하는 사례가 늘어나는 것으로 나타났다.

이와 관련 대한의료인공지능학회는 의료인과 일반인 모두 범용 생성형 AI 사용에 각별한 주의가 필요하다고 진단했다. 특히 의료진이 환자 정보를 범용 모델에 입력할 경우, 환자 동의 없는 개인정보 유출로 이어질 수 있다는 지적이다.

일반인이 병원 방문 전 자신의 증상을 검색하거나, 검사 결과를 범용 AI에 묻는 행위 역시 위험성이 크다고 우려했다. 범용 AI는 의료용 목적으로 승인받은 기기가 아니며, 질문 방식에 따라 일관성이 떨어지는 결과를 도출할 수 있다는 지적이다.

이와 관련 박창민 회장은 "의료진이 범용 생성형 AI를 진료에 참고하더라도 최종적인 책임은 본인이 져야 한다. 무엇보다 환자의 민감 정보를 범용 모델에 입력하는 것은 개인정보 보호 차원에서 불법 소지가 있다"며 "국민 역시 범용 AI를 의료기기처럼 활용해 본인의 증상이나 영상 자료를 해석하는 것은 할루시네이션 등의 위험이 따른다"고 우려했다.

이와 함께 박 회장은 의료 분야에서 AI는 고위험(High-risk), 고영향(High-impact) 범주에 속하는 기술임을 국민과 의료계 모두가 재인식하도록 해야 한다고 강조했다.

이를 의료적으로 사용하기 위해선 전문가의 감독 아래, 보수적인 관점에서 철저한 검증이 이뤄져야 한다는 제언이다. 특히 의료기기 인허가에서 생성형 AI는 사용 목적과 대상 질환군을 명확히 하고, 해당 범위 내에서 허가와 검증이 진행돼야 한다고 짚었다.

그는 "일반 생성형 AI가 아무리 뛰어나도 환자의 영상자료를 시각적으로 분석하거나 다중 대화 방식의 진료를 완벽히 수행하긴 어렵다. 의료진을 대신해 AI의 결과만 믿고 건강상의 중요한 의사결정을 내리는 것은 매우 위험하다"며

이어 "의료용 생성형 AI는 승인 이후에도 기술적 특성 변화에 대한 지속적인 모니터링 등 전주기적인 관리가 필수적이다"며 "의료진과 기존 의료 시스템, 법적 이슈가 균형을 맞춰 진행돼야 일반인과 의료진 모두에게 올바른 지침이 될 수 있다"고 강조했다.