대화형 인공지능 Chat GPT가 진단과 치료 방식의 결정 등에서는 전문의와 큰 차이가 없다는 연구 결과가 나왔다. 하지만 당장 임상에 적용하기에는 한계가 분명했다.

전 세계를 아울러 정보를 취합하는 특성상 각국의 진료지침과 보험 정책, 인정되는 적응증 등을 반영하는데 한계가 나타났기 때문이다. 즉, Chat GPT가 우리나라에서 진료를 하면 의학적으로는 타당해도 삭감이 될 수 있다는 의미다.

현지시각으로 2일 대한간학회 영문 학술지 Clinical and Molecular Hepatology에는 Chat GPT의 임상적 활용 가능성에 대한 분석 연구 결과가 게재됐다(10.3350/cmh.2023.00890).

Chat GPT는 대화형 인공지능으로 상당한 정확도와 문장력, 신뢰도로 보이며 학계와 산업계에서 그 활용 가능성에 대한 연구를 진행하고 있는 상태다.

특히 미국 앤서블헬스(Ansible Health)에서 시행한 연구 결과 3단계에 걸친 미국 의사시험(USMLE)을 50% 이상의 정확도를 보여주며 무난하게 통과해 의학적 활용 가능성을 인정받고 있는 상황.

말 그대로 의사 면허를 딸 수 있을 정도로 발전한 인공지능이라는 점에서 실제 임상에서 활용할 수 있을지에 대한 관심이 높아지고 있는 셈이다.

시더스 시나이 의료센터 알렉산더(Alexander Kuo) 박사가 이끄는 연구진이 간 질환에 대한 적용 가능성 분석에 들어간 것도 이러한 이유 때문이다. 과연 실제로 Chat GPT를 진료에 활용할 수 있을지 파악하기 위해서다.

이에 따라 연구진은 간경화와 간암 등 주요 간질환을 대상으로 진단과 치료, 예방 등 총 5개 카테고리에서 164개의 질문을 던져 이에 대한 정확도와 신뢰도를 측정했다.

같은 질문을 해당 전문의 3명에게 교차 검증하며 과연 현재 임상 지침 등에 부합하는지를 비교한 것이다.

그 결과 Chat GPT는 164개 질문 중 무려 76.9%의 질문에 전문의와 전혀 다르지 않는 높은 수준의 정확성을 가진 정보를 제공했다. 10개 중 약 8개는 전문의와 차이가 없었다는 의미다.

하지만 한계도 분명했다. 과거의 논문과 문헌 등을 고찰해 가장 타당한 답을 내놓는데는 확실한 성능을 보였지만 임상 의사의 판단에 들어가는 부분, 즉 의사 결정 구조와 지침 등의 반영에서는 한계가 나타났기 때문이다.

즉 환자를 얼마나 입원시켜야 하는지, 또한 퇴원 시켜도 되는지, 얼마나 예후를 지켜봐야 하는지 등 임상 의사의 경험과 판단이 들어가는 부분과 그 나라 지침에는 맞는지 등에 대해서는 23.1% 전문의와 판단이 달랐다는 의미다.

실제로 카테고리별로 정확도와 신뢰도를 비교하자 질병에 대한 기초지식과 생활습관, 임상적 진단과 치료 방식 결정에서 Chat GPT는 압도적인 성과를 보였다.

하지만 예방의학과 예후 등의 측면에서는 50% 이상 올바른 데이터와 잘못된 데이터를 섞어서 내놓는다는 평가를 받으며 신뢰를 얻지 못했다.

특히 세계적으로 통용되는 진단과 치료 등에는 매우 높은 정확도를 보였지만 각 국가별 가이드라인과 보험 정책 등을 적용해 최적의 결과를 내놓는데는 한계가 있었다.

만약 미국에서는 간암 수술 후 5일은 입원해야 한다는 지침이 있고 한국에서는 3일이면 충분하다는 지침이 있다면 Chat GPT는 4일의 입원이 필요하다고 답한다는 의미가 된다.

그러나 전문가들은 이 정도의 정확도와 신뢰도만으로도 Chat GPT의 활용성은 충분하다고 결론내렸다.

궁극적으로 Chat GPT가 의사를 대체하는 역할이 아닌 만큼 보조적 역할로는 이미 현장에서 충분히 활용할 수 있다는 설명이다.

알렉산더 박사는 "Chat GPT가 진단과 적절한 치료법, 관리 방법에 대해서는 전문의 못지 않은 정확도와 신뢰도를 보였다"며 "하지만 각 국가별로 가이드라인과 보험이 적용되는 범위, 적응증이 다르다는 점에서 이를 반영해야 하는 부분에서 한계가 나타났다"고 분석했다.

그는 이어 "하지만 분명하게 Chat GPT는 지금 당장이라도 의사의 훌륭한 진단 및 치료 도구가 될 수 있다는 것을 보여줬다"며 "특히 환자들이 편하게 접근할 수 있다는 점에서 환자 대상 설명문과 각 의학 사이트 등을 대체할 수 있는 좋은 도구가 될 것"이라고 내다봤다.