전문의 및 전공의 직접 작성 대비 시간 및 내용 충실도 비교
의사 대비 10배 빠르게 문서 작성…블라인드 테스트도 합격
생성형 인공지능인 챗 지피티(Chat-GPT)가 학습을 거듭하면서 임상 적용의 가능성을 높이고 있다.
단순히 의학 논문 작성이나 요약 등을 넘어 의사의 업무를 획기적으로 줄이는 수단으로 각광받고 있는 것. 배경은 속도와 정확성이다.
현지시각으로 27일 국제학술지 액타 올쏘피디카(Acta Orthopaedica)에는 챗 지피티의 임상적 효용성에 대한 연구 결과가 게재됐다(10.2340/17453674.2024.40182).
현재 챗 지피티 등 거대언어모델은 초창기에 비해 학습이 지속되면서 보다 정확도가 높아지고 있다는 평가를 받고 있다.
출시 초기 환각 등의 문제가 지적됐지만 방대한 학습이 지속적으로 이뤄지면서 점점 이를 보완해가고 있는 셈이다.
의학계에서 이에 대한 활용법을 모색하고 있는 것도 이러한 이유 때문이다. 전 세계적으로 의사의 번아웃이 문제가 되고 있다는 점에서 이를 보완할 수 있는 도구로 주목하고 있는 것이다.
웁살라 의과대학 사이러스 브로덴(Cyrus Brodén) 교수가 이끄는 연구진이 의사와 챗 지피티를 비교하는 흥미로운 연구를 진행한 배경도 여기에 있다.
과연 챗 지피티가 논문 작성이나 요약 등을 넘어 실제로 임상 현장에서 활용이 가능한지를 확인하기 위해서다.
이에 따라 연구진은 의료진의 가장 큰 로딩 중 하나인 의무기록과 퇴원 안내서 작성을 두고 챗 지피티의 성능을 시험했다.
모든 의료기관에서 퇴원 환자에게 질환과 수술 및 치료 경과, 처방 약물에 대한 설명, 주의사항 등을 담은 안내서를 전달한다는 점에서 과연 챗 지피티가 이러한 문서를 작성할 수 있는지를 확인한 것이다.
연구는 정형외과 전문의와 대학병원 전공의 10명이 퇴원 안내서를 작성하고 챗 지피티가 작성한 문서와 비교하는 방식으로 진행됐다.
이에 대한 평가는 블라인드 형태로 15명의 전문가 패널이 진행했다. 어느 것이 의사가 작성한 것이고 어떤 것이 챗 지피티가 쓴 것인지 모르는 상태에서 정확도와 충실도를 평가한 셈이다.
결과적으로 챗 지피티는 매우 충실하고 정확하게 환자의 퇴원 안내서를 적어내는데 성공했다. 전문의가 작성한 문서와 평가 점수에 차이가 없었기 때문이다.
중요한 것은 속도였다. 전문의가 작성한 퇴원 안내서와 질적인 면에서 차이가 없음에도 전문의들의 평균 작성 시간보다 10배나 빠르게 문서를 작성했기 때문이다.
연구진은 이러한 결과가 챗 지피티의 가능성을 설명한다고 강조했다.
사이러스 브로덴 교수는 "챗 지피티는 전문의가 작성한 퇴원 안내서와 품질 면에서 거의 차이가 없는 상태로 무려 10배나 빠르게 기록을 작성했다"며 "향후 전문의 등 의료진의 로딩을 획기적으로 줄여줄 수 있는 잠재력이 있다는 의미"라고 밝혔다.