메디칼타임즈=이인복 기자거대언어모델인 챗 지피티(Chat-GPT)가 전문의 수준까지 발전했다는 보고가 이어지고 있지만 실제 임상 적용은 위험할 수 있다는 연구 결과가 나와 주목된다.검증된 진단 도구와 유사한 수준으로 진단을 내릴 수는 있지만 같은 데이터에 같은 값을 내는 동일성 부분에서 낙제점을 받았기 때문이다.챗 지피티가 일정 부분 정확도를 보장하지만 동일성 부분에서 한계가 있다는 지적이 나왔다.현지시각으로 2일 국제 학술지 플로스 원(PLoS ONE)에는 챗 지피티를 활용한 임상 진단의 정확도 및 신뢰도에 대한 대규모 연구 결과가 게재됐다(10.1371/journal.pone.0301854).현재 챗 지피티는 고도화가 지속적으로 진행되면서 점차적으로 버전이 업그레이드 되고 있는 상황이다.이미 미국 의사 시험을 우수한 성적으로 통과한데 이어 특정 질환의 경우 전문의를 앞지르는 정확도를 보여주며 실제 임상 적용의 가능성을 높여가고 있는 상태.이로 인해 의학계에서는 다양한 방법으로 이를 검증해가며 임상 현장에 이를 도입하기 위한 노력을 지속하고 있다.워싱턴의과대학 로렌스 루이스(Lawrence Lewis) 교수가 이끄는 다기관 연구진이 이에 대한 검증 연구에 들어간 배경도 여기에 있다.비 외상성 흉통으로 응급실을 찾는 환자가 지속적으로 늘고 있지만 이에 대응할 수 있는 의료진은 적다는 점에서 주요 진단 도구를 학습시키고 이를 기반으로 챗 지피티를 예측 모델로 만든다면 임상에 도움이 될 수 있다는 판단에서다.이에 따라 연구진은 무작위로 시뮬레이션된 1만개의 환자 데이터를 기반으로 3개의 데이터 세트를 구성했다.하나는 비 외상성 흉통이 있는 환자에게 30일~6주간 주요 심혈관계 질환 위험(MACE)을 측정하는 도구인 TIMI로 검증했고 또 하나는 3개월에 걸쳐 MACE를 예측하는 응급실 심혈관 질환 예측 도구인 HEART 척도가 포함됐다.또한 나머지 하나는 44개의 무작위 건강 변수를 대입해 이 세가지 데이터 세트를 챗 지피티를 통해 진단을 내리도록 주문했다.그 결과 일단 챗 지피티는 매우 높은 정확도로 이러한 표준 평가 척도와 유사한 답변을 내놓는데 성공했다.TIMI 데이터의 경우 89%, HEART 점수는 92%로 높은 상관관계를 보였기 때문이다. 전문의가 TIMI를 통해 예측한 위험도와 챗 지피티가 예측한 위험도가 매우 유사했다는 의미다.하지만 문제는 동일성이었다. 즉 한명의 환자 데이터를 줬을때 지속적으로 같은 결과값을 내는가에 대한 부분이다.실제로 TIMI와 HEART 점수를 기반으로 한 전문의들의 판단은 동일성이 유지됐지만 챗 지피티의 경우 44%가 다른 결과값을 내놨다.동일한 환자 데이터를 가지고 처음에는 급성 심근경색이 위험하다는 진단을 내렸다가 다음에는 아무 이상이 없다는 결과를 내놓은 셈이다.연구진은 바로 이 부분에서 챗 지피티의 임상 적용은 아직 시기상조라고 결론내렸다. 불확실성에 대한 부분이 해결되지 않으면 더 위험한 상황이 벌어질 수 있다는 것이다.로렌스 루이스 교수는 "TIMI나 HEART와 같은 척도들과 매우 유사한 수준의 상관관계를 갖는다는 것은 분명히 희망적인 부분"이라며 "하지만 동일성 부분에서 챗 지피티는 사실상 낙제점을 받았다"고 지적했다.그는 이어 "똑같은 환자의 동일한 데이터를 두고 챗 지피티는 위험하다고 했다가 위험하지 않다고 판단하는 등 무작위성을 보였다"며 "임상 현장에서 단일하고 일관된 진단은 매우 중요한 부분인 만큼 이러한 무작위성은 인정될 수 없는 지표"라고 밝혔다.

메디칼타임즈=이인복 기자심전도 검사 등으로 놓칠 수 있는 급성 심근경색을 매우 빠른 속도로 감지하는 인공지능이 나와 학계의 주목을 받고 있다.심전도에서 급성 심근경색을 발견하지 못할 경우 추가적 검사 등으로 최대 24시간 이상이 필요하다는 점에서 전문가들은 향후 응급 진료에 큰 획을 그을 것으로 기대하고 있다.심전도와 HEART 점수, 전문의 종합 평가 등을 정확도로 앞서는 인공지능이 나와 주목된다.현지시각으로 2일 네이쳐 메디신(Nature Medicine)에는 심근경색 감지 인공지능의 임상적 효용성에 대한 대규모 연구 결과가 게재됐다(10.1038/s41591-023-02396-3).현재 급성 심근경색은 응급실에서도 심장 통증 등으로 내원한 환자에게 가장 먼저 검사를 진행할 만큼 초 응급 질환으로 분류되고 있다.가장 널리 쓰이는 방법은 심전도(ECG). 응급의학과 전문의가 심전도를 통해 1차적으로 검사를 진행한 뒤 의심 사례가 나올 경우 심장내과 의사 등에게 판독을 의뢰하는 구조다.일부 급성 심근경색은 심전도의 최저점과 최고점 사이에서 나타나는 STEMI라는 패턴을 통해 진단이 가능하다.하지만 문제는 급성 심근경색 환자 중에서 3분의 2는 이같은 패턴이 잘 나타나지 않는다는 것. 결국 이를 명확하게 하기 위해 추가 검사에 들어갈 경우 최대 24시간까지 소요될 수 있다는 것이 전문가들의 지적이다.피츠버그 의과대학 알 자이티(Al-Zaiti) 교수가 이끄는 연구진이 심전도를 이용한 인공지능 개발에 나선 것도 이러한 배경 때문이다.심전도를 통해 전문의가 미쳐 놓칠 수 있는 급성 심근경색을 잡아낼 수 있다면 환자의 생존에 큰 영향을 줄 수 있다는 판단에서다.이에 따라 연구진은 고도화된 학습을 통해 이를 진단하는 인공지능 모델을 개발하고 피츠버그 소재 3개 병원의 흉통 환자 4026명과 뉴욕 등에 위치한 병원의 3287명을 대상으로 검증을 진행했다.그 결과 이 인공지능 모델은 곡선하 면적(AUROC)이 0.87에 달하는 것으로 분석됐다. 심전도와 HEART 점수를 합쳐 분석한 결과(AUROC 0.75)에 비해 크게 높은 수치다.특히 경력이 많은 심장내과 전문의들의 종합 분석 또한 AUROC 0.80에 불과했다는 점에서 이를 상회하는 정확도를 보여준 셈이다.특히 이 인공지능 모델이 내놓은 위험 점수는 연령과 성별, 흡연력, 기저질환과 무관하게 기존 검사에 비해 10배가 넘는 강력한 예측력을 보여줬다(OR=10.60).알 자이티 교수는 "처음 모델을 개발할때 목표로 삼았던 것은 적어도 HEART 점수에 필적하는 결과를 내는 것이었다"며 "하지만 이 인공지능은 심전도 하나만으로 이를 훨씬 초과하는 정확도를 기록했다"고 설명했다.그는 이어 "이 모델은 응급실 등에서 환자가 지체 없이 심근경색 진단을 받고 적절한 치료를 받을 수 있도록 위험 평가를 크게 개선하게 될 것"이라며 "또한 심장전문병원에 이송할 필요가 없는 저위험 환자를 걸러내는데도 큰 도움이 될 것으로 기대한다"고 말했다.