거대언어모델인 챗 지피티(Chat-GPT)가 전문의 수준까지 발전했다는 보고가 이어지고 있지만 실제 임상 적용은 위험할 수 있다는 연구 결과가 나와 주목된다.

검증된 진단 도구와 유사한 수준으로 진단을 내릴 수는 있지만 같은 데이터에 같은 값을 내는 동일성 부분에서 낙제점을 받았기 때문이다.

현지시각으로 2일 국제 학술지 플로스 원(PLoS ONE)에는 챗 지피티를 활용한 임상 진단의 정확도 및 신뢰도에 대한 대규모 연구 결과가 게재됐다(10.1371/journal.pone.0301854).

현재 챗 지피티는 고도화가 지속적으로 진행되면서 점차적으로 버전이 업그레이드 되고 있는 상황이다.

이미 미국 의사 시험을 우수한 성적으로 통과한데 이어 특정 질환의 경우 전문의를 앞지르는 정확도를 보여주며 실제 임상 적용의 가능성을 높여가고 있는 상태.

이로 인해 의학계에서는 다양한 방법으로 이를 검증해가며 임상 현장에 이를 도입하기 위한 노력을 지속하고 있다.

워싱턴의과대학 로렌스 루이스(Lawrence Lewis) 교수가 이끄는 다기관 연구진이 이에 대한 검증 연구에 들어간 배경도 여기에 있다.

비 외상성 흉통으로 응급실을 찾는 환자가 지속적으로 늘고 있지만 이에 대응할 수 있는 의료진은 적다는 점에서 주요 진단 도구를 학습시키고 이를 기반으로 챗 지피티를 예측 모델로 만든다면 임상에 도움이 될 수 있다는 판단에서다.

이에 따라 연구진은 무작위로 시뮬레이션된 1만개의 환자 데이터를 기반으로 3개의 데이터 세트를 구성했다.

하나는 비 외상성 흉통이 있는 환자에게 30일~6주간 주요 심혈관계 질환 위험(MACE)을 측정하는 도구인 TIMI로 검증했고 또 하나는 3개월에 걸쳐 MACE를 예측하는 응급실 심혈관 질환 예측 도구인 HEART 척도가 포함됐다.

또한 나머지 하나는 44개의 무작위 건강 변수를 대입해 이 세가지 데이터 세트를 챗 지피티를 통해 진단을 내리도록 주문했다.

그 결과 일단 챗 지피티는 매우 높은 정확도로 이러한 표준 평가 척도와 유사한 답변을 내놓는데 성공했다.

TIMI 데이터의 경우 89%, HEART 점수는 92%로 높은 상관관계를 보였기 때문이다. 전문의가 TIMI를 통해 예측한 위험도와 챗 지피티가 예측한 위험도가 매우 유사했다는 의미다.

하지만 문제는 동일성이었다. 즉 한명의 환자 데이터를 줬을때 지속적으로 같은 결과값을 내는가에 대한 부분이다.

실제로 TIMI와 HEART 점수를 기반으로 한 전문의들의 판단은 동일성이 유지됐지만 챗 지피티의 경우 44%가 다른 결과값을 내놨다.

동일한 환자 데이터를 가지고 처음에는 급성 심근경색이 위험하다는 진단을 내렸다가 다음에는 아무 이상이 없다는 결과를 내놓은 셈이다.

연구진은 바로 이 부분에서 챗 지피티의 임상 적용은 아직 시기상조라고 결론내렸다. 불확실성에 대한 부분이 해결되지 않으면 더 위험한 상황이 벌어질 수 있다는 것이다.

로렌스 루이스 교수는 "TIMI나 HEART와 같은 척도들과 매우 유사한 수준의 상관관계를 갖는다는 것은 분명히 희망적인 부분"이라며 "하지만 동일성 부분에서 챗 지피티는 사실상 낙제점을 받았다"고 지적했다.

그는 이어 "똑같은 환자의 동일한 데이터를 두고 챗 지피티는 위험하다고 했다가 위험하지 않다고 판단하는 등 무작위성을 보였다"며 "임상 현장에서 단일하고 일관된 진단은 매우 중요한 부분인 만큼 이러한 무작위성은 인정될 수 없는 지표"라고 밝혔다.