미국 의사시험과 로스쿨 시험을 단 몇 초만에 통과해 화제를 모으고 있는 Chat GPT. 그렇다면 과연 실제 진료에서도 이를 활용할 수 있을까?

이에 대한 답이 될 수 있는 연구 결과가 나와 주목된다. 같은 질문을 미국국립암센터와 Chat GPT에게 동시에 주고 이를 비교 분석한 연구가 나온 것. 결과적으로 결론은 놀라웠다.

현지시각으로 21일 미국 국립암연구소가 발간하는 암 스펙트럼(National Cancer Institute Cancer Spectrum)에는 Chat GPT의 의학적 가치에 대한 연구 결과가 게재됐다(10.1093/jncics/pkad015).

인공지능 Chat GPT는 이미 상당한 정확도와 문장력으로 화제의 중심에 서 있는 상태다. 특히 미국 의사시험과 로스쿨 시험을 모두 통과하면서 화제를 모으고 있는 상황.

실제로 미국 앤서블헬스(Ansible Health)의 연구 결과 Chat GPT는 3단계에 걸친 미국 의사시험(USMLE)을 50% 이상의 정확도를 보여주며 무난하게 통과했다.

스텝 1,과 스텝2, 스텝 3에서 추출한 305개 문항을 단 5초 안에 높게는 60% 이상의 정확도로 풀어내며 무난하게 합격점을 받은 것.

또한 Chat GPT-4의 경우 미국 로스쿨 입학시험(LSAT)에서도 상위 10% 안에 드는 점수를 받으며 무난하게 합격할 수 있다는 것을 증명했다.

이로 인해 학계에서는 이제 Chat GPT를 실제 환경에서 쓸 수 있는지에 주목하고 있다. 쉽게 말해 의사 면허를 딸 수 있다면 진료에 활용할 수 있는지에 관심을 두고 있는 것.

미국 유타의과대학 스카일러 존슨(Skyler Johnson) 교수가 이끄는 연구진이 이에 대한 연구를 시작한 것도 이러한 이유 때문이다. Chat GPT의 가능성을 실제로 확인하기 위해서다.

이에 따라 연구진은 암과 관련한 심층적인 질문 13개를 마련하고 미국에서 가장 권위를 인정받는 미국암연구소(National Cancer Institute)와 Chat GPT에 물어 이에 대한 답변을 비교 분석했다.

미국암연구소가 내놓은 답변과 Chat GPT의 답변이 얼마나 유사하며 의학적으로 오류나 문제가 없는지를 비교한 것이다.

또한 여기에 더해 권위있는 암 전문가 5명을 추가해 이 답변에 대한 의학적 근거와 타당성을 추가로 분석했다.

그 결과 13개의 질문에 대한 미국암연구소의 공식 답변은 5명의 전문가 모두가 100%의 동의로 의학적 근거가 충분하다고 답했다.

Chat GPT의 답변에 대해서도 13개의 질문 중 11개는 5명 중 5명 모두가 100% 정확하다고 답했다. 하지만 2개의 질문에 대해서는 5명 중 4명만이 정확하다고 답했다. 이견은 각 1명이었다.

이를 통계적으로 분석하면 Chat GPT의 답변은 미국암연구소의 답변과 비교해 96.9%의 정확도를 보이는 것으로 나타났다. 특히 미세하게 문장 구조를 바꿔가며 질문해도 이같은 정확도는 지속적으로 유지됐다.

스카일러 존슨 교수는 "Chat GPT가 미국국립암연구소가 내놓은 답변과 거의 똑같은 수준의 정보를 내놓는다는 이번 연구 결과는 향후 진료에 충분히 활용이 가능할 수 있다는 중요한 통찰력을 제공한다"며 "적어도 건강정보로서는 충분히 활용이 가능하다는 의미"라고 설명했다.

하지만 그럼에도 곧바로 의학 정보의 창구로 활용하기는 한계가 있다는 것이 연구진의 의견이다. 높은 정확도에도 불구하고 일정 부분 구멍은 존재한다는 것.

일단 Chat GPT가 이러한 정보를 미국국립암연구소 자료를 그대로 가져왔을 가능성이 있으며 또한 일부에서 거짓말을 지어내는 '환각 오류'의 가능성도 나타났다는 지적이다.

스카일러 존슨 교수는 "상당한 정확도는 놀랍지만 이 답변이 과연 Chat GPT가 스스로 정리한 것인지 미국국립암연구소에 공개된 자료를 그대로 따온 것인지 알 수가 없다"며 "특히 일부에서는 상당히 우려스러운 '환각 오류'도 나타났다는 점에서 자칫 잘못된 정보를 지속적으로 가공해 악의적 고정관념을 만들어 낼 수 있는 가능성도 있다"고 밝혔다.