구글 헬스 AI팀, 인간 의사와 임상의 진단 정확도 비교
복잡한 사례 보고서 302편 이용해 분석
AI 단독 진단이 정확도 가장 높고, 임상의 단독 진단이 가장 낮아

얼마 전 한국은행이 발간한 보고서 하나가 화제였다. ‘AI(인공지능)와 노동시장 변화’라는 제목의 이 보고서는 직업별 AI 노출 지수를 근거로 ‘의사, 회계사, 변호사 같은 고소득 전문직이 오히려 AI에 의해 대체될 가능성이 크다고 분석했다. AI 노출 지수가 높을수록 미래에 사라질 가능성이 크다는 뜻인데, 특히나 의사와 한의사는 AI 노출 지수가 상위 1%로 주요 직업 가운데 가장 높았다.

이 보고서의 내용을 놓고 왈가왈부가 있었다. AI가 의사를 대체하면 의료사고의 책임은 누가 질 것이며, 여전히 환자들은 사람에게 진찰받고 치료받기를 원할 것이라는 설명도 있었다.

이런 의구심에 직격탄을 날리는 논문 한 편이 최근 나왔다. 이 논문을 보면 AI가 의사를 대체하는 미래도 불가능하지 않다는 걸 알 수 있다.

구글 헬스 AI팀은 지난 11월 30일 논문 사전공개 사이트인 ‘아카이브(arXiv)’에 대규모 언어 모델(LLM)을 활용한 AI가 질환을 얼마나 정확하게 진단할 수 있는지 보여주는 논문을 한 편 올렸다.

‘대규모 언어 모델을 통한 정확한 감별 진단(DDx)을 위한 노력’이라는 제목의 이 논문은 임상의와 AI가 같은 케이스를 가지고 진단을 했을 때 어느 쪽이 더 정확했는지를 비교하고 있다.

연구팀이 비교를 위해 사용한 건 국제 학술지 뉴잉글랜드저널오브메디신(NEJM)에 올라온 사례 보고서다. 이들 보고서는 난해하고 복잡한 케이스로 유명하다. 텍스트로만 사례를 제시하기 때문에 AI와 인간의 역량을 비교하는 데도 안성맞춤이다.

연구팀은 2013년 6월부터 2023년 8월까지 만들어진 302편의 사례 보고서를 사용했다. 내과가 159편으로 가장 많았고, 신경과(42편), 소아과(33편), 정신과(10편) 등 다양한 의료 분야를 총망라했다. AI와 대결을 펼친 의사는 평균 경력 11.5년의 임상의 20명이었다.

대결의 결과는 명확하게 갈렸다. AI가 혼자 진단을 한 경우 정확도가 59.1%로 가장 높았다. 반면 임상의가 아무런 도움 없이 혼자 진단했을 때의 정확도가 33.6%로 AI 단독 진단과 큰 차이가 났다. AI 혼자 진단했을 때 다음으로 정확도가 높은 건 임상의가 AI의 도움을 받은 경우다. AI의 도움을 받은 임상의의 진단 정확도는 51.8%였다. 임상의가 인터넷 검색을 활용해서 진단한 경우에는 정확도가 44.5%로 나타났다.

구글 헬스 AI팀의 논문. AI가 단독으로 진단한 경우 정확한 진단이 가장 많은 것을 알 수 있다. 반면 AI나 검색의 도움을 받지 않은 임상의의 진단은 정확도가 낮았다./구글 헬스 AI팀

진단의 정확도는 AI, 임상의와 AI 협력, 임상의와 검색 사용, 임상의 단독 진료 순으로 높은 셈이다. 연구팀은 “임상의는 사례 보고서의 이미지와 표 같은 데이터도 진단에 활용할 수 있었지만 AI는 오로지 본문 텍스트만으로도 진단을 진행해야 했다”며 “이런 제한에도 불구하고 AI가 임상의보다 우수한 성과를 보였고, AI가 이미지와 표에 접근할 수 있었다면 이 격차가 얼마나 더 벌어질지는 알 수 없다”고 밝혔다.

다만 연구팀은 이번 연구 결과가 의료 현장에서 임상의를 대신해 AI를 써야 한다는 걸 의미하는 건 아니라고 선을 그었다. 오히려 복잡한 진단 과정에서 AI가 임상의를 돕는 보조적인 역할을 하는 방법을 찾는 게 중요하다고 강조했다.

참고자료
arxiv, DOI : https://arxiv.org/abs/2312.00164