“AI 사용하는 의사, 진단 실수 16% 줄어든다”

오류 발생 가능성이 있는 경우에만 작동하는 의료용 AI 시스템 AI 컨설트(AI Consult)와 관련한 조사에서 이 AI 시스템을 사용하는 의사는 사용하지 않는 의사에 비해 진단 실수가 16% 감소한 것으로 나타났다. 이 결과는 오픈AI가 발표한 것이다.

오픈AI는 케냐에서 의료 서비스를 제공하는 펜다헬스(Penda Health)와 협력해 진료 중 실수가 발생할 우려가 있는 중요한 순간을 포착해 의사에게 알리는 AI 시스템 AI 컨설트를 여러 의료 기관에 도입했다.

임상의는 같은 날 모든 연령대 다양한 질병을 가진 환자를 진찰해야 하므로 폭넓은 지식이 요구된다. 이 복잡성은 의료 과실을 초래하는 주요 요인으로 지목된다. AI 컨설트는 이를 보완하기 위한 시스템으로 의사가 사용하는 전자 건강 기록(EHR) 시스템에 통합해 진단 오류, 약물 오용, 환자에 대한 지시 착오 등을 지적한다.

오픈AI는 15개 진료소에서 이뤄진 3만 9,849건에 이르는 진료 기록을 분석해 AI 컨설트가 어떤 방식으로 도움을 주고 있는지를 조사했다. 이 중 AI 컨설트가 활용된 진료는 2만 859건, 사용되지 않은 진료는 1만 8,990건이었다. 조사에는 의사 108명이 협력했으며 무작위로 선택된 5,666건에 이르는 진료와 관련 문서를 평가해 오류를 식별했다.

평가 기준은 병력 기록, 검사 적절성, 진단 정확성, 치료 정확성 등 4가지 항목이었다. 이 4가지 항목 모두에서 AI를 사용한 의사가 사용하지 않은 의사보다 오류 발생 비율이 낮은 것으로 나타났다. 전반적으로, AI 컨설트 도입을 통해 연간 2만 2,000건 진단 오류와 2만 9,000건 치료 오류를 방지할 수 있었다는 결과가 나왔다.

AI 컨설트를 사용한 의사는 환자 진료 질이 향상됐다거나 적절한 임상 판단에 도움이 됐다, 학습 도구로도 이상적이었다고 평가했다.

펜다헬스는 AI 컨설트 도입에 맞춰 1:1 지도를 제공하며 적절한 사용법을 교육했다. 그 결과 초기에는 중요하지 않다고 여겨 무시되던 오류 메시지도 의사가 적극적으로 확인하게 됐다.

또 일반적인 트레이닝을 받은 AI 컨설트가 펜다헬스 문화에 맞게 동작하도록 추가적인 AI 훈련과 피드백도 이뤄졌다. 예를 들어 초기 설정에서는 소아 환자 혈압을 측정하지 않으면 오류 메시지가 표시됐지만 펜다헬스에서는 어린이 혈압을 정기적으로 측정하지 않기 때문에 해당 오류 메시지는 제거됐다.

이런 결과를 바탕으로 오픈AI는 AI를 실제 세계 시스템에 통합하는 데 있어 향후 과제가 되는 건 모델 성능 자체가 아니라 실제 사용 사례와의 간극을 메우는 일이라고 지적했다.

오픈AI는 모델과 구현 간의 간극을 메우려면 의료 AI 생태계 전반의 협력적 접근이 필수적이라며 AI 시스템을 지속적으로 연구하고 확장해 나가는 과정에서 AI가 표준 의료 내 신뢰할 수 있는 일부가 되고 이 노력이 AI 활용을 촉진하는 데 있어 영감과 실질적인 지침이 되기를 바란다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.