구글 딥마인드 'AI 동료 의사'가 GPT-5.4를 상대로 실전 테스트에서 이긴다지만 경험 많은 의사들보다 뒤진다

Google DeepMind이 개발 중인 "AI co-clinician"은 환자 진료를 보조하는 의료용 대화형 AI 시스템으로, 블라인드 테스트에서 GPT-5.4를 능가하는 성과를 보였다. 이 시스템은 일반적인 LLM 위에 의료 도메인 특화 fine-tuning과 RLHF(Reinforcement Learning from Human Feedback)를 적용하고, 진단 추론(diagnostic reasoning)을 강화하기 위한 chain-of-thought 기법과 의료 가이드라인 기반의 검증 레이어를 결합한 구조로 추정된다. 시뮬레이션된 환자 상담 시나리오에서 AI가 문진(history taking), 감별 진단(differential diagnosis), 치료 권고 등을 수행하고, 의사들이 어느 쪽이 AI인지 모르는 상태에서 평가하는 방식으로 측정됐다. 흥미로운 점은 ChatGPT의 voice mode가 의료 상담은커녕 진지한 업무에도 적합하지 않다는 결과가 함께 도출된 것인데, 이는 음성 인터페이스의 latency, 환각(hallucination) 검증 부재, 멀티턴 컨텍스트 유지의 한계 때문으로 보인다.

여전히 경험 많은 의사 수준에는 도달하지 못했다는 점이 핵심이다. 이는 도메인 특화 AI 시스템 개발 시 단순 벤치마크 점수가 아닌 "실무 전문가 대비 갭"을 측정해야 한다는 교훈을 준다. 개발자 관점에서는 단순히 GPT-4/5 같은 범용 모델을 API로 호출하는 것만으로는 의료, 법률, 금융 같은 고위험 도메인에 충분하지 않으며, 도메인 데이터로 fine-tuning하거나 RAG로 신뢰할 수 있는 지식 베이스를 연결하고, 출력에 대한 검증 파이프라인을 구축해야 함을 시사한다. 또한 AI 평가 방식 자체가 진화하고 있어, MMLU 같은 객관식 벤치마크보다 실제 도메인 전문가가 블라인드로 평가하는 정성적 측정이 신뢰성 평가의 표준이 되어가고 있다.

엔지니어가 당장 취할 수 있는 액션은 세 가지다. 첫째, 의료/법률/금융 등 규제 산업의 AI 제품을 개발한다면 "AI 단독 의사결정"이 아닌 "전문가 보조(co-pilot) 모델"로 설계해야 하며, 책임 소재와 human-in-the-loop 구조를 명확히 해야 한다. 둘째, voice 인터페이스 도입 시 정확도가 중요한 워크플로우는 텍스트 기반 검토 단계를 반드시 거치도록 설계해야 하며, voice는 입력/요약 같은 보조적 용도로 한정하는 것이 안전하다. 셋째, 자사 AI 제품을 평가할 때 단순 정답률이 아닌 "도메인 전문가가 블라인드 비교에서 어느 쪽을 선호하는가" 같은 사용자 중심 평가 프레임워크를 도입하면, DeepMind 같은 빅테크와 동일한 기준으로 제품 품질을 검증할 수 있다.