AI 모델은 도움을 요청하는 것보다 추측하는 것을 선호한다

ProactiveBench는 멀티모달 언어 모델이 시각 정보가 부족할 때 사용자에게 능동적으로 질문을 던지는지 평가하는 벤치마크다. 현재 대부분의 멀티모달 모델은 이미지가 누락되거나 불완전한 상황에서도 주어진 정보만으로 답변을 생성하려는 경향이 강하다. 22개 모델을 테스트한 결과, 거의 모든 모델이 필요한 정보를 요청하지 않고 추측에 기반한 응답을 내놓았다. 이는 현재 LLM 학습 방식이 '질문에 대한 답변 생성'에 최적화되어 있고, '정보 부족 시 되묻기'라는 메타인지적 행동에 대한 보상 체계가 부재하기 때문이다. 연구진은 간단한 강화학습(RL) 접근법을 통해 모델이 정보가 불충분할 때 사용자에게 되묻는 행동을 학습할 수 있음을 실험적으로 확인했으며, 이는 RLHF 이후의 추가적인 행동 정렬 단계로서 의미가 있다.

이 연구 결과는 AI 기반 도구를 실무에 활용하는 개발자에게 직접적인 시사점을 준다. 코드 리뷰 봇, 자동 디버깅 에이전트, 멀티모달 문서 분석 파이프라인 등에서 모델이 불확실한 입력을 받았을 때 잘못된 결과를 자신 있게 내놓는 문제는 이미 현장에서 빈번히 발생한다. 예를 들어 스크린샷 기반 UI 테스트 자동화에서 이미지가 깨지거나 누락된 경우, 모델이 오류를 보고하는 대신 존재하지 않는 UI 요소에 대해 hallucination을 생성할 수 있다. 이번 연구는 이러한 'silent failure' 패턴이 모델 아키텍처의 근본적 한계가 아니라 학습 목표 설정의 문제임을 보여주며, RL 기반 미세조정으로 개선 가능하다는 점에서 실용적 해결 방향을 제시한다.

개발자가 당장 취할 수 있는 조치는 시스템 프롬프트 레벨에서의 방어적 설계다. 모델에게 "정보가 부족하면 추측하지 말고 어떤 정보가 필요한지 명시하라"는 명시적 지시를 포함시키는 것만으로도 되묻기 확률을 높일 수 있다. 또한 에이전트 파이프라인 설계 시 모델의 응답에 대한 신뢰도(confidence) 메트릭을 도입하고, 임계값 이하일 때 자동으로 사용자 확인을 요청하는 폴백 로직을 구현하는 것이 권장된다. 장기적으로는 ProactiveBench와 같은 평가 기준이 모델 선택의 중요한 축이 될 수 있으므로, 프로덕션에 멀티모달 모델을 도입할 때 단순 정확도뿐 아니라 '불확실성 인지 및 소통 능력'도 평가 항목에 포함시켜야 한다.