최신 AI 모델도 세 가지 체계적 추론 오류를 범함, ARC-AGI-3 분석 결과

ARC-AGI-3는 ARC Prize Foundation이 운영하는 추론 능력 평가 벤치마크로, 단순 패턴 매칭이 아닌 시각적·논리적 추론을 통한 게임 형태의 과제를 제공합니다. 이번 분석은 OpenAI GPT-5.5와 Anthropic Opus 4.7의 게임 실행 160회를 대상으로 진행되었으며, 인간은 어렵지 않게 해결하는 과제에서 두 모델 모두 1% 미만의 성공률을 기록한 원인을 세 가지 체계적 오류 패턴으로 정리했습니다. 핵심은 LLM이 본질적으로 다음 토큰 예측에 최적화되어 있어, 다단계 추론에서 중간 상태를 일관되게 추적하거나 시각적 공간 정보를 정확히 표상하는 데 구조적 한계를 보인다는 점입니다. 즉, 벤치마크 점수가 높은 최신 모델들도 학습 분포에 없는 새로운 규칙을 추출·적용하는 일반화(generalization) 능력에서는 여전히 취약합니다.

개발자 관점에서 이 결과는 LLM 기반 에이전트를 실무에 도입할 때 매우 중요한 함의를 갖습니다. 코딩 보조나 문서 요약처럼 패턴이 풍부한 영역에서는 GPT-5.5/Opus 4.7급 모델이 뛰어난 성능을 보이지만, 복잡한 상태 관리가 필요한 자율 에이전트, 멀티스텝 워크플로우 자동화, 시각적 UI 조작(브라우저 에이전트 등)에서는 동일한 모델이 갑자기 무너질 수 있다는 의미입니다. 특히 "장시간 태스크에서의 일관성", "새로운 도메인 규칙 학습", "공간/상태 추론" 세 가지는 ARC-AGI-3가 지적한 약점과 그대로 겹치므로, 이런 영역에 LLM을 단독으로 맡기면 프로덕션 안정성을 확보하기 어렵습니다.

따라서 실무에서는 LLM의 한계를 우회하는 아키텍처 설계가 필요합니다. 첫째, 상태 추적이 중요한 작업은 LLM이 직접 관리하지 말고 외부 메모리·DB·상태머신에 위임하고 LLM은 의사결정 노드로만 사용하세요. 둘째, 시각/공간 추론 과제는 멀티모달 모델 단독보다 OCR·객체 검출·심볼릭 솔버를 결합한 하이브리드 파이프라인이 안정적입니다. 셋째, 새로운 규칙 추론이 필요한 영역에서는 few-shot 예시 품질과 검증(verifier) 단계를 강화하고, 자기 일관성(self-consistency) 샘플링이나 코드 실행 기반 검증으로 추론 결과를 교차 확인하는 것이 효과적입니다.

마지막으로 벤치마크 점수만 보고 모델을 신뢰하는 관행에 대한 경고이기도 합니다. MMLU·HumanEval 같은 기존 벤치마크에서 90%대를 기록하는 모델도 ARC-AGI-3에서는 1% 미만에 머문다는 사실은, 자사 도메인에 맞는 평가셋을 직접 구축해 내부 검증하는 것이 필수임을 보여줍니다. 새로운 모델이 발표되더라도 "추론 능력이 진짜로 향상되었는가"는 ARC-AGI-3, GPQA Diamond, FrontierMath 같은 일반화 중심 벤치마크의 추이를 함께 살펴봐야 하며, 에이전트 시스템을 설계하는 엔지니어라면 모델 한계를 가정한 방어적 설계(failure mode 정의, 휴먼 인 더 루프, 단계별 체크포인트)를 기본 원칙으로 삼아야 합니다.