새로운 벤치마크, AI 영상 생성기의 시각적 매력은 있으나 세계를 이해하지 못함을 확인

WorldReasonBench는 기존 영상 생성 모델 벤치마크가 주로 측정해온 화질·심미성·프롬프트 일치도 대신, 생성된 영상이 물리 법칙과 논리적 인과관계를 얼마나 일관되게 표현하는지를 평가하는 새로운 지표다. 구체적으로는 중력·관성·유체역학 같은 물리 현상의 plausibility, 객체 영속성(object permanence), 그리고 다단계 인과 추론(예: A가 B를 밀면 C가 떨어진다)을 카테고리별로 채점한다. 평가에는 일반적으로 VLM(Vision-Language Model) 기반 자동 채점과 인간 평가가 병행되며, 모델이 만들어낸 비디오 프레임 시퀀스가 "세계의 다음 상태"를 얼마나 정확히 시뮬레이션하는지를 본다. 이번 결과에서 ByteDance Seedance 2.0이 Veo 3.1과 Sora 2를 제치고 1위를 차지했지만, 모든 모델이 논리적 추론(logical reasoning) 카테고리에서 최하 점수를 기록했다는 점은 현재의 디퓨전 기반 비디오 생성기가 본질적으로 픽셀 분포를 학습한 generative renderer일 뿐, 내부에 명시적인 world model을 갖고 있지 않다는 사실을 다시 확인시켜준다.

엔지니어 관점에서 이 결과의 핵심 함의는 "비디오 생성 모델 ≠ 시뮬레이터"라는 점이다. 최근 자율주행·로보틱스·게임 분야에서 합성 데이터 생성, 정책 학습용 시뮬레이터, 디지털 트윈 용도로 비디오 생성 모델을 쓰려는 시도가 늘고 있지만, WorldReasonBench가 보여주듯 현재 SOTA 모델조차 "유리컵이 떨어지면 깨진다", "물이 막힌 관에서는 흐를 수 없다" 같은 기본 인과를 안정적으로 재현하지 못한다. 즉 생성된 영상은 데모용 콘텐츠로는 훌륭하지만, 강화학습 환경이나 안전 검증 데이터로 활용하기에는 ground truth로서의 신뢰성이 부족하다. 또한 상용 모델(Seedance, Veo, Sora)이 오픈소스 모델 대비 약 2배 점수를 받았다는 점은, 추론 능력에서의 격차가 단순 파라미터 수보다는 학습 데이터의 다양성, RLHF/RLAIF 수준의 후처리, 그리고 내부 reasoning module의 유무에서 비롯될 가능성이 높음을 시사한다.

실무적으로 개발자가 지금 취해야 할 액션은 세 가지다. 첫째, 비디오 생성 API를 제품 파이프라인에 통합할 때 출력물의 물리적/논리적 정합성에 의존하는 use case(예: 교육용 시뮬레이션, 사고 재현, 제품 작동 영상)에는 반드시 사후 검증 레이어를 두어야 한다. VLM을 활용해 생성 영상의 물리 일관성을 자동 평가하거나, 도메인 특화 규칙 엔진으로 필터링하는 방식이 현실적이다. 둘째, 자사 도메인에 맞는 mini-benchmark를 미리 구축해두면 모델 버전이 올라갈 때마다 회귀 테스트가 가능하다. WorldReasonBench의 카테고리 구조를 참고해 "우리 서비스에서 절대 깨지면 안 되는 물리/논리 케이스" 20~50개를 큐레이션하는 것만으로도 충분하다. 셋째, 진짜 world model이 필요한 응용(로보틱스 sim2real, 자율주행 시나리오 생성 등)을 다룬다면 순수 generative video 모델 대신 물리 엔진+뉴럴 렌더링 하이브리드(예: Genie 계열, NVIDIA Cosmos, 물리 사전지식을 주입한 diffusion 모델)를 우선 검토해야 한다. 화려한 데모에 현혹되지 말고, 자신의 use case가 "보기 좋은 영상"인지 "세계를 시뮬레이션하는 영상"인지를 먼저 구분하는 것이 가장 중요한 출발점이다.