월드 액션 모델, 로봇이 움직이기 전 결과를 시뮬레이션할 수 있게 해준다

World Action Model(WAM)은 기존 로봇 AI의 근본적 한계, 즉 "카메라 이미지와 동작을 매핑하는 학습"에서 벗어나 물리 세계가 행동의 결과로 어떻게 변화하는지를 예측하는 월드 모델 기반 아키텍처입니다. 전통적인 Visuomotor Policy 모델은 (관측, 액션) 쌍으로 라벨링된 로봇 데모 데이터에 의존했기 때문에 데이터 수집 비용이 매우 컸지만, WAM은 다음 프레임 예측이나 잠재 동역학(latent dynamics) 학습을 통해 로봇 액션 라벨이 없는 일반 영상에서도 "이 상태에서 무언가가 일어나면 세계가 어떻게 바뀐다"는 인과 구조를 흡수할 수 있습니다. 최근 서베이 논문은 약 100편의 관련 연구를 크게 두 갈래, 즉 픽셀 공간에서 직접 미래를 생성하는 generative video world model 계열(Sora, UniSim 류)과 잠재 표현 공간에서 동역학을 학습하는 latent dynamics 계열(JEPA, DreamerV3 류)로 분류했습니다. 핵심 통찰은 모델이 행동 전에 머릿속에서 결과를 시뮬레이션하고, 이를 강화학습이나 MPC(model predictive control)의 환경 시뮬레이터로 활용할 수 있다는 점입니다.

엔지니어 관점에서 가장 큰 변화는 "데이터 병목의 해소"입니다. 그동안 로봇 학습은 텔레오퍼레이션이나 모션 캡처로 수집한 고가의 라벨 데이터에 묶여 있어 LLM처럼 인터넷 스케일 학습이 불가능했지만, WAM은 YouTube 요리 영상이나 산업 현장 CCTV 같은 라벨 없는 비디오를 사전학습 코퍼스로 흡수할 수 있어 일종의 "로봇계 GPT 모먼트"를 가능하게 합니다. 이는 자율주행, 물류 로봇, 가정용 휴머노이드, 그리고 게임/시뮬레이션 엔진 분야에도 직접적인 영향을 미칩니다. 특히 NVIDIA의 Cosmos, Google DeepMind의 Genie, 메타의 V-JEPA 2 같은 오픈 가중치 모델이 등장하면서, 자체 시뮬레이터를 구축하기 어려웠던 중소 로봇 스타트업도 사전학습된 월드 모델 위에 자사 도메인 데이터로 파인튜닝하는 패턴이 표준이 되어가고 있습니다.

개발자가 당장 점검해야 할 포인트는 세 가지입니다. 첫째, 강화학습이나 로봇 시뮬레이션 파이프라인을 다룬다면 MuJoCo/Isaac Sim 같은 물리 시뮬레이터에만 의존하던 구조를 "학습된 월드 모델 + 물리 시뮬레이터" 하이브리드로 재설계할 여지가 큽니다. 둘째, 데이터 엔지니어링의 무게중심이 라벨 수집에서 비라벨 영상의 큐레이션, 디인터레이싱, 카메라 인트린식 정규화 같은 전처리로 이동하므로 비디오 데이터 인프라(저장, 인덱싱, 샘플링) 역량 확보가 필요합니다. 셋째, 월드 모델은 본질적으로 생성 모델이라 hallucination(물리 법칙 위반 예측) 리스크가 존재하므로, 안전 크리티컬한 도메인에서는 잠재 공간 예측 결과를 실제 물리 엔진으로 재검증하는 이중 검증 레이어를 설계 단계부터 고려해야 합니다.

마지막으로 한국 SW 엔지니어에게 실질적인 액션 아이템은 V-JEPA 2, Cosmos, Genie 2의 공개 체크포인트를 직접 다운로드해 추론 비용과 예측 horizon 한계를 벤치마크해보는 것입니다. 또한 PyTorch 기반 latent dynamics 학습 코드(DreamerV3 공식 구현 등)를 자사 도메인 로그 영상으로 파인튜닝하는 PoC를 통해 "우리 도메인에서 라벨 없는 영상이 실제로 학습 신호를 주는가"를 정량적으로 측정해두면, 향후 로봇/자율 시스템 프로젝트의 데이터 전략을 결정할 때 강력한 근거가 됩니다.