Nvidia, 물리 AI 확대를 위한 로봇 생태계에 의존

엔비디아의 피지컬 AI(Physical AI) 전략은 GPU 기반 학습 인프라부터 시뮬레이션, 추론 런타임까지 수직 통합된 스택을 통해 로봇이 현실 세계의 물리 법칙을 이해하고 행동하도록 만드는 것이 핵심이다. 기술적으로는 세 개의 컴퓨터 아키텍처(three-computer architecture)에 기반하는데, DGX 클러스터에서 파운데이션 모델(GR00T 등 휴머노이드 기초 모델)을 학습시키고, Omniverse와 Cosmos 월드 파운데이션 모델로 합성 데이터(synthetic data)와 디지털 트윈을 생성해 도메인 랜덤화 기반 강화학습을 수행하며, 최종적으로 Jetson Thor와 같은 엣지 SoC에 정책(policy)을 배포하는 구조다. 즉 Sim-to-Real 격차를 줄이기 위해 PhysX 5 기반의 미분 가능한 물리 시뮬레이션과 RTX 레이트레이싱 기반 센서 시뮬레이션(Isaac Sim)을 조합해, 실제 데이터 수집 비용 없이 수만 시간 분량의 학습 환경을 GPU 병렬로 돌리는 것이 엔비디아가 말하는 "스케일"의 본질이다.

개발자 입장에서 가장 큰 변화는 로보틱스 개발의 진입 장벽이 ROS 기반 저수준 제어 코딩에서 멀티모달 모델 파인튜닝과 데이터 큐레이션 영역으로 옮겨가고 있다는 점이다. 기존에는 매니퓰레이터 한 대를 잡는 데도 IK 솔버, 모션 플래너, 그리퍼 제어를 직접 구현해야 했지만, 이제는 GR00T N1 같은 VLA(Vision-Language-Action) 모델에 시연 데이터 수백 건을 LeRobot 포맷으로 넣어 LoRA 파인튜닝하는 방식이 표준이 되고 있다. 또한 Isaac Lab에서 도메인 랜덤화로 학습한 정책을 Jetson Orin/Thor에 TensorRT로 양자화 배포하는 파이프라인이 사실상 레퍼런스 구현으로 자리잡고 있어, 백엔드/ML 엔지니어가 로보틱스로 진입할 수 있는 폭이 크게 넓어졌다. 산업 현장에서는 폭스콘, BMW, 보스턴 다이내믹스 같은 파트너사들이 이 스택을 채택하면서 "휴머노이드 + 자율이동로봇(AMR)" 조합이 물류·제조 자동화의 차세대 표준 후보로 부상하고 있다.

한국 개발자들이 지금 시점에서 확인해야 할 액션 아이템은 명확하다. 첫째, Hugging Face에 공개된 GR00T N1.5와 Cosmos Predict, Cosmos Reason 모델을 직접 내려받아 자체 데이터로 파인튜닝하는 PoC를 시도해볼 가치가 있다. 라이선스가 NVIDIA Open Model License 또는 상업적 사용이 가능한 조건으로 풀려 있어 실제 제품 적용 검토가 가능하다. 둘째, Isaac Sim 5.0과 Isaac Lab은 USD(Universal Scene Description) 포맷을 중심으로 자산을 관리하므로, 기존 CAD/URDF 자산을 USD로 변환하는 워크플로우를 미리 익혀두는 것이 좋다. 셋째, 단순히 LLM 프롬프트 엔지니어링만 하던 개발자라면 행동 클로닝(behavior cloning), 디퓨전 폴리시(Diffusion Policy), RLHF가 아닌 RL with Physics 같은 로보틱스 ML 기법을 학습 로드맵에 포함할 시점이다. 하드웨어 측면에서는 Jetson Thor(2,070 TFLOPS FP4)가 출시되며 엣지에서 70B급 VLA 모델 추론이 가능해졌으므로, 클라우드 추론에 의존하지 않는 온디바이스 로봇 지능 설계가 현실적인 옵션으로 들어왔다는 점을 염두에 두어야 한다.