AI 칩 분야 또 다른 급转弯, 메타, 수백만 개의 아마존 AI CPU 계약 체결

메타가 아마존의 자체 개발 CPU인 Graviton 시리즈(ARM 기반 커스텀 실리콘)를 대규모로 확보한 이 계약은 AI 인프라 경쟁의 축이 GPU 일변도에서 벗어나고 있음을 보여주는 신호탄이다. 그동안 AI 워크로드는 엔비디아 GPU가 독점하다시피 했지만, "agentic AI"—즉 LLM 추론 자체보다 도구 호출, 오케스트레이션, 상태 관리, API 연동, 검색/RAG 파이프라인 같은 주변 처리가 훨씬 많은 워크로드—는 GPU에 올리면 오히려 비효율적이다. 이런 작업의 대부분은 I/O 바운드이거나 경량 연산이라 고전력·고가의 GPU보다 전력 효율이 좋은 ARM CPU가 TCO(총소유비용) 측면에서 유리하다. Graviton은 AWS가 자체 설계해 마진 없이 원가 수준으로 운용할 수 있는 칩이며, 메타가 수백만 개 단위로 확보했다는 것은 에이전트 기반 서비스의 "백엔드 플레인"을 GPU가 아닌 CPU로 구성하겠다는 명확한 아키텍처 선언이다.

개발자·엔지니어 입장에서 이 변화가 주는 실질적 영향은 적지 않다. 첫째, AI 서비스 아키텍처가 "GPU 추론 서버 + 얇은 CPU 레이어"에서 "풍부한 ARM CPU 플릿 + 필요한 순간에만 호출하는 GPU 풀"로 재편되고 있다. 즉 LangChain/LangGraph, AutoGen, CrewAI 같은 에이전트 프레임워크가 도는 런타임, 벡터 검색, 프롬프트 캐싱, 툴 실행 샌드박스는 ARM CPU에서 돌리는 것이 표준이 되어간다. 둘째, x86 전제 하에 작성된 Docker 이미지, 네이티브 바이너리 의존성(특히 `numpy`, `pandas`, `onnxruntime`, `llama.cpp`, `faiss` 등), Node/Python 확장 모듈은 ARM64 빌드가 필수이며 멀티 아키텍처 이미지(`buildx`, `--platform=linux/arm64`) 전략을 갖추지 못하면 성능 손해가 아니라 아예 배포가 막히는 상황이 생긴다. 셋째, 한국의 클라우드 비용 최적화 관점에서도 Graviton 인스턴스(C7g, M7g, R7g 등)는 동급 x86 대비 20~40% 저렴하므로, AI 에이전트 백엔드를 운영하는 팀이라면 단순한 비용 절감이 아니라 경쟁력 차원의 선택지가 된다.

개발자가 지금 당장 점검해야 할 것은 크게 세 가지다. (1) 현재 운영 중인 AI 파이프라인에서 "실제로 GPU가 필요한 구간"과 "관성으로 GPU에 올라가 있는 구간"을 분리해 프로파일링할 것. 오케스트레이터, 프롬프트 전처리, 결과 후처리, 평가(eval) 루프는 대부분 ARM CPU로 이관 가능하다. (2) CI/CD 파이프라인에 ARM64 빌드와 테스트 매트릭스를 추가하고, 의존성 패키지가 `manylinux2014_aarch64` wheel을 제공하는지 미리 확인할 것—특히 사내에서 자주 쓰는 ML/데이터 라이브러리의 특정 버전 고정(pinning)이 ARM에서 깨지는 경우가 많다. (3) 추론 엔진 선택을 다시 생각할 것. vLLM·TGI처럼 GPU 전제인 엔진과 별개로, 경량 모델이나 임베딩·리랭커는 llama.cpp, ONNX Runtime, Ollama의 ARM 최적화 빌드로 CPU에서 충분히 서빙 가능하며, 이는 에지/온프레미스 전략과도 직결된다.

결국 이번 계약이 시사하는 본질은 "AI = GPU"라는 등식이 깨지고 있다는 점이다. 모델 학습과 초대규모 추론은 여전히 GPU/전용 가속기의 영역이지만, AI 제품의 99%를 구성하는 에이전트 런타임·데이터 플레인·서비스 레이어는 전력 효율이 좋은 커스텀 실리콘으로 빠르게 이동 중이다. 한국 개발팀 역시 "멀티 아키텍처 기본, x86은 예외"라는 마인드셋 전환과 함께, 애플리케이션 계층에서 ARM 친화적 설계(동적 링크 의존성 최소화, 컨테이너 이미지 표준화, 아키텍처 중립적 빌드 스크립트)를 지금부터 준비해 두어야 향후 2~3년의 인프라 비용 경쟁에서 뒤처지지 않을 것이다.