AMD, 협동 AI 시대의 AI PC 비전 제시

AMD는 Ryzen AI 시리즈를 중심으로 CPU, GPU, NPU(Neural Processing Unit)를 통합한 XDNA 아키텍처를 PC 플랫폼에 이식하고 있다. NPU는 행렬 연산에 특화된 전용 가속기로, CPU 대비 와트당 성능이 훨씬 높아 로컬 LLM 추론, 실시간 음성/영상 처리, 이미지 생성 같은 워크로드를 저전력으로 상시 구동할 수 있게 한다. 특히 "에이전틱 AI(Agentic AI)" 시대를 대비해 단순 프롬프트 응답을 넘어 화면 인식, 도구 호출, 자율적 작업 수행까지 로컬에서 처리하는 것을 목표로 하고 있으며, 이는 Microsoft의 Copilot+ PC 기준(40 TOPS 이상 NPU)과도 맞닿아 있다. 클라우드 API 호출 없이 온디바이스에서 추론이 끝나므로 지연 시간, 데이터 프라이버시, 비용 측면에서 클라우드 중심 아키텍처와는 근본적으로 다른 실행 환경을 제공한다.

개발자 입장에서 이 변화는 단순히 "더 빠른 노트북"이 아니라 배포 타깃 자체가 바뀌는 것을 의미한다. 지금까지 LLM 기반 기능은 대부분 OpenAI/Anthropic API를 호출하는 서버사이드 로직으로 구현됐지만, 앞으로는 사용자 PC의 NPU에서 직접 7B~13B급 모델을 돌리는 하이브리드 아키텍처가 현실적인 선택지가 된다. AMD는 이를 위해 Ryzen AI Software 스택과 ONNX Runtime EP, DirectML, 그리고 Hugging Face와 협업한 사전 양자화 모델 저장소를 제공한다. 에이전트형 앱을 만든다면 툴 호출 루프, 컨텍스트 관리, MCP(Model Context Protocol) 같은 로컬 오케스트레이션 설계가 핵심 역량이 되며, 민감 데이터를 다루는 B2B SaaS에서는 "온프레미스가 아니라 엔드포인트 디바이스에서 추론"이라는 새로운 배포 옵션을 제안할 수 있다.

한국 엔지니어가 당장 챙겨야 할 포인트는 세 가지다. 첫째, 모델 경량화/양자화(INT4, INT8, AWQ 등) 역량은 더 이상 연구 영역이 아니라 일반 애플리케이션 개발자에게도 요구되는 필수 스킬이 된다. 둘째, 하드웨어 추상화를 염두에 두고 코드를 작성해야 한다. AMD XDNA, Intel AI Boost, Apple Neural Engine, Qualcomm Hexagon이 각기 다른 런타임을 쓰므로 ONNX Runtime, DirectML, WebNN처럼 벤더 중립적인 레이어를 택하는 쪽이 유지보수에 유리하다. 셋째, 사내 업무 자동화나 개발 툴(코드 어시스턴트, 문서 요약, 회의록 처리)을 기획 중이라면 "클라우드 토큰 비용 0원 + 사내 데이터 유출 제로"라는 온디바이스 옵션을 PoC 단계에서 반드시 검토해볼 만하다. 하드웨어 구매 시에는 NPU TOPS 수치, 지원 프레임워크, 메모리 대역폭(특히 통합 메모리 구조에서 중요)을 스펙 시트에서 확인하는 습관을 들이는 것이 좋다.