펜타곤, 라이벌 AI 업체와 계약 체결해 분류된 네트워크에 AI 도입

미국 국방부(DOD)가 Nvidia, Microsoft, AWS와 기밀(classified) 네트워크에서 AI를 운용하기 위한 계약을 체결했습니다. 기밀망은 일반적으로 SIPRNet(비밀)이나 JWICS(1급 비밀) 같은 air-gapped 환경으로, 외부 인터넷과 물리적으로 분리되어 있어 일반 클라우드 AI 서비스를 그대로 쓸 수 없습니다. 따라서 이번 계약의 핵심은 GPU 하드웨어(Nvidia H100/H200, Blackwell 등)와 Azure Government Secret/Top Secret, AWS Secret Region 같은 격리된 클라우드 리전에 LLM을 온프레미스 또는 sovereign cloud 형태로 배포하는 것입니다. 모델 가중치, 추론 파이프라인, RAG용 벡터 DB까지 모두 분류된 데이터센터 안에서 동작해야 하며, FedRAMP High·IL5/IL6 같은 보안 인증과 FIPS 140-3 암호화 모듈이 필수로 요구됩니다.

배경에는 Anthropic과의 사용 약관 분쟁이 있습니다. Anthropic은 자사 AUP(Acceptable Use Policy)에서 국내 감시·특정 군사적 용도를 제한하고 있어 DOD가 단일 벤더 락인을 피하고 멀티 벤더 전략으로 선회한 것으로 보입니다. 이는 개발자에게 두 가지 시사점을 줍니다. 첫째, **모델 사용 정책(AUP/ToS)이 곧 아키텍처 결정 요소**라는 점입니다. OpenAI, Anthropic, Google 등 각 벤더의 금지 사용 사례가 다르므로, 엔터프라이즈/공공 도메인 프로젝트에서는 모델 어댑터 레이어를 추상화해 벤더 교체가 가능하도록 설계해야 합니다. 둘째, **on-prem/sovereign LLM 수요 폭증**입니다. Llama 3.3, Mixtral, DeepSeek 같은 오픈웨이트 모델을 vLLM·TensorRT-LLM으로 서빙하는 역량과 GPU 클러스터 운영 노하우(Kubernetes + NVIDIA GPU Operator, NCCL 튜닝)가 시장 가치를 갖게 됩니다.

한국 개발자 입장에서도 이 흐름은 직접적인 영향이 있습니다. 국정원 CSAP, 금융권 망분리, 국방 사이버사령부 등 한국에서도 폐쇄망 AI 도입이 가속화될 가능성이 높고, 실제로 네이버클라우드의 뉴로클라우드, KT의 믿:음, 삼성SDS의 FabriX 등이 같은 방향을 추구하고 있습니다. 따라서 RAG 파이프라인을 설계할 때 **외부 API 의존성을 분리**하고(예: LangChain의 BaseLLM 인터페이스 활용), 임베딩·리랭커·LLM을 모두 로컬에서 교체 가능한 구조로 만드는 것이 안전합니다. 또한 Nvidia NIM 마이크로서비스 같은 컨테이너화된 추론 런타임이 표준이 되어가고 있으니, OCI 이미지 기반 모델 배포 워크플로우(Triton Inference Server, NIM, Ray Serve)에 익숙해지는 것이 실무 경쟁력으로 이어질 것입니다.

마지막으로 보안·컴플라이언스 관점에서 챙겨야 할 액션 아이템이 있습니다. 모델 가중치 자체가 기밀 자산이 되므로 **공급망 보안(SBOM, model card, 가중치 무결성 검증)**, 추론 로그의 데이터 분류(spillage 방지), 프롬프트 인젝션을 통한 정보 유출 방지 가드레일(NeMo Guardrails, Llama Guard 등) 구축이 필수가 됩니다. 또한 GPU 자원 자체가 수출 통제(EAR) 대상이라 H200/B200 도입 일정을 사전에 검토해야 하며, 한국 엔지니어는 KISA 클라우드보안인증, ISO/IEC 42001(AI 경영시스템) 같은 표준을 미리 학습해두면 향후 공공·금융 AI 프로젝트 수주 시 유리합니다. 단순히 "ChatGPT API 잘 쓰는 개발자"에서 "폐쇄망에서 LLM을 안전하게 운영할 수 있는 엔지니어"로 역량을 확장할 시점입니다.