AI 경제의 5명의 아키텍트가 시스템의 문제점을 설명하다

밀켄 글로벌 컨퍼런스에서 AI 공급망 전반을 다루는 다섯 명의 핵심 인물들이 모여 현재 AI 경제의 구조적 문제점을 논의했다. 이들이 짚은 핵심 이슈는 크게 세 가지로 정리된다. 첫째는 GPU 칩 공급 부족 문제로, NVIDIA H100/H200 같은 고성능 가속기에 대한 수요가 공급을 압도적으로 초과하면서 학습·추론 비용이 천정부지로 치솟고 있다. 둘째는 데이터센터의 전력·냉각 한계로, 일부 기업들이 궤도 데이터센터(orbital data centers) 같은 우주 기반 인프라까지 진지하게 검토하는 수준에 이르렀다. 셋째는 더 근본적인 질문으로, 현재 트랜스포머 기반의 거대 모델 아키텍처 자체가 잘못된 방향일 수 있다는 회의론이다. 모델 파라미터를 무한정 늘리는 스케일링 법칙(scaling law)이 비용 대비 효율성에서 한계에 부딪히고 있다는 신호가 곳곳에서 감지되고 있다.

개발자 입장에서 이러한 균열은 매우 실질적인 영향을 미친다. 우선 클라우드 GPU 인스턴스 가격 인상과 할당 지연이 일상화되면서, 단순히 "OpenAI/Anthropic API를 쓰면 끝"이라는 접근은 비용 통제 측면에서 위험해지고 있다. 프롬프트 캐싱, 배치 추론, 컨텍스트 압축, 더 작은 모델로의 라우팅(model routing) 같은 최적화 기법이 선택이 아닌 필수가 되는 흐름이다. 또한 전력 제약은 엣지 추론(on-device inference)과 양자화(quantization, INT8/INT4) 기술의 중요성을 끌어올리고 있으며, Mamba·State Space Model 같은 비(非)트랜스포머 아키텍처에 대한 연구 투자도 확대되고 있다. 한국 개발자 생태계에서도 네이버 HyperCLOVA X, 카카오 Kanana 등이 sLLM 전략으로 선회한 배경에는 이러한 글로벌 인프라 압박이 있다.

엔지니어가 지금 당장 취해야 할 액션은 명확하다. 첫째, 자신의 AI 워크로드에 대한 토큰당 비용(cost per token)과 지연시간(latency) 메트릭을 반드시 측정·모니터링하라. 둘째, 단일 모델 종속(vendor lock-in)을 피하고 LiteLLM·OpenRouter 같은 추상화 레이어로 모델 교체 가능성을 확보하라. 셋째, 작업 복잡도에 따라 Haiku/Mini/Flash 같은 소형 모델과 Opus/GPT-5/Gemini Ultra 같은 대형 모델을 분기 처리하는 라우팅 로직을 도입하라. 넷째, RAG·파인튜닝·프롬프트 엔지니어링 중 어떤 접근이 가장 비용 효율적인지 PoC 단계에서 비교 검증하라. 무엇보다 "더 큰 모델이 항상 답"이라는 가정에서 벗어나, 작업별 최적 모델·아키텍처를 선택하는 안목이 향후 2~3년 내 시니어 엔지니어의 핵심 역량이 될 것이다.