다음 AI 쿼리가 전력이 있는 곳으로 이동할 수 있을까?

엔비디아가 InfraPartners, Prologis, EPRI와 함께 추진하는 이번 파일럿은 5~20MW급 소형 데이터센터 약 25개를 미국 내 5개 전력회사의 변전소 옆에 배치하고, 이들을 하나의 거대한 컴퓨팅 풀처럼 묶어 운영하는 "분산 추론(distributed inference)" 아키텍처다. 핵심 아이디어는 미국 전력망이 평균 53% 가동률에 머물고 변전소마다 평균 5MW의 유휴 전력이 있다는 점을 활용해, 특정 변전소가 과부하·정전 상태에 빠지면 여유 있는 변전소 인근 데이터센터로 워크로드를 동적으로 이동시키는 것이다. 이 방식이 가능한 이유는 워크로드 특성에 있다. 학습(training)은 16,000개 GPU가 NVLink/InfiniBand로 긴밀히 연결되어 매 스텝마다 모든 모델 가중치를 동기화해야 하지만, 추론(inference)은 단일 쿼리 단위로 처리되며 백프로파게이션이 없어 GPU 간 고속 인터커넥트 의존도가 낮다. 즉, 추론은 본질적으로 "지리적으로 분산해도 되는 워크로드"이며, 그래서 전력이 있는 곳을 따라 컴퓨팅이 이동할 수 있다.

개발자 입장에서 이 흐름이 의미하는 바는 명확하다. 앞으로 추론 API 호출은 "가장 가까운 리전"이 아니라 "지금 가장 전력이 싼/여유 있는 변전소"로 라우팅될 수 있다. 이는 클라우드 리전 기반 latency 모델이 흔들린다는 뜻이다. 같은 us-east-1 안에서도 요청이 어느 마이크로 데이터센터에 떨어지느냐에 따라 콜드 스타트, 캐시 적중률, p99 지연이 달라질 수 있다. EPRI는 워크로드 이동이 전체 시간의 0.1% 수준일 것으로 추정하지만, 이미지 생성처럼 즉답이 필요한 인터랙티브 추론에서는 그 0.1%가 사용자 체감에 직격탄이 된다. 또한 2027년 추론 수요 폭증 시점에 맞춰 전력-가격 연동 가격 정책(피크 시간대에 비싼 추론 토큰)이 등장할 가능성도 높다. 데이터센터 전력 확보 대기 기간이 최대 10년에 달하는 상황에서, 마이크로 데이터센터는 추론 인프라가 확장되는 거의 유일한 현실적 경로이기 때문이다.

실무적으로 점검해야 할 것은 세 가지다. 첫째, 추론 서비스 아키텍처에서 "리전 고정(region pinning)" 가정을 재검토하자. KV 캐시, 세션 상태, 사용자 컨텍스트가 특정 노드에 묶여 있다면 동적 라우팅 환경에서 성능이 급락한다. 캐시를 외부 저장소(Redis, S3 등)로 분리하고 stateless하게 설계하거나, 세션 affinity와 마이그레이션 비용을 명시적으로 모델링해야 한다. 둘째, 모델 서빙 최적화—양자화(INT8/FP4), 모델 증류, vLLM/TensorRT-LLM 같은 추론 엔진 활용—의 가치가 더 커진다. 5~20MW급 소형 시설에서 돌릴 수 있는 모델은 H100 수천 장이 박힌 하이퍼스케일 시설보다 제약이 크기 때문이다. 셋째, 데이터 주권·규제(GDPR, 국내 개인정보보호법)에 민감한 워크로드라면 "전력 따라 이동하는 추론"이 컴플라이언스 리스크를 만들 수 있다. 한국 서비스의 경우 글로벌 LLM API의 라우팅 정책이 어떻게 변하는지, 그리고 국내에서도 변전소 기반 마이크로 데이터센터 모델이 한전·SK·KT 같은 사업자와 결합해 등장할 가능성을 추적해 둘 필요가 있다.