용량 기반 추론: SageMaker AI 엔드포인트의 자동 인스턴스 대체

Amazon SageMaker AI가 새롭게 도입한 capacity-aware instance pool은 GPU 인스턴스 부족 문제를 자동으로 해결하기 위한 폴백(fallback) 메커니즘이다. 기존에는 추론 엔드포인트를 생성하거나 스케일 아웃할 때 특정 인스턴스 타입(예: ml.g5.xlarge)이 리전 내에서 capacity가 부족하면 `InsufficientInstanceCapacity` 오류가 발생하며 배포가 실패하거나 트래픽 처리가 지연되는 문제가 있었다. 이번 기능은 사용자가 우선순위가 매겨진 인스턴스 타입 리스트(예: ml.g5.2xlarge → ml.g6.2xlarge → ml.g4dn.2xlarge)를 정의해두면, SageMaker가 엔드포인트 생성, 스케일 아웃, 스케일 인 시점마다 리스트를 순회하며 가용한 첫 번째 인스턴스로 자동 프로비저닝한다. Single Model Endpoint, Inference Component 기반 엔드포인트, Asynchronous Inference 엔드포인트 모두에서 동작하기 때문에 LLM 서빙이나 멀티모델 배포 환경에 광범위하게 적용 가능하다.

실무 관점에서 이 기능은 GenAI 서비스 운영의 가장 큰 골칫거리였던 GPU 가용성 리스크를 상당 부분 완화한다. 특히 H100/A100 같은 고성능 GPU는 리전별 수급이 불안정해서, 트래픽 폭주 시 오토스케일링이 트리거되어도 capacity 부족으로 스케일링이 실패해 SLA를 깨뜨리는 사고가 빈번했다. 그동안 개발팀은 CloudWatch 알람 + Lambda로 직접 대체 인스턴스를 시도하는 우회 로직을 구축하거나, 멀티 리전 배포로 비용을 늘려가며 대응했지만, 이제 SageMaker 자체에서 폴백을 처리하므로 운영 코드가 단순해지고 MTTR(평균 복구 시간)이 줄어든다. 또한 스케일 인 시에도 우선순위 기반으로 동작하기 때문에, 비용이 높은 인스턴스를 먼저 회수하고 저비용 대체 인스턴스로 통합하는 전략도 가능해진다.

한국 개발자가 실제로 적용할 때는 몇 가지 주의사항이 있다. 첫째, 인스턴스 타입 간 GPU 메모리와 컴퓨팅 성능 차이를 고려해 모델이 모든 폴백 후보에서 정상 동작하는지 사전 검증해야 한다(예: 24GB GPU에서 동작하는 모델이 16GB 폴백에서는 OOM이 날 수 있음). 둘째, 인스턴스 타입에 따라 시간당 단가와 처리량(throughput)이 달라지므로, 폴백이 발생했을 때의 비용 변동과 레이턴시 변화를 모니터링하는 대시보드를 별도로 구성하는 것이 좋다. 셋째, 서울 리전(ap-northeast-2)은 미국 리전 대비 GPU 인스턴스 종류가 제한적이므로, 폴백 리스트를 구성할 때 실제로 해당 리전에서 제공되는 타입인지 `aws sagemaker list-...` 또는 가격 페이지로 확인이 필요하다. 추가 비용 없이 활성화 가능한 기능이므로, 프로덕션 추론 엔드포인트를 운영 중이라면 EndpointConfig 업데이트를 통해 우선 도입을 검토할 만한 가치가 있다.