아마존 사가메이커 AI, 최적화된 생성형 AI 추론 추천 지원

Amazon SageMaker AI가 새롭게 제공하는 "최적화된 생성형 AI 추론 추천(Optimized Generative AI Inference Recommendations)" 기능은 LLM과 같은 대규모 생성형 모델을 배포할 때 가장 까다로운 문제 중 하나인 "어떤 인스턴스 타입에, 어떤 설정으로 서빙할 것인가"를 자동화해 준다. 기존에는 개발자가 직접 g5, p4d, inf2, Trn1 등 다양한 GPU/가속기 인스턴스를 대상으로 배치 크기(batch size), 텐서 병렬화(tensor parallelism), KV 캐시 설정, 컨테이너 이미지(TGI, vLLM, LMI 등)를 조합해 벤치마크를 수행해야 했고, 이 과정은 수 시간에서 수일이 걸리는 반복 작업이었다. 이번 기능은 SageMaker가 대표 모델군에 대해 사전 검증된(validated) 배포 구성과 함께 지연시간(latency), 처리량(throughput), 토큰당 비용 같은 성능 지표를 함께 제공하여, 별도 로드 테스트 없이도 요구 SLA에 맞는 최적 구성을 바로 선택할 수 있게 한다.

내부적으로는 SageMaker Inference Recommender의 생성형 AI 특화 확장으로 볼 수 있다. 전통적인 Inference Recommender가 범용 ML 모델의 엔드포인트 사이징에 초점을 맞췄다면, 이번 업데이트는 생성형 워크로드의 특수성 — 입력/출력 토큰 길이에 따른 비대칭적 리소스 사용, 프롬프트 프리필(prefill)과 디코드(decode) 단계의 연산 특성 차이, 연속 배칭(continuous batching)에 의한 동시 요청 처리 효율 — 을 반영한 벤치마크 프로파일을 기반으로 최적 구성을 산출한다. 결과적으로 엔지니어는 "이 모델을 TTFT 200ms, p99 지연 2초 이내로 서빙하려면 어떤 인스턴스에 몇 대 필요한가"에 대한 답을 콘솔이나 SDK 호출 한 번으로 얻을 수 있으며, 이는 인프라 튜닝 전문성이 부족한 모델 개발자에게 특히 큰 도움이 된다.

현업 관점에서의 영향은 명확하다. 첫째, 생성형 AI 서비스의 Time-to-Production이 단축된다. PoC 단계에서 "어떤 구성이 비용 대비 효율적인가"를 검증하기 위해 투입되던 인프라 엔지니어링 공수가 크게 줄어들어, MLOps 팀이 더 빠르게 프로덕션 배포에 도달할 수 있다. 둘째, 비용 최적화 관점에서 과잉 프로비저닝을 예방할 수 있다. 많은 팀이 안전을 위해 p4d/p5 같은 고가 인스턴스를 선택하지만, 실제로는 inf2나 g6e 계열로도 충분한 워크로드가 적지 않은데, 추천 지표를 통해 이런 판단을 데이터 기반으로 내릴 수 있게 된다. 셋째, 자체 구축한 서빙 스택(Ray Serve, KServe, 직접 작성한 Triton 기반 파이프라인 등)을 운영하는 팀에게는 AWS 네이티브 생태계의 매력도가 한층 높아지는 요인이 된다.

한국 엔지니어가 취해야 할 액션은 크게 세 가지다. 먼저 자사에서 사용 중인 Llama, Mistral, Qwen 등 공개 모델이 추천 대상 모델 리스트에 포함되어 있는지 확인하고, 포함되어 있다면 기존 배포 구성과 SageMaker가 제시하는 구성의 지표를 비교 검증해 볼 필요가 있다. 커스텀 파인튜닝 모델을 사용 중이라면 베이스 모델의 추천 결과를 출발점으로 삼고, 자체 트래픽 패턴(평균/최대 토큰 길이, 동시 요청 수)으로 추가 검증을 수행하는 것이 안전하다. 마지막으로 이 기능은 어디까지나 "시작점"이라는 점을 기억해야 한다. 실제 프로덕션에서는 요청 분포의 장기 변동, 모델 업데이트 주기, 멀티테넌시 요구사항에 따라 구성을 재조정해야 하므로, 추천 결과를 맹신하기보다는 관측 가능한 지표(CloudWatch, 커스텀 토큰 메트릭)와 결합한 지속적 튜닝 프로세스를 구축하는 것이 핵심이다.