아마존 사가메이커 AI 엔드포인트에서의 LLM 추론을 위한 포괄적인 관측성: GPU 사용률부터 LLM 품질까지

Amazon SageMaker AI 엔드포인트에서 LLM을 서빙할 때 가장 까다로운 문제는 "GPU 사용률 같은 인프라 지표"와 "응답 품질·지연 같은 모델 지표"가 서로 다른 도구에 흩어져 있다는 점입니다. 이번 솔루션은 Amazon Managed Grafana 대시보드를 중심으로 이 둘을 하나의 화면에서 통합 관찰합니다. 동작 원리는 크게 세 층으로 나뉩니다. 먼저 SageMaker의 inference component(하나의 엔드포인트에 여러 모델을 배치하고 GPU를 분할·공유하는 단위)에서 CloudWatch와 Container Insights를 통해 GPU 활용률, 메모리, 토큰 처리량(throughput), TTFT(첫 토큰까지 시간), 토큰당 지연 같은 정량 지표를 수집합니다. 여기에 LLM-as-a-judge 방식이나 임베딩 기반 평가로 응답의 정확성·관련성·환각 여부 같은 정성 지표를 산출해 Prometheus 호환 메트릭으로 내보내고, Managed Grafana가 이를 시계열로 시각화합니다. 즉 "GPU가 얼마나 일하는가"와 "그 결과물이 쓸 만한가"를 같은 타임라인 위에 겹쳐 보는 구조입니다.

엔지니어 입장에서 실질적인 효과는 비용과 품질을 동시에 근거 기반으로 다룰 수 있게 된다는 데 있습니다. 기존에는 GPU가 놀고 있는데도 인스턴스를 과하게 띄워 비용을 낭비하거나, 반대로 트래픽이 몰릴 때 KV 캐시 부족으로 지연이 튀는 상황을 사후에야 알아차리는 경우가 많았습니다. 통합 대시보드가 있으면 inference component별 GPU 사용률과 토큰 처리량을 보고 오토스케일링 임계치나 컴포넌트 배치를 정밀하게 조정할 수 있고, 동시에 품질 지표가 특정 배포·프롬프트 버전 이후로 떨어지는지를 회귀(regression) 관점에서 추적할 수 있습니다. 특히 한국 팀들이 자주 겪는 "비용 절감 압박 vs 사용자 체감 품질 유지"의 트레이드오프를, 추측이 아니라 한 화면의 지표로 의사결정할 수 있다는 점이 큽니다.

개발자가 실무에서 알아둘 점은 이 관찰성 체계가 단순한 모니터링이 아니라 LLMOps의 핵심 피드백 루프라는 것입니다. 우선 inference component 단위로 메트릭을 쪼개야 멀티모델 엔드포인트에서 어느 모델이 GPU를 잡아먹는지, 어디서 지연이 발생하는지 구분이 가능하므로 처음부터 컴포넌트 기준으로 대시보드를 설계하는 것이 좋습니다. 또 품질 평가에 LLM-as-a-judge를 쓰면 평가용 LLM 호출 비용과 지연이 추가로 발생하므로, 전수 평가 대신 샘플링하거나 비동기로 분리하는 설계를 고려해야 합니다. 마지막으로 TTFT·토큰당 지연·throughput 같은 지표는 SLO로 명문화해 알람과 연결하고, 품질 지표 하락을 배포 게이트나 롤백 트리거로 활용하면 단순 시각화를 넘어 실제 운영 자동화로 확장할 수 있습니다. AWS 환경이 아니더라도 "정량(인프라)과 정성(품질)을 한 타임라인에서 본다"는 이 접근법 자체는 모든 LLM 서빙 스택에 적용해볼 만한 패턴입니다.