SageMaker AI 모델과 MLflow를 활용한 Strands Agents 에이전트 구축

Strands Agents SDK는 AWS가 공개한 오픈소스 에이전트 프레임워크로, 모델·도구·프롬프트를 코드 한 곳에서 선언적으로 묶어 에이전트를 구성할 수 있게 해준다. 이번 사례는 OpenAI나 Bedrock 관리형 모델 대신 SageMaker JumpStart에서 가져온 파운데이션 모델을 SageMaker AI 엔드포인트에 배포하고, 그 엔드포인트를 Strands의 모델 프로바이더로 연결해 추론을 수행하는 구조다. 여기에 SageMaker Serverless MLflow를 트레이싱 백엔드로 붙여 에이전트의 매 단계(LLM 호출, 도구 실행, 토큰 사용량, 레이턴시)를 OpenTelemetry 기반 스팬으로 기록하고, MLflow의 실험·평가 기능을 통해 여러 모델 변형 사이의 A/B 테스트와 정량 평가까지 한 사이클로 묶는다는 점이 핵심이다.

실무 관점에서 이 조합은 "관리형 에이전트 서비스에 락인되지 않으면서도 운영 가시성을 확보"하는 현실적 절충안이다. 자체 VPC 안의 SageMaker 엔드포인트를 쓰기 때문에 데이터 거버넌스와 비용 통제가 명확해지고, 같은 인프라에서 Llama·Mistral·Qwen 같은 오픈모델을 돌려 도메인 파인튜닝까지 이어갈 수 있다. 동시에 MLflow가 에이전트 트레이스의 "프로덕션 옵저버빌리티 표준" 역할을 맡기 시작했다는 신호이기도 하다. 그동안 LangSmith·Langfuse·Arize 같은 별도 SaaS에 의존해야 했던 트레이스/평가 파이프라인을 사내 MLflow 한 곳으로 통합할 수 있어, 모델 실험과 에이전트 운영을 같은 메타데이터 그래프 위에서 다룰 수 있다는 점이 운영팀에 큰 의미가 있다.

한국 개발자가 바로 챙겨야 할 포인트는 세 가지다. 첫째, Strands Agents SDK는 Bedrock 외에도 SageMaker·Ollama·LiteLLM 등 다양한 백엔드를 지원하므로, "에이전트 프레임워크 = 특정 클라우드 모델"이라는 가정을 버리고 모델 추상화 레이어로 다시 설계하는 것이 좋다. 둘째, MLflow 3.x의 GenAI 트레이싱 스키마는 OpenInference·OpenTelemetry GenAI 시맨틱과 정렬되고 있으므로, 자사 LLM 게이트웨이/사이드카에서 발생하는 스팬도 같은 스키마로 표준화해두면 향후 평가·비용 분석 도구를 갈아끼우기 쉽다. 셋째, A/B 평가는 단순 정확도 비교가 아니라 "동일 트래픽 샘플에 대한 도구 호출 성공률, p95 레이턴시, 토큰 비용"을 함께 봐야 의미가 있으므로, MLflow 평가 메트릭을 도입할 때 이 세 축을 데이터셋 단위로 라벨링해두는 작업을 사전에 해두는 것을 권한다.