아마존 베드로크 에이전트코어를 활용한 비즈니스 지원 AI 에이전트 구축

Amazon Bedrock AgentCore는 AWS가 프로덕션 환경에서 AI 에이전트를 배포·운영하기 위해 내놓은 매니지드 서비스 묶음으로, 특정 프레임워크에 종속되지 않는다는 점이 핵심이다. LangGraph, CrewAI, Strands Agents 같은 오케스트레이션 라이브러리로 만든 에이전트를 그대로 올릴 수 있고, 서버리스 실행 환경(Runtime), 단기·장기 컨텍스트를 관리하는 Memory, 기존 API·Lambda를 MCP 도구로 노출하는 Gateway, 그리고 호출 추적과 토큰 사용량을 들여다보는 Observability를 제공한다. 이번 사례에서 GenAIIC와 일본 HR 소프트웨어 기업 WHI(Works Human Intelligence)는 이런 빌딩 블록을 조합해 사내 업무 지원용 에이전트 두 개를 구축했고, 그 과정에서 마주친 비용·성능 병목을 풀어 최대 97%의 비용 절감을 달성했다. 여기서 주목할 부분은 "에이전트를 만드는 것"보다 "에이전트를 안정적이고 저렴하게 운영하는 것"이 실제 난제였다는 점이다.

기술적으로 97%라는 비용 절감은 대개 한 가지 마법 같은 트릭이 아니라 여러 최적화의 합산에서 나온다. 모든 요청에 최상위 모델을 쓰지 않고 작업 난이도에 따라 모델을 분기하는 라우팅, 반복되는 시스템 프롬프트와 컨텍스트에 대한 프롬프트 캐싱, 불필요하게 긴 도구 호출 체인을 줄이는 워크플로 재설계, 그리고 검색 단계에서 LLM에 통째로 던지던 데이터를 사전 필터링해 토큰을 줄이는 식의 개선이 전형적이다. AgentCore의 Observability가 중요한 이유가 여기에 있는데, 어느 단계에서 토큰과 지연이 폭증하는지를 측정하지 못하면 이런 최적화는 추측에 그친다. 즉 이 사례의 실질적 교훈은 "에이전트 비용은 측정 가능한 엔지니어링 대상"이며, 관측→병목 식별→모델/캐싱/플로우 조정의 반복 루프로 한 자릿수 퍼센트가 아니라 수십 배 단위의 절감이 가능하다는 것이다.

개발자·엔지니어 입장에서 이 사례가 갖는 의미는 두 가지다. 첫째, 에이전트를 직접 운영 인프라(컨테이너 오토스케일링, 세션 격리, 메모리 스토어, 보안 토큰 관리)부터 쌓아 올리는 대신 매니지드 컴포넌트로 위임하면 운영 부담과 출시 시간을 크게 줄일 수 있다는 점이다. 특히 Gateway를 통해 기존 사내 REST API나 Lambda를 별도 래퍼 없이 MCP 도구로 노출할 수 있어, 레거시 자산을 에이전트가 호출할 수 있는 형태로 빠르게 연결하는 데 유리하다. 둘째, 비용 구조가 인프라 고정비에서 토큰·호출 기반 가변비로 옮겨가기 때문에, 전통적인 백엔드 성능 튜닝과는 다른 감각—프롬프트 길이, 모델 등급 선택, 캐시 적중률, 도구 호출 횟수가 곧 청구서—이 필요하다는 점이다.

당장 챙겨볼 액션은 명확하다. AgentCore 자체는 AWS에 종속적이지만 그 운영 패턴은 어떤 스택에도 이식 가능하므로, 자사 에이전트가 있다면 먼저 단계별 토큰·지연 계측을 붙여 비용 핫스팟을 찾는 것이 출발점이다. 그다음 라우팅(쉬운 질의는 소형 모델), 프롬프트 캐싱, 검색 결과 사전 필터링, 도구 호출 체인 단축 순으로 검증해 절감 폭을 측정하면 된다. AWS 환경을 쓴다면 AgentCore Runtime·Gateway·Observability를 PoC로 얹어 직접 구축 대비 운영 비용과 개발 속도를 비교해볼 가치가 있다. 다만 97%라는 수치는 WHI의 특정 워크로드와 최적화 이전 베이스라인에 묶인 결과이므로, 자사 워크로드의 호출 패턴과 모델 구성에 따라 절감 효과는 달라진다는 점을 전제로 접근하는 것이 안전하다.