인터넷이 기계를 위해 재구성되고 있다

AI 에이전트가 실험 단계를 넘어 프로덕션 환경에 본격적으로 배포되면서, 인터넷 트래픽의 주체가 사람에서 기계로 빠르게 전환되고 있다. AWS는 최근 AgentCore를 통해 에이전트 전용 런타임·메모리·게이트웨이를 분리 제공하고, Cloudflare는 Agents SDK와 AI Gateway, 그리고 봇과 정당한 에이전트 트래픽을 구분하는 Web Bot Auth(HTTP Message Signatures 기반)를 도입했다. 핵심은 기존 사람 중심의 요청 패턴(브라우저 세션, 쿠키, 캡차)이 아니라, 장시간 실행되는 자율 워크플로우·다단계 도구 호출·기계 간 인증(mTLS, signed agents, OAuth scope 확장)을 전제로 인프라를 재설계하는 것이다. 동시에 NLWeb, llms.txt, MCP(Model Context Protocol) 같은 표준이 등장해 웹사이트가 사람용 HTML과 별개로 에이전트가 직접 소비할 수 있는 구조화된 인터페이스를 노출하는 흐름이 가속화되고 있다.

이 변화는 개발자에게 단순한 트래픽 증가 이상의 의미를 가진다. 첫째, 요청당 비용 구조가 달라진다. 에이전트는 한 작업을 위해 수십~수백 회 API를 호출하며 토큰·컴퓨트·대역폭을 동시에 소진하므로, 기존 RPS 기준의 레이트 리미팅과 과금 모델이 무너진다. 둘째, 보안 표면이 확장된다. 프롬프트 인젝션, 도구 오용, 권한 상승이 새로운 OWASP 항목으로 자리잡았고, 에이전트의 신원 검증과 작업 단위 권한 위임(예: 토큰 스코프 다운스코핑)이 필수가 됐다. 셋째, 관측성(observability)의 단위가 '요청'에서 '세션·계획·도구 호출 체인'으로 바뀌면서 OpenTelemetry GenAI semantic conventions, Langfuse, AgentOps 같은 에이전트 전용 트레이싱 스택이 표준으로 자리잡는 중이다.

한국 엔지니어가 지금 점검해야 할 것은 명확하다. 자사 API와 웹사이트가 에이전트 트래픽을 어떻게 식별·허용·과금할지 정책을 세워야 하며, robots.txt만으로는 부족하므로 llms.txt 작성, 구조화 데이터(JSON-LD) 보강, 그리고 정당한 봇을 인증하는 Web Bot Auth 또는 Cloudflare Verified Bots 등록을 검토해야 한다. API 설계 측면에서는 idempotency key, 부분 실패 시 재시도 가능한 작업 분해, 그리고 에이전트가 자체 발견할 수 있는 OpenAPI/MCP 매니페스트 노출이 중요해진다. 백엔드 인프라에서는 long-running 작업을 위한 큐·체크포인트, 토큰 단위 비용 어트리뷰션, 그리고 에이전트별 격리된 샌드박스(Cloudflare Sandbox, AWS Bedrock AgentCore Runtime 등) 도입을 고려할 시점이다.

장기적으로는 '사람용 웹'과 '기계용 웹'이 분기되는 이중 구조가 정착될 가능성이 높다. SEO가 GEO(Generative Engine Optimization)로 확장되고, 광고 모델은 에이전트의 의사결정 경로에 영향을 미치는 새로운 형태로 진화할 것이다. 지금 단계에서 API 게이트웨이, 인증, 관측성, 비용 모델을 에이전트 친화적으로 재설계하지 않으면, 향후 트래픽의 절반 이상을 차지할 기계 사용자에 대해 가시성도 통제권도 잃게 된다는 점이 핵심 시사점이다.