구글, AI 에이전트 처리 능력 검사 위한 '에이전트 브라우징' 실험 도입

Google이 Lighthouse 분석 도구에 "Agentic Browsing"이라는 새로운 실험적 카테고리를 추가하면서, 웹사이트가 AI 에이전트의 접근을 얼마나 잘 지원하는지 측정하기 시작했습니다. 이 감사 항목의 핵심은 `llms.txt` 파일의 존재 여부와 구성을 검증하는 것입니다. `llms.txt`는 robots.txt나 sitemap.xml과 유사한 개념으로, 사이트 루트에 두는 마크다운 형식의 파일이며 LLM과 AI 에이전트가 사이트의 핵심 콘텐츠와 구조를 빠르게 파악할 수 있도록 요약·링크·메타정보를 제공합니다. HTML이 사람을 위한 렌더링에 최적화되어 있는 반면, llms.txt는 토큰 효율적인 텍스트로 핵심 정보를 노출해 AI가 불필요한 네비게이션·광고·스크립트를 건너뛰고 의미 있는 데이터에 즉시 접근하도록 돕습니다. Google이 이를 Lighthouse 표준 감사에 편입했다는 것은, 향후 AI 친화성이 페이지 성능·접근성·SEO와 동급의 품질 지표가 될 가능성을 시사합니다.

개발자 입장에서 이 변화의 의미는 SEO의 패러다임 전환과 직결됩니다. 기존의 검색 트래픽이 키워드·백링크·Core Web Vitals 중심이었다면, ChatGPT·Perplexity·Gemini·Claude 같은 AI 에이전트가 정보의 1차 소비자로 부상하면서 "AI에게 잘 보이는 사이트"가 새로운 경쟁력이 되고 있습니다. 특히 Google이 자사 Gemini 에이전트와 향후 Agentic Search에 활용할 신호로 Lighthouse 점수를 사용할 가능성이 있어, 개인 블로그·기술 문서·SaaS 랜딩페이지·이커머스 사이트 모두 AI 에이전트의 크롤링과 파싱 효율을 의식해야 하는 상황입니다. 또한 React/Vue 같은 SPA 기반 사이트에서 CSR로 렌더링되는 콘텐츠는 AI 에이전트가 제대로 추출하지 못하는 경우가 많아, llms.txt를 통해 핵심 콘텐츠를 별도로 큐레이션해 제공하는 전략의 중요성이 커지고 있습니다.

실무적으로는 먼저 사이트 루트에 `/llms.txt`를 배치하는 것부터 시작할 수 있습니다. 파일에는 사이트의 목적, 주요 섹션, 핵심 문서 URL 목록을 간결한 마크다운으로 작성하며, 상세 버전인 `llms-full.txt`로 전체 콘텐츠의 텍스트 덤프를 함께 제공하는 패턴도 확산되고 있습니다. Anthropic·Cloudflare·Vercel·Stripe 같은 주요 기술 기업들은 이미 자사 문서 사이트에 llms.txt를 도입해 사실상의 표준으로 자리잡는 분위기입니다. 이와 함께 시맨틱 HTML 강화, JSON-LD 구조화 데이터 보강, 페이지의 핵심 내용을 SSR로 노출하기, robots.txt에 AI 크롤러(GPTBot, ClaudeBot, Google-Extended 등) 정책 명시 등을 병행하면 효과적입니다. 다만 llms.txt는 아직 공식 표준이 아닌 커뮤니티 제안 단계이므로, Google의 이번 움직임이 사실상의 표준화를 가속화할지 주시하면서 자사 콘텐츠 노출 정책(특히 학습 데이터 제공 여부)과 함께 신중하게 결정할 필요가 있습니다.