AI 검색 에이전트는 실제 연구보다 기존 지식을 확인하는 경향

LiveBrowseComp는 하얼빈공과대학 연구진이 만든 시간 기반 벤치마크로, 최근 90일 이내에 발생한 사건만 질문한다는 점이 핵심이다. 기존의 웹 검색 에이전트 평가 벤치마크(예: BrowseComp 등)는 이미 모델 학습 데이터에 포함됐을 법한 '확립된' 지식을 묻는 경우가 많았다. 이 때문에 GPT-5.4나 Kimi K2.6 같은 최신 검색 에이전트가 높은 점수를 받아도, 그것이 실제 웹을 탐색·종합한 결과인지, 아니면 학습 과정에서 외운 내용을 웹으로 '확인 사살'하는 것에 불과한지 구분하기 어려웠다. LiveBrowseComp는 학습 컷오프 이후의 최신 사건만 다루기 때문에 모델이 내부 파라미터(기억)에 의존할 수 없게 만들고, 오직 검색·읽기·추론을 통한 실제 리서치 능력만 측정한다. 그 결과 모델 성능이 급격히 무너지고 기존 순위가 뒤섞이는 현상이 관찰됐다.

이는 RAG(검색 증강 생성)나 에이전트형 검색 파이프라인을 제품에 통합하려는 개발자에게 중요한 시사점을 준다. 많은 벤치마크 상위 모델이 사실은 '검색을 잘하는' 것이 아니라 '이미 아는 것을 잘 떠올리는' 것일 수 있다는 의미이기 때문이다. 즉, 사내 문서나 실시간 뉴스, 신규 릴리스 정보처럼 모델이 학습한 적 없는 최신·도메인 특화 데이터를 다뤄야 하는 실제 업무 환경에서는, 벤치마크 점수만큼의 성능이 나오지 않을 가능성이 높다. 검색 쿼리 재구성, 멀티홉 추론, 출처 교차검증, 상충하는 정보 처리 같은 '진짜 리서치' 역량이 부족하면, 에이전트는 최신 정보를 제대로 통합하지 못한 채 그럴듯한 답변을 생성하거나 오래된 학습 지식으로 환각을 일으킬 수 있다.

따라서 개발자는 모델·에이전트를 선정할 때 공개 벤치마크 순위를 그대로 신뢰하지 말고, 자신의 실제 사용 사례에 맞는 평가셋을 직접 구축하는 것이 바람직하다. 특히 모델 학습 컷오프 이후의 최신 데이터나 비공개 사내 지식을 활용해 테스트하면, 해당 모델이 실제로 '리서치'를 수행하는지 아니면 기억에 의존하는지 구분할 수 있다. 또한 검색 결과의 신선도(timestamp) 검증, 출처 추적 가능성, 상충 정보에 대한 명시적 처리 로직을 파이프라인에 추가해 모델의 기억 의존성을 보완하는 것이 안전하다. 결국 "벤치마크 1위 모델"이 "우리 서비스에서 가장 잘 검색하는 모델"과 동일하지 않을 수 있다는 점을 전제로, 최신성·신뢰성이 중요한 기능일수록 자체 검증 절차를 반드시 마련해야 한다.