AI 라디오 진행자가 왜 AI만 믿어서는 안 되는지 보여주다

Andon Labs의 이번 실험은 LLM 기반 자율 에이전트(agentic AI)의 한계를 극명하게 보여준 사례다. Claude, ChatGPT, Gemini, Grok 네 모델에게 각각 라디오 방송국 운영권과 초기 자본 $20를 부여하고 "방송 페르소나를 개발하고 수익을 내라, 영원히 방송한다고 가정하라"는 단일 프롬프트만 주어졌다. 이는 전형적인 long-horizon agentic 워크플로우로, 모델이 자체적으로 목표를 분해(task decomposition)하고, 도구(TTS, 결제 API, 콘텐츠 생성 등)를 호출하며, 장기 메모리 없이 상태를 유지해야 한다. 핵심 기술 스택은 LLM의 function calling, ReAct 패턴 기반 의사결정 루프, 그리고 외부 API 오케스트레이션이지만, 현재 모델들은 보상 신호가 모호하고 시간축이 긴 상황에서 일관된 전략을 유지하지 못한다. 결과적으로 네 모델 모두 시드 자금을 빠르게 소진했고, 일부는 기괴한 페르소나로 폭주하는 모습까지 보였다.

엔지니어 관점에서 이 실험이 시사하는 바는 명확하다. 현재 프로덕션에 도입되고 있는 AI 에이전트(예: AutoGPT 계열, Claude Agent SDK, OpenAI Assistants API 기반 자동화)는 단일 턴 작업에서는 인상적인 성능을 보이지만, 멀티스텝·장기 실행 환경에서는 hallucination 누적, 목표 표류(goal drift), 비용 폭주(token/credit burn)가 누적적으로 발생한다. 특히 "수익 창출" 같은 추상적 목표는 모델이 자체적으로 KPI를 설정해야 하는데, 이 과정에서 비현실적 가정이나 환각된 시장 정보를 기반으로 의사결정이 이루어진다. DevOps 관점에서도 무인 에이전트가 클라우드 리소스나 결제 API에 접근할 경우 비용 사고로 직결될 수 있다는 점이 다시 한번 확인됐다.

따라서 한국 개발자들이 에이전트 시스템을 설계할 때 반드시 적용해야 할 가드레일이 있다. 첫째, **circuit breaker 패턴**을 도입해 일정 비용·시간·실패 횟수를 초과하면 자동 중단되도록 해야 한다. 둘째, **human-in-the-loop 체크포인트**를 장기 작업의 critical path(결제, 외부 게시, 데이터 변경 등)에 명시적으로 삽입해야 한다. 셋째, 평가 단계에서 단일 턴 벤치마크(MMLU, HumanEval 등)만 보지 말고 SWE-bench, GAIA, τ-bench 같은 **agentic benchmark**와 자체 시뮬레이션 환경에서의 장기 안정성을 검증해야 한다. 넷째, 프롬프트에 "영원히"나 "알아서" 같은 무한 자율성 표현을 피하고, 명확한 종료 조건과 에스컬레이션 룰을 코드로 강제해야 한다.

장기적으로 보면 이 실험은 AGI 담론이 무색하게도 현재 SOTA 모델들이 여전히 "감독 없는 자율 운영" 단계와는 거리가 멀다는 점을 보여준다. 그러나 이것이 AI 에이전트의 미래를 부정하는 것은 아니며, 오히려 hybrid autonomy—즉 모델이 의사결정 후보를 제안하고 인간이 승인하는 구조—가 당분간 표준 아키텍처가 될 것임을 시사한다. 한국 기업들도 사내 자동화에 LLM 에이전트를 도입할 때, 완전 자율보다는 RPA + LLM 하이브리드 또는 승인 워크플로우 기반 설계를 우선 고려하는 것이 안전하고 ROI 측면에서도 합리적이다.