연구자들이 클라우드 코드를 통해 인간이 설계하지 않았을 법한 AI 확장 알고리즘을 발견하게 함

AutoTTS는 코딩 에이전트(이 경우 Claude Code)가 사람의 개입 없이 AI 추론용 테스트타임 스케일링(test-time scaling) 알고리즘을 자체적으로 탐색·발견하도록 한 자동화 연구 프레임워크다. 기존의 self-consistency 방식은 동일 문제에 대해 여러 추론 경로(샘플)를 생성하고 다수결로 답을 결정하는데, 정확도는 높지만 토큰 소비량과 컴퓨팅 비용이 선형 이상으로 증가하는 단점이 있다. 연구진은 에이전트에게 평가용 벤치마크와 목표 메트릭(정확도 유지, 비용 절감)을 부여한 뒤 알고리즘 후보를 코드 형태로 생성·실행·측정하는 루프를 자동으로 돌렸고, 그 결과 사람이 잘 떠올리지 않는 동적 조기 종료(early stopping)·적응형 샘플링 형태의 제어 알고리즘을 발견했다. 이 알고리즘은 기존 self-consistency 대비 약 70% 컴퓨팅을 절감하면서 정확도는 동등하게 유지했으며, 전체 탐색 비용은 단 $40, 소요 시간은 160분에 불과했다.

이 결과가 엔지니어에게 주는 함의는 두 가지다. 첫째, LLM 추론 비용 최적화의 핵심 레버가 모델 크기·양자화가 아닌 "추론 제어 로직" 단에 있다는 점이 다시 확인됐다. 동일 모델, 동일 프롬프트라도 어떻게 샘플링하고 언제 멈출지를 제어하면 70% 수준의 비용 절감이 가능하다는 것은, RAG·에이전트·코드 생성 파이프라인을 운영하는 팀이 즉시 적용 가능한 ROI 포인트다. 둘째, "알고리즘 설계 자체"를 에이전트에게 위임하는 메타 자동화가 실용 단계에 진입했다는 신호다. AutoML이 하이퍼파라미터·모델 구조를 자동 탐색했다면, 이제는 추론 전략·제어 흐름 같은 더 추상적인 영역까지 코딩 에이전트가 직접 탐색해 코드로 산출한다. $40/160분이라는 비용은 사실상 개인 개발자도 자기 도메인에 맞는 맞춤형 최적화 알고리즘을 실험할 수 있는 수준이다.

한국 소프트웨어 엔지니어가 당장 점검할 액션 아이템은 다음과 같다. (1) 현재 LLM 호출 코드에서 self-consistency, best-of-N, majority voting 같은 "단순 N회 샘플링" 패턴이 있는지 감사하고, 신뢰도 기반 조기 종료나 적응형 N을 도입할 여지가 있는지 검토할 것. (2) 코딩 에이전트(Claude Code, Codex, Aider 등)를 단순 코드 생성기로만 쓰지 말고 "벤치마크·평가 루프와 결합한 자동 탐색 도구"로 활용하는 패턴을 익혀둘 것 — 평가 가능한 메트릭이 있는 모든 최적화 문제(쿼리 튜닝, 캐시 정책, 프롬프트 라우팅 등)에 같은 방식을 적용할 수 있다. (3) 발견된 알고리즘이 사람이 읽기 어려운 형태로 나올 수 있으므로, 자동 탐색 결과는 반드시 단위 테스트·재현성 검증·로그 분석을 거쳐 프로덕션에 투입해야 한다. 사람이 설계하지 않은 코드를 운영에 올리는 시대가 본격화된 만큼, 검증 파이프라인의 중요성이 오히려 더 커진다.