AI 주간 이슈 #485: AI가 AI를 가르치는 방식

이번 주 AI 업계의 두 가지 핵심 맥락은 하드웨어 공급망 경쟁과 에이전트 기반 엔지니어링의 본격화다. 젠슨 황이 Dwarkesh 팟캐스트에서 밝힌 바에 따르면 Anthropic이 구글 TPU 성장의 100%를 견인하고 있으며, Nvidia의 진짜 해자는 벤치마크 성능이 아니라 복제 불가능한 공급망에 있다. 이는 단순히 GPU vs TPU의 성능 비교를 넘어, 대규모 학습 인프라를 구성하는 네트워킹, HBM 메모리, 전력, 쿨링, 소프트웨어 스택(CUDA, NCCL)까지 포함한 수직 통합 생태계의 문제임을 의미한다. "AI가 AI를 가르칠 때 비밀리에 가르친다"는 타이틀은 최근 화두인 지식 증류(knowledge distillation)와 합성 데이터 학습의 관측 불가능성 문제를 암시하는데, 교사 모델이 학생 모델에 전달하는 패턴 중 사람이 해석할 수 없는 잠재 표현까지 함께 전달된다는 연구 흐름과 맞닿아 있다.

현업 개발자 관점에서 더 실질적인 메시지는 사이먼 윌리슨이 짚은 "2025년 11월이 진짜 변곡점"이라는 진단이다. Claude Code, Codex, Cursor 같은 에이전트형 도구가 "다크 팩토리"(사람 개입 없이 AI가 AI에게 작업을 위임하며 24시간 돌아가는 개발 파이프라인) 수준으로 진화했고, 코드 작성의 단위가 "함수/파일"에서 "태스크/PR"로 이동했다. 이는 한국 엔지니어에게 두 가지 구체적 영향을 준다. 첫째, 단순 CRUD나 보일러플레이트 작성은 이미 에이전트가 대체 가능한 영역이 되었으므로 도메인 모델링, 시스템 설계, 코드 리뷰 역량의 상대적 가치가 급상승한다. 둘째, 인프라 측면에서 Anthropic 같은 프론티어 랩이 TPU로 이동하는 흐름은 향후 API 가용성/가격/레이턴시 정책에 영향을 줄 수 있어, 특정 벤더 락인을 피한 LLM 추상화 레이어(LiteLLM, LangChain 등) 도입 가치가 높아진다.

개발자가 지금 당장 취해야 할 액션은 명확하다. 첫째, 로컬 에디터 중심 워크플로우에서 벗어나 에이전트에게 병렬 태스크를 위임하는 멀티 에이전트 개발 방식을 실험해보라. 예컨대 버그 수정, 리팩토링, 테스트 작성을 각기 다른 워크트리에서 동시에 돌리는 것이 생산성의 새 기준이 되고 있다. 둘째, 프롬프트 캐싱과 컨텍스트 엔지니어링에 투자하라. 모델이 커지고 1M 컨텍스트가 일반화되면서 "무엇을 컨텍스트에 넣을지"를 설계하는 것이 성능/비용의 핵심 변수가 되었다. 셋째, 합성 데이터로 미세조정된 소형 모델을 사용할 때는 교사 모델의 편향과 허위 정보가 은밀히 전파될 수 있다는 점을 인지하고, 반드시 별도 검증셋과 사람 리뷰 단계를 유지해야 한다. 마지막으로 자신이 다루는 스택이 Nvidia/CUDA에 묶여 있다면, 추론 단계에서 TPU, Trainium, Groq 등 대안 가속기로의 포팅 시나리오를 최소한 PoC 수준으로 검토해둘 필요가 있다.