AI가 더 나은 AI를 만들고 있다

재귀적 자기개선(RSI, Recursive Self-Improvement)은 AI가 스스로의 출력뿐 아니라 개선 과정 자체를 향상시키는 개념으로, 현재는 완전 자동화가 아닌 스펙트럼 형태로 진행 중이다. 기술적으로는 여러 계층이 결합되어 있다. 머신러닝 알고리즘이 프로그램의 파라미터를 자동 튜닝하고, 진화 알고리즘이 다양한 설계 솔루션을 반복 탐색하며, AutoML은 신경망 구조 설계·학습·평가 파이프라인을 자동화한다. 그 위에 LLM이 코드를 생성·디버깅하고, Google DeepMind의 AlphaEvolve는 LLM을 가이드 삼아 신경망 아키텍처·데이터센터 스케줄링·칩 설계 솔루션을 진화시킨다. UBC와 Sakana AI의 Darwin Gödel Machines(DGMs)는 LLM 기반 코딩 에이전트가 자기 코드를 변경하며 개선 능력 자체를 메타 수준에서 향상시키고, AI Scientist는 연구 아이디어 생성→실험→논문 작성→리뷰까지 연구 루프 전반을 자동화한다. 다만 인간이 목표 설정·성공 기준·변경 채택을 여전히 결정하므로 "닫힌 루프"는 아니다.

개발자·엔지니어 입장에서 가장 직접적인 영향은 코드 생산 주체의 변화다. OpenAI는 GPT-5.3-Codex가 자기 자신의 학습 디버깅과 배포 관리에 핵심적으로 사용됐다고 밝혔고, Anthropic은 자사 코드 대부분이 Claude Code로 작성된다고 한다. Krueger 같은 연구자는 "코드의 99%가 AI로 작성되는 시점"을 위험 임계선으로 본다. 실무 영향은 다층적이다. AlphaChip 공동 리더들이 창업한 Ricursive Intelligence는 칩 설계 사이클을 1~2년에서 며칠 단위로 단축하는 것을 목표로 한다. 반면 Allen Institute의 Nathan Lambert는 시스템 복잡도가 커질수록 마찰이 커지는 "손실형 자기개선(LSI)"을 주장하며, AI 연구자의 역할이 부분 최적화에서 복잡성 관리로 이동한다고 본다. Jeff Clune은 인간 엔지니어의 커리어 궤적이 "저수준 작업 수행자 → 교수·팀 리드(연구 방향 선정) → 프로그램 오피서·CEO(어젠다 설정) → 감독자(oversight)"로 단계적으로 이동할 것으로 전망한다.

한국 소프트웨어 엔지니어 관점에서 당장 취해야 할 행동은 두 갈래다. 첫째, 평가·검증·오케스트레이션 역량 강화다. AI가 코드를 쓸수록 "무엇을 만들지 정의하고, 결과의 적합성을 판별하는" 능력이 핵심 차별화 요소가 된다. 단위 코드 작성 속도를 자랑하기보다 벤치마크 설계, 회귀 테스트 자동화, AlphaEvolve형 시스템에 줄 수 있는 평가 함수(fitness function) 설계 능력을 의식적으로 키워야 한다. 둘째, 진화 알고리즘·AutoML·에이전트 자기수정 같은 RSI 인접 기술의 작동 원리를 이해해 두는 것이 좋다. DGMs처럼 에이전트가 자기 코드를 수정하는 패턴, AI Scientist처럼 연구 산출물을 표준 포맷(논문·구조화 리포트)으로 직렬화해 다른 에이전트와 공유하는 패턴은 곧 사내 자동화 파이프라인 설계 패턴으로 내려올 가능성이 높다.

마지막으로 거버넌스 측면도 간과해선 안 된다. 인터뷰된 AI 전문가 25명 중 23명이 AI R&D 자동화가 지능 폭발로 이어질 가능성을 배제하지 않았고, 자기개선 모델은 외부 공개 없이 사내에 머무를 가능성이 크다고 봤다. 즉 가장 강력한 도구가 외부에 공개되지 않을 수 있다는 의미다. 보안·아키텍처에 영향을 주는 변경에 AI 코드를 도입할 때는 Meta의 Weston·Foerster가 제안한 "공동개선(co-improvement)" 관점—인간을 루프 안에 유지해 안전성과 사회적 정합성을 확보하는 접근—을 사내 정책에 반영하는 것이 합리적이다. 사용자 데이터·인증·결제 같은 되돌리기 어려운 영역에서는 AI 자동 변경의 적용 범위를 명시적으로 제한하고, 감사 로그·휴먼 어프루벌 게이트를 설계 단계에서부터 강제해 두는 편이 향후 RSI 수준이 높아져도 안전한 개발 문화를 유지할 수 있는 길이다.