AI 위클리 이슈 #497: 앤트로피크와 오픈AI가 정부를 차지한다

이번 주 흐름의 핵심은 프런티어 AI 랩이 단순 API 공급자에서 정부·기간산업의 운영 인프라로 격상됐다는 점이다. OpenAI가 미국 생물방어(biodefense)와 일본 3대 은행 내부 시스템에 들어갔다는 것은, 모델이 더 이상 격리된 챗봇 엔드포인트가 아니라 규제·보안 등급이 높은 도메인에 직접 임베드된다는 뜻이다. 여기에 OpenAI가 자체 안전 정책(Preparedness Framework류의 내부 규칙)을 EU AI Act와 캘리포니아 AI법 조항에 매핑한 것은, 모델 거버넌스가 "회사 내규" 수준에서 "법령 준수 산출물(compliance artifact)" 수준으로 올라갔음을 보여준다. 기술적으로 보면 이는 RAG·툴콜·에이전트 워크플로우 위에 감사 로그, 데이터 거주성(data residency), 출력 필터링, 모델 카드/시스템 카드 같은 컴플라이언스 레이어가 필수로 얹히는 구조로의 전환이다. 한편 중국이 공개한 위성 표적화 자동화 LLM은 멀티모달 추론(위성 영상 해석 + 좌표 계산 + 의사결정 추천)을 군사 OODA 루프에 결합한 사례로, "LLM은 텍스트 생성기"라는 통념을 넘어 행동을 유발하는 제어 시스템으로 쓰이기 시작했음을 시사한다.

개발자·엔지니어 입장에서 이 변화는 추상적 뉴스가 아니라 당장의 설계 제약으로 돌아온다. 모델이 은행·국방 같은 고규제 영역으로 들어가면, 같은 모델을 쓰더라도 한국 기업이 요구받는 것은 단순 성능이 아니라 "이 출력이 어떤 정책·법령에 따라 통제되는가"를 증명할 수 있는 추적 가능성이다. 즉 프롬프트와 응답을 그냥 흘려보내는 게 아니라, 입력/출력 로깅, 휴먼 인 더 루프 승인 단계, 모델 버전·시스템 프롬프트 핀 고정, 거부(refusal) 사유 기록 같은 것이 아키텍처에 들어가야 한다. 동시에 워크포스 정책이 갈라지는 신호 — 중국 법원의 AI 발(發) 정리해고 금지, 영국의 의무 단체교섭 제안, 위키미디어의 노조 조직책 해고 — 는 "AI 도입 = 인력 감축"이라는 단선적 가정이 법적·사회적으로 더 이상 안전하지 않다는 것을 의미한다. 자동화 도구를 만드는 엔지니어에게는, 어떤 업무를 자동화하느냐가 점차 컴플라이언스·노동법 이슈와 직접 얽힌다는 뜻이다.

당장 챙겨야 할 행동은 세 가지다. 첫째, AI 기능을 제품에 넣을 때 처음부터 "감사 가능성(auditability)"을 1급 요구사항으로 설계하라 — 어떤 모델·버전이 어떤 입력에 무엇을 답했고 누가 승인했는지를 재구성할 수 있어야 하며, 이는 나중에 EU AI Act 고위험 분류나 국내 AI 기본법 대응 시 그대로 자산이 된다. 둘째, 단일 프런티어 랩 종속(vendor lock-in) 리스크를 재평가하라. 랩들이 정부·금융에 깊이 들어갈수록 정책·접근권·요금 구조가 지정학적 사정에 따라 흔들릴 수 있으므로, 모델 추상화 레이어를 두고 교체 가능성을 확보해 두는 편이 안전하다. 셋째, "이 시스템은 결정을 추천만 하는가, 직접 행동하는가"의 경계를 명시적으로 코드와 문서에 박아두라. 위성 표적화 사례가 보여주듯 LLM이 행동 트리거에 연결되는 순간 책임 소재와 안전장치 요구가 급격히 커지므로, 에이전트의 권한 범위·롤백 경로·강제 중단 스위치를 설계 단계에서 정의해 두는 것이 핵심이다. 현재는 업계 합의가 없는 과도기이므로, 외부 표준이 정리되기를 기다리기보다 자체적으로 방어적 기준을 먼저 세우는 팀이 규제가 따라잡을 때 우위를 갖게 된다.