사티아 나델라, 마이크로소프트 AI 에이전트 '스카우트'에 의도적으로 중독시키려는 부사장 계획에 강하게 반발

Scout 같은 AI 에이전트의 "중독성"은 추천 알고리즘, 알림 설계, 대화 지속을 유도하는 보상 루프(variable reward), 그리고 세션 길이·재방문율(DAU/retention)을 핵심 지표(KPI)로 삼는 데서 만들어진다. 기술적으로는 사용자 행동 로그를 강화학습이나 랭킹 모델의 보상 신호로 사용해 "더 오래 머무는" 방향으로 최적화하는 구조다. Nadella가 비판한 지점은 바로 이 최적화 목표의 설정이다. 같은 LLM 에이전트라도 보상 함수를 '체류 시간 극대화'로 두느냐 '작업 완수 후 빠른 이탈(less screen time)'로 두느냐에 따라 시스템 프롬프트, 종료 조건, 알림 빈도, UX 마찰 설계가 정반대로 갈린다. 이는 모델 성능 문제가 아니라 제품 의사결정과 메트릭 설계의 문제라는 점이 핵심이다.

개발자·엔지니어 입장에서 이 논쟁은 추상적인 윤리 담론이 아니라 매일 작성하는 코드에 직접 닿는다. 에이전트나 추천 기능을 만들 때 우리가 정의하는 성공 지표 — 세션 길이, 클릭률, 대화 턴 수 — 가 곧 제품의 가치 정렬(alignment)을 결정한다. 'engagement 극대화'를 무비판적으로 KPI로 잡으면, 의도와 무관하게 다크 패턴(무한 스크롤, 끊기 어려운 대화, 과도한 푸시)을 코드로 구현하게 된다. 특히 사내 메모가 유출되어 CEO가 공개적으로 질책했다는 점은, 이런 설계 결정이 더 이상 조용히 넘어가지 않고 평판·규제 리스크로 직결된다는 신호다. EU AI Act, 디지털 서비스법(DSA), 국내 다크 패턴 규제 흐름 속에서 "중독 유도 설계"는 법적 책임 영역으로 들어오고 있다.

실무에서 취해야 할 액션은 명확하다. 첫째, 에이전트/추천 기능을 설계할 때 보상 함수와 핵심 지표를 코드 리뷰와 기획 단계에서 명시적으로 검토하고, '체류 시간' 대신 '작업 완수율', '문제 해결까지 걸린 시간 단축' 같은 사용자 가치 중심 지표를 함께 측정하라. 둘째, 종료·휴식을 유도하는 마찰 설계(작업 완료 시 명확한 종료, 알림 빈도 상한, "충분합니다" 신호)를 의도적으로 코드에 넣고, A/B 테스트에서 단순 engagement만이 아니라 사용자 후속 만족도·이탈 후 재방문 품질을 평가 지표로 추가하라. 셋째, 자신이 만드는 시스템 프롬프트와 보상 설계가 회사 가치·규제와 충돌하지 않는지 기록으로 남겨라 — 유출된 메모 한 장이 조직 전체의 방향을 흔들 수 있는 시대이므로, 설계 의도를 문서화하는 것 자체가 엔지니어를 보호하는 방어선이 된다.