AI 챗봇을 유용하게 만드는 것이 인간 행동을 시뮬레이션하는 능력을 약화시킨다는 대규모 연구 결과

이 연구의 핵심은 RLHF(인간 피드백 기반 강화학습)와 instruction tuning으로 대표되는 "정렬(alignment)" 과정이 모델의 통계적 분포 자체를 바꿔놓는다는 점이다. 사전학습(pre-training) 단계의 언어 모델은 인터넷 텍스트에 담긴 인간의 다양한 응답 분포를 그대로 흡수하기 때문에, 특정 인구 집단의 설문 응답 비율이나 행동 패턴을 확률적으로 모사하는 데 유리하다. 그러나 챗봇으로 만들기 위한 후속 학습은 모델을 "도움이 되고, 정중하며, 일관된" 단일 페르소나로 수렴시킨다. 이 과정에서 응답의 다양성(엔트로피)이 줄고 평균적·모범답안적 출력에 쏠리는 mode collapse가 발생한다. 즉 인간 행동 시뮬레이션에 필요한 분산과 꼬리(tail) 분포가 깎여나가는 것이다. 26만 응답 규모의 대규모 검증에서 세대가 올라갈수록 이 격차가 커진다는 결과는, 정렬 강도가 세질수록 인간 모사 능력이 체계적으로 손상된다는 트레이드오프를 시사한다.

엔지니어 입장에서 가장 직접적인 시사점은 "인구통계 페르소나 주입(persona prompting)"이 개별 예측에서는 사실상 효과가 없다는 발견이다. 그동안 합성 설문 데이터 생성, A/B 테스트 사용자 시뮬레이션, 시장 반응 예측 같은 작업에서 흔히 "당신은 35세 한국 직장인입니다" 식의 프로파일을 프롬프트에 넣어 응답 다양성을 끌어내려 했지만, 정렬된 모델에서는 이런 처리가 집계 통계에서는 어느 정도 맞아 보여도 개인 단위 예측 정확도를 거의 높이지 못한다. 결국 LLM을 "가상 응답자 패널"로 활용하려는 시도는 표면적 그럴듯함과 실제 분포 충실도 사이의 간극을 안고 있으며, 제품 의사결정이나 사용자 리서치를 이 데이터에 의존할 경우 잘못된 결론으로 이어질 위험이 있다.

대응 측면에서 개발자가 알아야 할 것은, 작업 성격에 따라 모델 선택과 디코딩 전략을 분리해야 한다는 점이다. 인간 행동의 다양성·분포를 재현해야 하는 시뮬레이션 작업이라면 강하게 정렬된 채팅 모델보다 base 모델이나 정렬 강도가 약한 모델, 혹은 fine-tuning으로 목표 분포를 직접 학습시킨 모델이 더 적합할 수 있다. 또한 temperature를 높이거나 다양성 샘플링을 적용해 인위적으로 엔트로피를 회복시키는 접근도 고려할 만하다. 무엇보다 합성 데이터를 그대로 신뢰하기보다, 소규모 실제 인간 데이터로 캘리브레이션·검증하는 절차를 파이프라인에 반드시 포함해야 한다. "도움이 되도록 잘 정렬된 모델일수록 인간을 덜 닮는다"는 역설을 인지하고, helpfulness가 목적인 챗봇 용도와 fidelity가 목적인 시뮬레이션 용도를 명확히 구분해 도구를 선택하는 것이 핵심이다.