500명의 투자은행가들이 AI 출력물을 검토해 클라이언트 전달용으로 준비된 것이 없음

이번 벤치마크는 투자은행 주니어 뱅커들이 일상적으로 수행하는 업무(피치북 작성, 재무 모델링, 비교기업 분석, 산업 리서치 등)를 GPT-5.4, Claude Opus 4.6 같은 최상위 LLM에 부여하고, 500명의 현직 뱅커가 블라인드로 결과물을 평가하는 방식으로 설계됐다. 단순 정답률이 아닌 "클라이언트에게 전달 가능한 수준인가"라는 도메인 특화 루브릭(숫자 정합성, 출처 근거, 톤·포맷, 추론 일관성)으로 채점하기 때문에, 모델이 멀티스텝 추론과 RAG, 함수 호출을 결합해도 표·각주의 미세한 수치 오류 한 건만 있으면 즉시 "전달 불가" 판정을 받는다. 즉 이 벤치마크는 LLM의 평균 성능이 아니라 "long-tail 정확도"와 "검증 가능한 출력"을 측정하는 셈이며, 이는 토큰 단위 손실 함수로 학습된 현재 트랜스포머 구조가 본질적으로 약한 영역이다.

엔지니어 입장에서 주목할 점은 "0% 클라이언트 전달 가능"과 "50% 이상이 시작점으로 활용하겠다"는 두 결과가 동시에 나왔다는 사실이다. 이는 LLM 제품을 만들 때 "최종 산출물 자동화"가 아니라 "초안(scaffold) 생성 + 인간 검증 워크플로"로 설계해야 ROI가 나온다는 강력한 증거다. 실무적으로는 (1) 출력의 모든 수치·인용에 traceable한 source span을 붙이는 attribution 파이프라인, (2) 사람이 한 번에 검수하기 쉬운 diff/highlight UI, (3) 동일 프롬프트를 다른 모델로 교차검증하는 self-consistency 또는 LLM-as-judge 레이어, (4) 도메인 규칙(회계 등식, 단위 일관성 등)을 코드로 검증하는 deterministic post-validator를 함께 붙여야 실사용 가치가 생긴다. 단순한 ChatGPT 래퍼는 이미 이 시장에서 살아남기 어렵다.

또한 이 결과는 AI 코딩 에이전트에도 그대로 시사점을 준다. 투자은행 보고서와 마찬가지로 프로덕션 코드 역시 "95% 맞음"으로는 부족하고 컴파일·테스트·보안 검증을 모두 통과해야 한다. 따라서 개발자는 LLM을 "PR 자동 머지"가 아닌 "PR 초안 + 강제 CI 게이트 + 인간 리뷰" 구조로 묶어야 하며, eval 셋을 만들 때도 평균 점수보다 "한 번이라도 틀리면 실패"인 strict pass-rate 지표를 함께 봐야 한다. Anthropic, OpenAI가 강조하는 thinking 모드, tool use, computer use 등의 기능도 결국 이 long-tail 정확도를 끌어올리기 위한 것이며, 차세대 모델 선택 시 이런 도메인 벤치마크에서의 strict pass-rate 개선폭을 핵심 지표로 삼는 것이 안전하다.

개발자가 당장 취할 행동은 세 가지다. 첫째, 자신이 만드는 AI 기능에 대해 "클라이언트 전달 가능 기준"에 해당하는 자체 골든셋을 30~100건이라도 구축하고, 모델 업그레이드 때마다 회귀 테스트로 돌려야 한다. 둘째, 출력에 인용·근거·신뢰도 점수를 노출시켜 사용자가 검증 비용을 낮추도록 UX를 설계해야 한다(이번 조사에서 뱅커들이 "시작점으로 쓰겠다"고 한 이유도 결국 검증 비용이 견딜 만했기 때문이다). 셋째, "AI가 사람을 대체"가 아니라 "AI 초안 + 도메인 전문가 검수"가 당분간의 정착 패턴임을 받아들이고, 검수 흐름·감사 로그·모델 버저닝·롤백을 갖춘 MLOps/LLMOps 인프라에 투자해야 한다. 모델 성능보다 이 주변부 인프라가 실제 제품 성패를 가르는 시기다.