오픈AI, GPT-5.5의 성능 저하 원인으로 오래된 프롬프트 지적

OpenAI가 GPT-5.5 출시와 함께 발표한 핵심 메시지는 "기존 프롬프트를 그대로 이식하지 말고, 최소한의 형태로 처음부터 다시 작성하라"는 것이다. 기존 GPT-4 계열 모델에서는 모델의 약점을 보완하기 위해 페르소나 강제, 단계별 사고 유도(Chain-of-Thought), 출력 포맷 강제, 부정 명령 반복 등 누적된 지시문을 프롬프트에 쌓아두는 것이 관행이었다. 그러나 GPT-5.5는 내부 추론 능력과 지시 따르기(instruction following) 성능이 향상되어, 과거에 작성된 두꺼운 프롬프트가 오히려 모델의 자체 추론을 방해하고 토큰 비용을 늘리며 응답 품질을 떨어뜨리는 역효과를 낸다는 것이다. 특히 한동안 "불필요한 장식"으로 평가절하되었던 역할(Role) 정의가 다시 프롬프트 프레임워크의 최상단으로 돌아왔다는 점이 주목할 만한 변화다.

기술적으로 보면, 새로운 베이스라인 권고는 모델 세대마다 사전학습/사후학습 분포가 달라진다는 사실에서 출발한다. 과거 모델용으로 튜닝된 프롬프트는 그 모델의 편향과 한계를 보정하기 위한 일종의 "보철물"이었고, 이 보철물이 새 모델에서는 모델이 스스로 잘하는 영역까지 강제로 좁혀버리는 제약이 된다. Role 정의가 다시 부상한 이유는 GPT-5.5가 내부적으로 작업 컨텍스트와 톤, 전문성 수준을 추론에 적극 반영하도록 학습되었기 때문으로 보이며, "당신은 ~ 전문가다"라는 한 줄이 수십 줄의 세부 지시보다 더 일관된 행동을 끌어낸다. 결과적으로 권장 패턴은 ① 명확한 Role, ② 핵심 목표, ③ 최소한의 제약 조건만 명시하고, 출력 검증과 조건 분기는 모델의 추론에 맡기는 방향으로 단순화된다.

한국 개발자 입장에서의 실무 영향은 적지 않다. 사내 챗봇, RAG 파이프라인, 에이전트 워크플로 등에서 수개월에 걸쳐 정교하게 다듬어 온 시스템 프롬프트가 GPT-5.5로 모델만 갈아끼웠을 때 오히려 회귀(regression)를 일으킬 가능성이 높다는 의미다. 특히 LangChain, LlamaIndex, 자체 프레임워크에 하드코딩된 few-shot 예시와 포맷 강제 구문은 GPT-5.5의 향상된 포맷 이해 능력과 충돌해 응답이 장황해지거나 지시를 우회하는 패턴을 만들 수 있다. 또한 입력 토큰이 줄면 비용·지연이 동시에 개선되므로, 단순히 모델 버전만 올리는 것이 아니라 프롬프트 다이어트가 비용 효율 측면에서도 직접적인 KPI가 된다.

따라서 마이그레이션 전략은 "기존 프롬프트 이식"이 아니라 "베이스라인 재작성 후 A/B 평가"가 되어야 한다. 우선 Role + 작업 정의만 담은 미니멀 프롬프트로 시작해 골드셋 평가 데이터로 GPT-5.5의 기본 성능을 측정하고, 실패하는 케이스에 한해서만 제약을 한 줄씩 추가하는 점진적 접근이 권장된다. 또한 평가 자동화(evals) 파이프라인이 없다면 이번 전환을 계기로 도입할 가치가 있으며, 프롬프트를 코드처럼 버전 관리하고 모델 업그레이드 시마다 회귀 테스트를 돌리는 MLOps/PromptOps 관점이 필수가 된다. 마지막으로 사내 프롬프트 가이드 문서를 GPT-5.5 기준으로 갱신해, 팀원들이 무의식적으로 과거 패턴을 복사·붙여넣지 않도록 표준을 다시 세울 시점이다.