구글, 멀티 토큰 예측으로 Gemma 4 성능 3배 향상

구글이 공개한 멀티 토큰 예측(multi-token prediction) 드래프터는 사실상 'speculative decoding(추측 디코딩)' 기법의 한 형태로 볼 수 있다. 기존 LLM은 한 번의 forward pass마다 토큰을 하나씩 자기회귀적으로 생성하기 때문에 GPU 연산 자원을 충분히 활용하지 못하는 메모리 대역폭 병목이 발생한다. 멀티 토큰 예측은 이 문제를 해결하기 위해 작은 보조 모델(드래프터)이 먼저 여러 토큰을 한꺼번에 추측해 제안하면, 본 모델인 Gemma 4가 단일 forward pass에서 이 후보 토큰들을 병렬로 검증·수락하는 방식이다. 본 모델의 출력 분포와 일치하는 토큰만 채택되기 때문에 결과의 품질은 손실 없이 보존되며, 검증이 병렬화되어 처리량은 최대 3배까지 향상된다.

개발자와 엔지니어 관점에서 가장 직접적인 효과는 추론 비용과 응답 지연(latency)의 동시 감소다. 챗봇, 코드 어시스턴트, RAG 시스템처럼 생성 토큰 수가 많은 워크로드에서는 첫 토큰 출력 후의 토크닝 속도(TPS)가 곧 사용자 체감 품질을 좌우하는데, 3배 가속은 동일 GPU에서 동시 처리 가능한 요청 수를 늘려 단가를 크게 낮춘다. 특히 온프레미스나 엣지 환경에서 Gemma 같은 오픈 모델을 자체 호스팅하는 경우, 별도 하드웨어 증설 없이 처리량을 확보할 수 있다는 점에서 의미가 크다. OpenAI, Anthropic의 클로즈드 모델 대비 오픈 가중치 모델의 가격 경쟁력을 한층 강화하는 흐름으로 해석할 수 있다.

다만 실전 도입 시 몇 가지 확인 사항이 있다. 첫째, 발표된 '최대 3배'는 이상적인 수락률(acceptance rate) 기준이며, 도메인 특화 입력이나 코드처럼 분포가 좁은 텍스트에서는 가속 효과가 더 크게, 창의적 생성이나 다국어 입력에서는 작게 나타날 수 있다. 한국어처럼 토크나이저 효율이 떨어지는 언어에서는 자체 벤치마크가 필수다. 둘째, 드래프터 모델이 추가로 VRAM을 점유하므로 메모리가 빠듯한 환경에서는 양자화나 배치 크기 조정이 필요할 수 있다.

당장 행동할 수 있는 항목은 다음과 같다. (1) vLLM, TGI, llama.cpp, TensorRT-LLM 등 사용 중인 추론 엔진이 Gemma 4 드래프터를 공식 지원하는지 버전을 확인하고 업그레이드한다. (2) 자사 프로덕션 트래픽 샘플로 수락률과 실제 TPS를 측정해 도메인별 효과를 검증한다. (3) 서빙 비용 모델을 다시 산정해 GPT-4o mini나 Claude Haiku 같은 외부 API 대비 자체 호스팅 ROI를 재평가한다. 추측 디코딩은 이제 LLM 서빙의 표준 옵션으로 자리 잡고 있으므로, 현재 Llama, Qwen, Mistral 등을 운영 중이라면 동일 기법의 적용 가능성도 함께 검토할 가치가 있다.