구글의 Gemini 3.5 플래시, 앤트로피와 오픈AI에 이어 AI 모델 가격 크게 상승

Google의 Gemini 3.5 Flash는 이전 세대 대비 추론 능력과 멀티모달 처리 성능이 크게 향상되었지만, 토큰당 비용 자체가 인상된 데다 동일한 작업을 수행하기 위해 더 많은 추론 토큰(reasoning tokens)을 소비하는 구조로 설계되었다. 최신 모델들은 'chain-of-thought'나 내부 추론 단계를 길게 가져가는 방식으로 정확도를 끌어올리는데, 이 과정에서 사용자에게 노출되지 않는 중간 토큰까지 모두 과금된다. 특히 에이전트 워크플로우에서는 도구 호출(tool calling)과 자가 검증 루프가 반복되면서 단일 쿼리당 상호작용 단계가 늘어나고, 결과적으로 Flash 모델임에도 상위 라인업인 Gemini 3.1 Pro보다 총비용이 75% 더 높게 측정되는 역전 현상이 발생한다. Anthropic의 Claude나 OpenAI의 o-시리즈 역시 동일한 패턴을 보이는데, 이는 거대한 인프라 투자(GPU, 데이터센터, 전력)를 회수하기 위한 업계 공통의 가격 전략으로 해석된다.

개발자 입장에서 가장 큰 충격은 "Flash = 저렴한 모델"이라는 기존 멘탈 모델이 더 이상 유효하지 않다는 점이다. 그동안 프로덕션 환경에서는 비용이 민감한 대량 트래픽 처리에 Flash/Haiku/Mini 같은 경량 모델을 배치하고, 복잡한 추론이 필요한 부분에만 Pro/Opus/o1을 호출하는 라우팅 전략이 일반적이었다. 그러나 신형 Flash가 구형 Pro보다 비싸지는 상황이 발생하면서, 단순히 모델 티어로 비용을 최적화하던 관행이 무너지고 있다. 특히 LangChain, AutoGen, CrewAI 같은 에이전트 프레임워크를 활용해 멀티스텝 작업을 구성한 서비스라면 청구서가 예상의 5~6배로 튀어오를 위험이 있으며, 사용자에게 정액제로 제공되던 SaaS 제품의 단위 경제성(unit economics)이 무너질 수 있다.

대응 차원에서 개발자가 즉시 점검해야 할 항목은 명확하다. 첫째, 모델 업그레이드 전에 반드시 자신의 실제 워크로드로 A/B 비용 테스트를 진행해야 하며, 단순히 input/output 토큰 단가만 비교하지 말고 reasoning 토큰을 포함한 end-to-end 비용을 측정해야 한다. 둘째, Anthropic의 prompt caching, OpenAI의 cached input pricing, Gemini의 context caching 같은 캐싱 기능을 적극 활용해 반복되는 시스템 프롬프트와 컨텍스트의 비용을 90%까지 절감하는 구조를 도입해야 한다. 셋째, 에이전트의 무한 루프나 과도한 self-reflection을 막기 위해 max_iterations, token budget, early termination 조건을 엄격히 설정해야 한다.

마지막으로 아키텍처 관점에서는 모든 작업을 LLM에 위임하는 "AI-first" 설계를 재고할 시점이다. 결정론적으로 처리 가능한 분기 로직은 코드로 구현하고, LLM 호출은 자연어 이해가 필수적인 지점에만 한정하는 하이브리드 구조가 비용 효율 측면에서 다시 주목받고 있다. 오픈소스 진영의 Llama 3.3, Qwen 2.5, DeepSeek-V3 같은 모델을 자체 호스팅하거나 Groq, Together AI 같은 추론 전용 인프라를 활용하는 옵션도 진지하게 검토할 만하며, 향후 1~2년 내 상용 API 가격이 추가 인상될 가능성에 대비해 멀티 프로바이더 추상화 레이어를 미리 구축해두는 것이 안전한 선택이다.