구글, Gemini 3.5 Flash로 기업 비용 효율성 강화

구글이 발표한 Gemini 3.5 Flash는 엔터프라이즈 환경에서의 토큰 비용 효율성을 핵심 목표로 삼은 경량화 모델이다. 기존 Flash 시리즈와 마찬가지로 MoE(Mixture of Experts) 아키텍처를 기반으로 활성 파라미터만 선택적으로 작동시켜 추론 비용을 낮추는 구조를 따르되, 3.5 버전에서는 컨텍스트 캐싱(context caching)과 배치 처리 최적화를 통해 동일 작업 대비 입력/출력 토큰 단가를 추가로 절감했다. 함께 공개된 신규 에이전트는 Anthropic의 Claude 기반 컴퓨터 사용 에이전트(OpenClaw로 통칭)와 직접 경쟁하는 포지션으로, 브라우저 자동화·문서 처리·코드 실행 등 멀티스텝 워크플로우를 단일 API 호출로 위임할 수 있도록 설계되어 있다.

개발자 관점에서 가장 큰 변화는 "LLM 호출 = 비싸다"라는 전제가 흔들린다는 점이다. 기존에는 프로덕션 트래픽에서 GPT-4o나 Claude Sonnet을 직접 쓰기 부담스러워 라우팅 레이어를 두고 간단한 요청은 소형 모델로, 복잡한 요청만 대형 모델로 분기하는 패턴이 일반적이었다. Flash 3.5의 가격대가 더 내려가면서 이러한 모델 라우팅의 복잡도를 단순화하고, 캐싱 가능한 시스템 프롬프트·RAG 컨텍스트를 적극 재사용하는 설계가 ROI를 크게 좌우하게 된다. 특히 사내 챗봇, 문서 요약 파이프라인, 대량 분류 작업처럼 호출량이 많은 워크로드는 모델 교체만으로도 월 단위 인프라 비용이 30~50% 수준까지 줄어들 여지가 생긴다.

국내 엔지니어가 즉시 점검해야 할 포인트는 세 가지다. 첫째, 현재 사용 중인 LLM 호출 지점에서 컨텍스트 캐싱 적용 여부와 캐시 히트율을 측정해 두어야 한다 — Flash 3.5의 비용 우위는 캐시 미적용 시 절반 이하로 떨어진다. 둘째, 에이전트 기능을 도입할 때는 외부 도구 실행 권한 범위(브라우저, 파일 시스템, 사내 API)에 대한 거버넌스를 먼저 설계해야 하며, 단순히 "에이전트가 알아서 처리"하도록 두면 권한 오용·프롬프트 인젝션 리스크가 급격히 커진다. 셋째, Vertex AI와 Gemini API의 SLA·데이터 보존 정책이 다르므로, 사내 데이터가 학습에 활용되지 않는 엔터프라이즈 티어 조건을 계약 단계에서 명시적으로 확인해야 한다.

마지막으로 모델 선택은 가격표만으로 결정하지 말 것을 권한다. Flash 3.5는 영어권 벤치마크 기준 발표이므로, 한국어 reasoning·코드 생성·도메인 특화 태스크에서는 실제 트래픽 샘플을 가지고 Claude Haiku 4.5, GPT-4o-mini와 A/B 비교를 거친 뒤 도입 여부를 판단하는 것이 안전하다. 특히 에이전트 기능은 벤치마크 점수와 실서비스 안정성 사이 괴리가 큰 영역이므로, PoC 단계에서 실패 케이스 로깅과 휴먼-인-더-루프 폴백 경로를 함께 설계해 두는 것이 좋다.