신규 AI 인프라 대형 기업: 파이어워크, 베이스텐 (오픈루터도 가까워짐)

Fireworks AI와 Baseten이 100억 달러 이상의 기업가치(데카콘)에 도달하고 OpenRouter까지 그 뒤를 잇는다는 소식은, AI 시장의 무게중심이 모델 학습에서 '추론 인프라(inference infra)' 계층으로 이동하고 있음을 보여준다. 이들이 제공하는 핵심 기술은 오픈소스·파인튜닝 모델을 대규모로 빠르고 저렴하게 서빙(serving)하는 것이다. 구체적으로는 연속 배칭(continuous batching)으로 GPU 유휴 시간을 없애고, 추측 디코딩(speculative decoding)으로 토큰 생성 지연을 줄이며, KV 캐시 관리와 양자화(quantization, FP8/INT8), 그리고 FlashAttention 계열 커스텀 CUDA 커널로 처리량을 극대화한다. Fireworks는 자체 FireAttention 커널과 서버리스 추론에, Baseten은 Truss 기반 모델 패키징과 전용(dedicated) 배포 및 오토스케일링에 강점이 있다. 반면 OpenRouter는 직접 모델을 돌리지 않고, 수백 개 모델·프로바이더를 단일 API로 묶어 라우팅·폴백·가격 비교를 제공하는 '메타 계층' 역할을 한다.

기술적으로 이들이 경쟁하는 지표는 명확하다. 첫 토큰까지의 시간(TTFT), 토큰 간 지연(ITL), 초당 토큰 처리량, 그리고 토큰당 비용이다. 같은 Llama·Qwen·DeepSeek 모델이라도 prefill/decode 단계를 분리(disaggregation)하거나 다중 LoRA를 한 GPU에서 동시 서빙하는 등의 최적화로 비용·속도가 수 배씩 갈린다. 데카콘급 투자가 몰린다는 것은, 모델 가중치 자체는 점점 오픈소스로 상품화(commoditize)되는 반면 '그 모델을 얼마나 효율적으로 굴리느냐'가 실질적인 해자(moat)가 되었다는 뜻이다. 골드러시의 곡괭이·삽을 파는 사업이 본격적으로 거대 시장이 된 셈이다.

엔지니어 입장에서 가장 큰 실질적 변화는 '직접 GPU를 띄워 모델을 운영할 이유'가 줄어든다는 점이다. 대부분 OpenAI 호환 API를 제공하므로 기존 코드에서 base URL과 모델명만 바꿔 끼우면 되고, 파인튜닝한 오픈 모델도 자체 인프라(vLLM/TGI 구축, 쿠버네티스 오토스케일링, GPU 재고 확보) 없이 전용 엔드포인트로 배포할 수 있다. 특히 OpenRouter 같은 어그리게이터는 특정 프로바이더 종속(lock-in)을 줄이고, 한 모델에 장애가 나면 자동 폴백하거나 가격이 더 싼 동일 모델로 라우팅해 주기 때문에, 비용·가용성 측면에서 운영 부담을 크게 덜어준다.

따라서 지금 점검해야 할 것은 세 가지다. 첫째, 자체 호스팅 대비 이들 플랫폼의 토큰당 비용과 지연을 자신의 실제 워크로드로 벤치마크해 볼 것 — 트래픽이 작고 변동성이 크면 서버리스 추론이, 일정한 고트래픽이면 전용 배포 또는 자체 운영이 유리할 수 있다. 둘째, 멀티 모델·폴백 전략이 필요하다면 OpenRouter 같은 라우팅 계층을 도입해 프로바이더 종속과 단일 장애점을 미리 줄여둘 것. 셋째, 데이터 거버넌스와 SLA를 확인할 것 — 민감 데이터를 외부 추론 API로 보내는 경우 리전·로깅 정책·재학습 사용 여부를 반드시 점검해야 한다. 결론적으로 이번 펀딩 뉴스는 단순한 자금 조달을 넘어, 개발자가 'LLM을 어디서 어떻게 돌릴 것인가'라는 인프라 의사결정을 본격적으로 재검토해야 할 시점이 왔다는 신호다.