AI 스타트업 매출 80억 달러지만, 앤트로피크와 오픈AI가 대부분 차지

AI 스타트업 시장이 $800억 규모로 성장했지만, Anthropic과 OpenAI 두 회사가 상위 AI 스타트업 매출의 89%를 차지하고 있다는 The Information의 분석이 나왔다. 이러한 극단적 시장 집중의 배경에는 LLM(대규모 언어 모델) 개발의 막대한 진입 장벽이 있다. 프론티어 모델 하나를 학습시키는 데 수억 달러 규모의 GPU 클러스터(주로 NVIDIA H100/H200), 수조 토큰 규모의 고품질 학습 데이터, 그리고 RLHF(인간 피드백 강화학습)와 Constitutional AI 같은 정교한 정렬 기법이 필요하다. 또한 추론(inference) 단계에서도 KV 캐시 최적화, 텐서 병렬화, 양자화 등 인프라 레벨의 최적화 없이는 단위 토큰당 비용 경쟁에서 살아남기 어려워, 자본과 엔지니어링 역량이 모두 갖춰진 소수 기업으로 수익이 쏠리는 구조다.

개발자 입장에서 이 집중 현상은 단순한 시장 뉴스가 아니라 실제 기술 스택 의사결정에 직접적인 영향을 미친다. Claude API, OpenAI API에 의존하는 애플리케이션을 만들 때 벤더 종속(vendor lock-in) 리스크가 커지고, 가격 정책 변경이나 모델 디프리케이션(예: GPT-4 계열 종료, Claude 3 → 4 마이그레이션)에 즉각 대응해야 하는 부담이 생긴다. 한편으로는 두 회사가 막대한 매출을 바탕으로 prompt caching, batch API, tool use, extended thinking, 1M 컨텍스트 같은 고급 기능을 빠르게 출시하고 있어, 자체 모델을 운영하는 것보다 API 호출이 압도적으로 경제적인 상황이 굳어지고 있다. Llama, Qwen, DeepSeek 같은 오픈소스 모델이 성능은 따라잡고 있지만, 운영 비용 총합(GPU 임대 + MLOps + 보안 + 모니터링)을 고려하면 중소 규모 팀에게 자체 호스팅은 여전히 합리적 선택지가 아닌 경우가 많다.

한국 소프트웨어 엔지니어가 당장 취해야 할 액션은 세 가지다. 첫째, **추상화 레이어 도입**이다. LangChain, LiteLLM, Vercel AI SDK처럼 프로바이더를 추상화하는 라이브러리를 통해 Anthropic/OpenAI/Google 간 전환 비용을 미리 낮춰두어야 한다. 둘째, **비용 최적화 패턴 학습**이다. Anthropic의 prompt caching(최대 90% 비용 절감)과 batch API(50% 할인), 그리고 모델 라우팅(쉬운 요청은 Haiku, 복잡한 추론은 Opus)을 적극 활용해 토큰 비용을 통제해야 한다. 셋째, **오픈소스 모델에 대한 PoC 역량 확보**다. 규제 산업(금융, 의료, 공공)이나 데이터 주권 이슈가 있는 도메인에서는 Llama 3.3, Qwen 2.5 같은 모델을 vLLM, Ollama로 운영해본 경험이 차별점이 된다.

결론적으로 89%라는 수치는 "두 회사를 쓰지 말라"는 신호가 아니라, **그들의 API를 가장 효율적으로 쓰는 엔지니어가 되라**는 신호다. 동시에 모델 다양성에 대한 옵션을 코드 레벨에서 열어두는 설계가 장기적인 기술 부채를 줄이는 핵심 전략이 될 것이다.