퍼플렉시티, 로컬과 클라우드에서 실행되는 AI 모델을 자동으로 선택하는 하이브리드 AI 시스템 발표

Perplexity가 발표한 시스템의 핵심은 '오케스트레이터'로, 로컬 디바이스에서 구동되는 경량 AI 모델과 클라우드의 대형 모델을 결합한 뒤 각 작업을 어디서 처리할지 자동으로 판단하는 라우팅 계층입니다. 기술적으로 이는 하이브리드 추론(hybrid inference) 아키텍처에 해당하는데, 단순하거나 지연시간에 민감하거나 프라이버시가 중요한 요청은 온디바이스 모델이 처리하고, 복잡한 추론이나 방대한 컨텍스트가 필요한 작업은 클라우드로 위임하는 방식입니다. 관건은 이 라우팅 결정을 내리는 정책(policy) 엔진으로, 요청의 복잡도·예상 토큰 수·필요한 도구 호출·네트워크 상태 등을 종합해 비용과 품질, 응답 속도 사이의 트레이드오프를 실시간으로 최적화합니다. 이는 최근 업계 전반에서 부상하는 'model routing' 및 'edge-cloud 협업' 흐름과 맞닿아 있습니다.

엔지니어 입장에서 가장 직접적인 영향은 비용과 레이턴시 구조의 변화입니다. 그동안 모든 호출을 클라우드 대형 모델에 보내면서 발생하던 API 비용과 왕복 지연을 줄이고, 자주 발생하는 단순 작업을 로컬에서 흡수해 전체 처리량을 끌어올릴 수 있습니다. 또한 코드 스니펫, 사내 문서, 개인 데이터처럼 외부로 내보내기 꺼려지는 입력을 로컬에서 처리할 수 있다는 점은 프라이버시·컴플라이언스 관점에서 의미가 큽니다. 다만 라우팅이 '자동'이라는 점은 양날의 검입니다. 어떤 요청이 로컬로 떨어지고 어떤 요청이 클라우드로 가는지 개발자가 투명하게 통제하거나 관측(observability)하지 못하면, 출력 품질이 일관되지 않거나 민감 데이터가 의도치 않게 클라우드로 전송되는 상황을 디버깅하기 어려워집니다.

실무적으로는 이런 하이브리드 패턴이 특정 제품의 기능을 넘어 애플리케이션 설계의 표준 옵션으로 자리잡고 있다는 점을 인지하는 것이 중요합니다. 당장 Perplexity 시스템을 도입하지 않더라도, 자체 AI 기능을 만들 때 '모든 것을 GPT/Claude 같은 단일 대형 모델에 보낸다'는 가정에서 벗어나, 작업 난이도에 따라 모델 계층을 나누는 라우팅 설계를 검토해 볼 가치가 있습니다. 검토 시 체크할 항목으로는 ① 라우팅 결정의 로깅·추적 가능 여부, ② 로컬·클라우드 모델 간 출력 품질 편차 측정, ③ 어떤 데이터가 외부로 나가는지에 대한 명시적 정책과 옵트아웃 제어, ④ 온디바이스 추론에 필요한 하드웨어 요구사항(메모리·NPU/GPU)이 대상 사용자 환경과 맞는지 등이 있습니다. 결국 이 흐름의 본질은 '단일 모델 의존'에서 '작업 특성에 맞춘 모델 포트폴리오 운영'으로의 전환이며, 이를 일찍 설계 사고에 반영하는 팀이 비용·속도·프라이버시 면에서 유리한 위치를 점하게 될 것입니다.