생각 기계 실험실, 첫 모델 출시 및 OpenAI의 음성 인터랙션 오류 지적

Thinking Machines Lab(미라 무라티가 창업한 OpenAI 출신 스타트업)이 공개한 첫 모델은 음성 AI의 기존 패러다임인 "질문-응답(turn-taking)" 구조를 깨려는 시도다. 기존 GPT Realtime이나 Gemini Live는 사용자의 발화가 끝났음을 VAD(Voice Activity Detection)로 감지한 뒤 응답을 생성하는 방식이라, 끼어들기·중첩 대화·실시간 피드백 같은 인간 대화의 본질적 특성을 재현하기 어렵다. 반면 Thinking Machines의 모델은 오디오·비디오·텍스트를 200밀리초 단위 청크로 쪼개 병렬 처리한다. 즉 입력 스트림이 들어오는 동안에도 모델이 동시에 추론을 진행해 "다음에 무엇을 말할지" 또는 "지금 끼어들어야 할지"를 지속적으로 갱신할 수 있다는 의미다. 인간의 청각 처리 지연이 약 200ms 수준임을 감안하면, 이 청크 크기는 단순한 엔지니어링 선택이 아니라 자연스러운 상호작용성을 확보하기 위한 인지과학적 결정에 가깝다.

엔지니어 입장에서 이 변화의 핵심은 음성 애플리케이션 아키텍처가 "STT → LLM → TTS" 파이프라인이나 단일 멀티모달 모델의 turn-based API에서 진정한 풀듀플렉스(full-duplex) 스트리밍 모델로 이동한다는 점이다. 이는 콜센터 봇, 음성 코딩 어시스턴트, 동시통역, 라이브 영상 분석 같은 도메인에서 게임체인저가 될 수 있다. 특히 한국어처럼 어순상 술어가 문장 끝에 오는 언어는 기존 turn-taking 모델에서 응답 지연이 심하게 누적되는데, 청크 단위 병렬 처리는 이 문제를 구조적으로 완화한다. 다만 이런 모델은 더 복잡한 상태 관리(부분 가설 추적, 중단 처리, 백채널 신호)를 요구하기 때문에, SDK 추상화 수준에 따라 클라이언트 측 구현 복잡도가 크게 달라질 것이다.

당장 액션 아이템 차원에서, 음성 기반 제품을 개발 중이라면 OpenAI Realtime API의 turn-detection 옵션과 Gemini Live의 bidiGenerateContent 스트리밍 구조를 다시 검토해 둘 필요가 있다. Thinking Machines가 모델 가중치 공개나 자체 API를 어떤 형태로 제공할지는 아직 불확실하지만, 상호작용 품질을 측정하는 벤치마크(응답 지연, 끼어들기 정확도, 백채널 자연스러움 등)가 새로운 평가 축으로 자리잡을 가능성이 높다. 따라서 자사 음성 제품의 KPI에 단순 WER이나 응답 정확도뿐 아니라 end-to-end 상호작용 지연, 사용자 발화 중첩 처리율 같은 지표를 추가하고, 청크 기반 스트리밍을 전제로 한 백엔드(WebRTC, gRPC bidirectional streaming) 인프라 검토를 미리 시작해두는 것이 합리적이다. 단기적으로는 OpenAI/Google 스택을 유지하더라도, 6~12개월 내에 풀듀플렉스 모델로의 마이그레이션 경로를 설계 문서에 반영해 두는 것이 기술 부채를 줄이는 길이다.