새로운 오픈소스 음성 모델이 지속적으로 듣고 0.4초마다 말할지 말지 결정

Audio Interaction이 기존 GPT-4o나 Qwen3.5-Omni 계열의 음성 모델과 근본적으로 다른 지점은 "녹음 종료"라는 턴(turn) 경계에 의존하지 않는다는 데 있다. 전통적인 음성 파이프라인은 사용자가 말을 멈추면(VAD, Voice Activity Detection으로 무음 구간을 감지) 그제야 STT→LLM→TTS로 이어지는 순차 처리를 시작하는 반(half)-duplex 구조다. 반면 이 모델은 오디오 스트림을 끊김 없이 받아들이면서 약 0.4초(400ms) 단위로 "지금 말할지, 계속 침묵할지"를 스스로 판단한다. 이는 입력 인코딩과 출력 디코딩이 동시에 진행되는 풀 듀플렉스(full-duplex) 설계를 의미하며, 모델이 매 프레임마다 발화/비발화를 결정하는 일종의 상시 정책(policy) 헤드를 내장한 것으로 볼 수 있다. 그 결과 번역·전사·대화는 물론 기침 같은 비언어적 생활 소음까지 하나의 통합 스트림에서 처리한다.

엔지니어 관점에서 가장 큰 변화는 지연시간(latency)과 인터랙션 모델의 재설계다. 기존 음성 봇이 답답하게 느껴졌던 핵심 원인은 "끝말 감지 → 처리 시작"의 구조적 지연과, 사용자가 말을 끊고 들어오는 바지인(barge-in)을 매끄럽게 처리하지 못하는 데 있었다. 0.4초 주기의 상시 판단 구조는 자연스러운 끼어들기, 맞장구, 침묵 유지를 가능하게 해 실제 사람 간 대화에 훨씬 가까운 응답성을 제공한다. 더 중요한 것은 라이선스다. Apache 2.0으로 코드와 모델 가중치, 다운로드 방법이 GitHub에 공개되어 상업적 이용·수정·재배포가 자유롭다는 점은, 외부 음성 API에 종속되지 않고 온프레미스나 엣지 환경에서 실시간 음성 에이전트를 직접 구축하려는 팀에게 결정적인 선택지가 된다. 콜센터, 실시간 통역, 접근성 보조 도구, 음성 기반 IoT 등에서 응답성과 데이터 주권을 동시에 확보할 수 있다.

다만 도입을 검토하는 개발자라면 몇 가지를 실측으로 확인해야 한다. 첫째, 풀 듀플렉스 상시 추론은 입력을 계속 인코딩하므로 토큰/연산 부하가 턴 기반 모델보다 지속적으로 발생한다. 0.4초 주기 판단을 실시간으로 유지하려면 GPU 메모리와 스트리밍 추론 처리량(throughput)을 실제 워크로드로 벤치마킹해야 하며, 엣지 배포 시 양자화·배치 전략이 관건이 된다. 둘째, 학습 데이터가 "추후 공개" 상태라는 점은 재현성과 도메인 적합성(한국어 등 특정 언어·억양 성능)을 사전에 검증하기 어렵게 만든다. 한국어 음성 비중과 비언어 소음 분류 정확도는 직접 테스트해 봐야 한다. 셋째, 풀 듀플렉스 구조는 클라이언트와의 양방향 스트리밍 소켓(WebRTC/gRPC streaming 등) 설계, 에코·하울링 제거, 동시 발화 충돌 처리 같은 인프라 작업을 수반한다.

실무적으로는 곧바로 프로덕션에 투입하기보다, GitHub 저장소를 클론해 자사 대표 시나리오(한국어 대화, 통역, 잡음 환경)로 PoC를 돌려 지연시간과 정확도를 기존 API 대비 정량 비교하는 것을 권한다. Apache 2.0이라는 이점이 분명한 만큼, 외부 음성 API 비용이 부담되거나 데이터 외부 반출이 제약인 조직이라면 우선순위를 높여 검토할 가치가 있다. 또한 학습 데이터 공개와 커뮤니티 파인튜닝 동향을 추적하면, 향후 한국어 특화 가중치가 등장할 때 빠르게 합류할 수 있을 것이다.