Generalizing RNN-Transducer to Out-Domain Audio via Sparse Self-Attention Layers

RNN-Transducer(RNN-T)는 입력된 음향 프레임을 문자 시퀀스로 직접 변환하는 종단간(end-to-end) 음성 인식 프레임워크로, 현재 최고 성능을 보이는 인코더는 합성곱(Convolution)과 자기 주의(Self-Attention) 계층을 결합해 지역적·전역적 문맥을 모두 모델링하는 Conformer 구조이다. 그러나 본 연구는 Conformer RNN-T가 학습 도메인과 다른 환경의 긴 발화에서 단어를 통째로 누락하는 '삭제 오류(deletion error)'가 급격히 증가한다는 문제를 지적한다. 그 원인은 모든 토큰을 서로 연결하는 Fully-Connected Self-Attention이 학습 도메인의 패턴에 과적합되어, 외부 도메인의 긴 시퀀스에서 어텐션이 분산되거나 잘못된 위치에 집중되는 데 있다. 저자들은 이를 해결하기 위해 도메인 의존적인 전역 연결의 대부분을 가지치기(pruning)한 Sparse Self-Attention 계층을 제안하고, 동시에 예측 네트워크(prediction network)의 상태를 일정 시점에 초기화하는 State Reset 기법을 도입했다. 그 결과 외부 도메인 테스트에서 기존 대비 27.6%의 상대적 CER(문자 오류율) 감소라는 의미 있는 일반화 성능 향상을 달성했다.

이 결과는 음성 인식 모델을 상용 서비스에 투입하는 엔지니어에게 매우 실용적인 시사점을 준다. 실제 프로덕션 환경에서는 학습 데이터와 다른 잡음, 화자, 발화 길이가 끊임없이 등장하며, 특히 회의록·콜센터·긴 영상 자막처럼 수십 초 이상 이어지는 long-form 음성에서는 모델이 갑자기 단어를 통째로 빠뜨리는 현상이 빈번히 보고되어 왔다. 본 연구는 그 원인을 단순한 학습 데이터 부족이 아닌 어텐션 구조 자체의 과적합으로 진단했다는 점이 중요하다. 즉, 데이터를 더 넣거나 도메인 적응 학습을 추가하지 않더라도 어텐션 마스크 설계와 디코더 상태 관리만으로 도메인 일반화 성능을 끌어올릴 수 있다는 의미이며, 이는 라벨링 비용이 큰 음성 도메인에서 상당한 비용 절감 효과로 이어진다.

개발자가 실제로 취할 수 있는 행동은 명확하다. 먼저 자신의 ASR 파이프라인이 Conformer 기반이라면 long-form 입력에서의 삭제 오류율(deletion rate)을 별도로 측정해 보아야 한다. 전체 WER/CER만 보면 문제가 가려질 수 있으므로 삽입·치환·삭제를 분리해 모니터링하는 것이 핵심이다. 둘째, ESPnet, NeMo, k2/Icefall 같은 오픈소스 툴킷에서는 어텐션 마스크를 커스터마이즈할 수 있으므로 Local Window Attention이나 Sparse/Longformer 스타일의 마스크를 적용해 실험해볼 가치가 있다. 셋째, RNN-T의 Predictor(또는 Joint 이전 LSTM) 상태를 무한정 누적하지 말고 일정 토큰 또는 침묵 구간마다 리셋하는 로직을 추가하면 긴 발화에서의 안정성이 개선된다. 넷째, 도메인 불일치 평가셋을 CI 파이프라인에 포함시켜 모델 업데이트마다 회귀(regression)를 자동 검증하는 체계를 갖추는 것이 권장된다.

마지막으로 주의할 점은 Sparse Attention과 State Reset이 만능 해법은 아니라는 것이다. 가지치기 비율이 너무 높으면 in-domain 정확도가 떨어질 수 있고, 상태 리셋 주기를 잘못 설정하면 문맥이 필요한 구간에서 인식률이 급락한다. 따라서 도입 시에는 in-domain·out-domain 두 평가셋에서 동시에 트레이드오프를 측정하고, 서비스 특성(짧은 명령어 위주인지, 긴 대화 위주인지)에 맞춰 하이퍼파라미터를 튜닝해야 한다. 이 논문은 "더 큰 모델, 더 많은 데이터"라는 관성에서 벗어나 구조적 귀납 편향(inductive bias)을 조정하는 것만으로도 실전 음성 인식 품질을 크게 끌어올릴 수 있음을 보여준 사례로, 음성 AI 프로덕트를 운영하는 엔지니어라면 반드시 검토해볼 만한 접근이다.