음성 AI 시스템, 은은한 오디오 공격에 취약하다

AudioHijack 공격은 LALM(Large Audio-Language Model)이 오디오를 토큰 단위로 처리하는 구조적 특성을 악용한다. 기존 적대적 오디오 공격은 음성 인식이나 분류처럼 단방향 태스크를 대상으로 했지만, 이번 연구는 응답 생성과 도구 호출까지 수행하는 생성형 모델을 직접 겨냥한다. 핵심 기법은 파형의 수치 값을 사람의 청각으로 감지하기 어려운 자연스러운 잔향(reverberation) 형태로 미세 조정하면서, 최적화 알고리즘으로 모델 응답을 측정해 원하는 행동이 나올 때까지 반복 학습시키는 것이다. 토큰화로 인해 손실되는 세밀한 그래디언트 정보를 근사하는 기법과, 모델의 어텐션 메커니즘을 사용자 지시문이 아닌 악성 오디오 쪽으로 끌어당기는 기법을 결합해 평균 79~96%의 성공률을 달성했고, 한 번 학습된 시그널은 사용자가 무슨 말을 하든 재사용 가능한 '컨텍스트 비종속(context-agnostic)' 특성을 가진다.

엔지니어 관점에서 이 연구가 시사하는 위협은 단순한 음성 인식 오류 수준을 넘어선다. 공격자는 사용자 입력 전체를 통제할 필요 없이, AI가 처리하는 오디오 스트림 일부만 조작하면 된다. 즉 유튜브 영상의 배경 오디오, 음악 클립, Zoom 회의 녹음, 음성 메모 등에 악성 명령을 심어두면 사용자가 해당 콘텐츠를 AI 어시스턴트로 요약·분석할 때 임의의 웹 검색, 외부 파일 다운로드, 이메일 전송 같은 툴 사용이 트리거될 수 있다. 더 우려스러운 점은 오픈 가중치 모델(Qwen-Audio 등)에서 학습한 공격이 동일 아키텍처를 공유하는 Microsoft·Mistral의 상용 모델로도 전이된다는 사실, 그리고 OpenAI·Anthropic 같은 폐쇄 모델도 오픈소스 오디오 인코더를 공통 기반으로 사용한다면 동일 공격면이 존재할 수 있다는 점이다. Tool-calling, MCP, Agent 기능을 음성 인터페이스와 결합하는 제품은 사실상 원격 코드 실행급 위험을 떠안게 된다.

방어 측면에서는 기존 LLM 보안 통제가 그대로 작동하지 않는다는 점을 인지해야 한다. 프롬프트 인젝션 예시를 제공하는 in-context defense는 성공률을 7%만 떨어뜨렸고, 응답이 사용자 의도와 일치하는지 모델 스스로 reflection하게 해도 28%만 탐지됐다. 텍스트와 달리 오디오는 특수문자나 의심스러운 문장 같은 휴리스틱이 없어 입력 측 sanitization이 본질적으로 어렵다. 따라서 음성/오디오 AI를 다루는 개발자는 ① 오디오 입력으로부터 발화 가능한 액션 범위를 최소 권한 원칙으로 제한하고(특히 파일 다운로드, 외부 호출, 이메일 송신 같은 부수효과 동반 툴은 별도 사용자 확인 단계 필수), ② tool-calling 결과를 audit log로 남겨 비정상 패턴을 사후 탐지하며, ③ 신뢰할 수 없는 출처의 오디오(업로드된 회의 녹음, 외부 미디어)에서는 자동 툴 실행을 차단하고 텍스트 transcription만 수행하는 격리 모드를 두는 것이 현실적이다.

장기적으로는 모델 내부 어텐션 분포를 모니터링해 비정상적인 토큰 집중도를 탐지하는 방식이 그나마 유효한 방어로 제시됐지만, 공격자가 이를 인지하면 어텐션 조작 강도를 낮춰 우회할 수 있다는 점에서 근본 해법은 아니다. 압축·노이즈·재인코딩 같은 실제 전송 파이프라인의 잡음이 공격 신호를 일부 무력화할 수는 있으나, 멀티모달 입력에 대한 신뢰 경계 설정이라는 본질적인 문제는 여전히 미해결 영역이다. 음성·오디오 기반 AI 에이전트를 설계 중이라면 IEEE S&P에서 발표되는 이 논문과 후속 연구를 추적하고, 자사 제품의 위협 모델에 "오디오 입력 = 신뢰할 수 없는 원격 명령 채널"이라는 가정을 명시적으로 포함시킬 필요가 있다.