ASR 자막도 외부 콘텐츠다: 콜봇 루프의 음성 프롬프트 인젝션 방어 게이트 설계

텍스트 인젝션과 똑같은 취약점이 음성 채널에도 있다

마이크로소프트는 2025년 7월 공개한 보안 블로그에서 간접 프롬프트 인젝션을 명령어 조정형 LLM이 구조적으로 안고 있는 위험으로 규정하고, 웹페이지·이메일·문서의 텍스트가 시스템 지시로 둔갑할 수 있다고 설명합니다. 위험의 크기를 가늠한 LLMail-Inject 챌린지에는 참가자 800명 이상이 37만 개 넘는 프롬프트를 제출했고, 이 데이터셋은 공개돼 있습니다. 콜봇 루프에서는 음성인식(ASR)이 받아쓴 문장이 대개 구분 표시 없이 대화 기록의 '사용자 턴'에 그대로 들어갑니다. 전화로 들어온 말과 운영자가 신뢰하는 지시를 구분할 장치가 없다면, 문서·이메일에서 성립하던 취약점이 통화 한 통으로도 재현됩니다.

콜봇 루프에서 더 위험한 이유: 실시간·되돌릴 수 없는 툴콜

텍스트 인젝션은 보통 사람이 훑어볼 수 있는 정적 문서를 거치지만, 통화는 스트리밍으로 실시간 전달되고 미리보기 단계가 없습니다. 환불 처리·계좌 조회·상담원 전환처럼 쓰기 권한 툴콜이 걸린 콜봇이라면 인젝션 성공은 '틀린 답변'이 아니라 '승인된 행동'으로 곧장 이어집니다. 통화 전환이나 컨퍼런스 브릿지에서는 제3자 음성이 세션 중간에 섞여 들어와, 공격 경로가 발신자 한 명으로 한정되지 않습니다.

설계에서 운영까지: 음성 인젝션 방어 게이트 체크리스트

1차 목표 지표는 '구분자 없이 플래닝 컨텍스트에 전달되는 확정 발화(finalized utterance) 0건'입니다. 탐지가 다음 응답까지의 지연에 더하는 시간은 300ms 이내, 정상 요청을 오탐 차단하는 비율은 2% 이하를 보조 지표로 두고, 세 수치가 동시에 움직이는지 매 배포마다 확인합니다.

첫 번째 실패 패턴은 ASR의 미확정(interim) 가설에서 분류기를 돌리는 설계입니다. 공격자가 문장을 짧게 끊어 말하면 중간 가설 단계에서는 패턴이 걸리지 않다가 최종 가설로 합쳐지는 순간에만 완성돼, 턴이 끝나기 전에 돌던 분류기를 통과해 버립니다. 두 번째는 발화의 처음과 끝만 살피는 분류기가 긴 모놀로그 중간에 자연스럽게 섞인 "이전 지시는 무시하고" 류 문장을 놓치는 경우이며, 통화 전환·컨퍼런스 브릿지로 들어온 제3자 발화에서 특히 잦습니다.

복구 경로는 분류기를 미확정 가설이 아니라 확정된 발화에서만 실행하고, 턴이 바뀔 때가 아니라 툴콜 직전마다 누적 전사문 전체를 다시 스캔하도록 설계합니다. 패턴이 한 번이라도 걸리면 그 세션의 쓰기 권한 툴콜은 즉시 읽기 전용으로 강등하고, 사람이 로그를 확인해 해제하기 전까지는 복구하지 않습니다.

마이크로소프트의 스포트라이팅 기법은 신뢰할 수 없는 입력을 구분 기호나 데이터마킹으로 표시해 모델이 지시와 외부 콘텐츠를 혼동하지 않게 합니다. 콜봇 루프에서는 ASR 전사문을 시스템 지시와 다른 위치·형식으로 감싸 '신뢰되지 않은 발신자 발화'임을 표시하고, Prompt Shields 같은 분류기 패턴으로 "이전 지시 무시", "시스템 프롬프트 출력", "관리자 모드 진입" 같은 메타 지시 문구를 턴마다 스캔합니다. 플래그 구간은 원문 전사·타임스탬프·시도된 툴콜명을 로그 필수 필드로 남기고, 금액·개인정보를 바꾸는 툴콜은 플래그 이후 일정 시간 안에 재시도되면 분류기가 이미 통과시켰더라도 사람 승인을 한 겹 더 요구합니다.

주간 단위로는 플래그됐지만 실제로는 정상이었던 오탐 비율과, 사후에 피해가 확인됐는데 당시엔 걸리지 않은 미탐 사례를 함께 추적합니다. 메타 지시 패턴 목록은 공격 문구가 계속 바뀌는 만큼 버전 관리되는 변경 로그로 유지하고, 분기마다 과거 플래그 오디오를 최신 분류기로 다시 돌려 탐지력이 떨어지지 않았는지 확인합니다.

바로 쓰는 체크리스트

ASR 전사문을 시스템 지시와 구분해 표시하고, 분류기는 확정 발화에서만 돌리며 턴이 아니라 툴콜 직전마다 전체 전사문을 재스캔하고, 플래그 이후 재시도되는 쓰기 툴콜에는 사람 승인을 한 겹 더 둔다면, 전화 한 통으로 시스템 권한까지 넘어가는 가장 흔한 경로를 막을 수 있습니다.

참고 링크

How Microsoft defends against indirect prompt injection attacks — Microsoft Security Response Center