인터럽션은 타이밍이 아니라 루프의 문제다

바지인(barge-in)과 음성 활동 감지(VAD)는 사용자가 "언제" 끼어들었는지 잡아내는 계층일 뿐이다. 진짜 운영 리스크는 그다음, 끼어든 이후 대화 루프가 어느 상태로 돌아가는가에 있다. Google Gemini Live API 문서는 자동 VAD에서 침묵 지속시간(silenceDurationMs)을 500~800ms로 맞추라고 권장해 발화 종료 판단과 응답 지연의 균형을 잡는다. 다만 이 값은 인터럽션 "감지" 속도만 개선할 뿐, 감지 이후 세션이 어느 단계로 복귀할지는 별도 설계 몫으로 남는다.

재개 정확도·개입 반영·재전달 방지, 세 갈래 요구

최근 공개된 IHBench 벤치마크는 상태 머신 기반 워크플로를 수행하는 음성 에이전트에 발화 도중 여섯 가지 유형의 인터럽션을 주입하고, 세 가지 기준으로 평가한다 — 정확한 단계에서 워크플로를 재개하는지, 사용자가 끼어들며 던진 정정·거절·추가 질문을 실제로 반영하는지, 이미 전달한 내용을 다시 반복하지 않는지. 이 세 축은 챗봇·콜봇 루프 설계의 요구사항 그 자체다. 재개는 정확해야 하고 개입은 무시되면 안 되며, 반복은 이탈로 직결된다.

설계에서 운영까지: 인터럽션 복구 루프 구축 로드맵

기획 단계에서는 대응을 "감지 지연"과 "복구 정확도"로 나눠 수치 목표를 세운다. 인터럽션 감지부터 응답 정지까지 300ms 이내, 재개 정확도(올바른 상태 복귀 비율) 95% 이상, 재전달률(이미 들려준 내용 재반복 비율) 5% 이하를 배포 기준으로 삼는다. IHBench의 세 평가 축을 그대로 운영 KPI로 가져오면 별도 지표 체계를 새로 만들 필요가 없다.

목표를 수치로 잡았다면 워크플로를 상태 머신으로 명시한다. 질문→확인→처리→완료 같은 전이마다 "인터럽션 발생 시 어느 상태로 되돌아갈지"를 미리 정의해두지 않으면, 런타임 임기응변으로 재개 지점이 세션마다 달라지는 비일관성이 쌓인다.

흔한 실패 패턴 하나는 인터럽션 내용을 무시하고 원래 스크립트를 이어가는 "듣는 척" 오류다. 사용자가 "잠깐, 금액부터"라고 끼어들어도 순서대로 안내를 계속하는 경우다. 복구 전략은 인터럽션 발화를 별도 인텐트로 우선 파싱해 분기를 삽입하고, 분기 처리 후에만 원래 상태로 복귀시키는 것이다.

또 다른 실패 패턴은 이미 전달한 안내를 처음부터 다시 재생하는 "리셋형 재개"다. 바지인 이후 컨텍스트를 통째로 버리고 웰컴 멘트부터 다시 시작하는 구현이 흔하다. 복구 전략은 세션에 "마지막 전달 완료 발화 인덱스"를 유지해 그 지점 이후부터만 이어 말하게 하고, 재시도도 전체 재시작 대신 마지막 완료 지점부터의 부분 재시도로 한정하는 것이다.

중단 조건과 백오프도 미리 정한다. 동일 워크플로 단계에서 인터럽션이 3회 이상 반복되면 자동 복구를 멈추고 사람 상담으로 전환하는 안전 축약 조건을 둔다. 재개는 즉시가 아니라 200~500ms 백오프 후 발화가 실제로 끝났는지 재확인하면, 끼어든 것으로 착각해 재개를 반복하는 오탐이 줄어든다.

배포 전 품질 관리에서는 IHBench가 다루는 여섯 가지 인터럽션 유형(정정·거절·반문·추가 정보 제공·무관한 발화·조기 확인)을 시나리오 테스트 셋으로 재현해 유형별 재개 정확도를 배포 게이트로 삼는다. 로그에는 인터럽션 발생 시각·그 시점 상태·재개 후 상태·재전달 여부를 표준 필드로 남기고, 발화 원문은 결제 정보·주민등록번호 등을 마스킹한 뒤 저장한다.

지속 개선 루프는 주간 단위로 돌린다. 재개 실패가 가장 많은 상태·인터럽션 유형 조합을 상위로 뽑아 원인을 분리하고, 상태 머신 구조 변경과 복구 로직만의 변경을 서로 다른 로그로 관리해야 회귀 원인을 빠르게 추적한다.

한눈에 보는 적용 포인트

챗봇·콜봇 루프 엔지니어링의 핵심은 인터럽션을 빨리 감지하는 것이 아니라, 정확한 지점에서 개입 내용을 반영해 반복 없이 재개하는 것이다. 재개 정확도 95% 이상·재전달률 5% 이하처럼 측정 가능한 지표로 기준을 세우고, 같은 단계에서 인터럽션이 반복되면 사람 상담으로 넘어가는 축약 경로를 미리 마련해두는 편이 사후 대응보다 저렴하다.

참고 링크

Google AI for Developers – Live API capabilities guide

arXiv – IHBench: Evaluating Post-Interruption Recovery in Voice Agents with Structured Workflows