콜봇 루프에서 TTS 장애가 다른 단계보다 바로 체감되는 이유
STT·LLM 단계의 장애는 짧은 침묵이나 지연으로 뭉개질 여지가 있지만, TTS 단계의 장애는 사용자가 지금 듣고 있는 소리 자체가 끊기거나 깨지는 방식으로 나타납니다. 화면이 없는 전화 통화에서는 오디오가 한 번만 끊겨도 사용자가 "통화가 끊겼다"고 판단하고 바로 전화를 끊어버리는 경우가 많아, 복구 여지가 STT·LLM보다 좁습니다. 콜봇 루프가 STT→LLM→TTS 3단 구조라고 할 때, TTS는 사용자에게 장애가 숨겨지지 않는 유일한 단계입니다.
발화 경계 안에서만 바뀐다: TTS 폴백만의 제약
LiveKit Agents의 Fallback Adapter는 1차 프로바이더가 오류를 내면 자동으로 백업 프로바이더로 전환하고, 장애난 프로바이더는 unhealthy로 표시한 뒤 주기적으로 상태를 다시 확인(probe)해 복구되면 트래픽을 되돌립니다. 다만 TTS 어댑터는 발화가 재생되는 도중에는 전환하지 않고, 이미 흘러나오고 있는 오디오를 끝까지 재생한 뒤 다음 문장부터 백업 프로바이더를 적용합니다. LLM이나 STT는 턴 단위 전환이라 사용자가 눈치채기 어렵지만, TTS는 한 문장 안에서 목소리가 바뀌면 바로 들리기 때문에 전환 지점을 발화 경계로 제한해 두는 구조입니다.
경계 판정부터 복구 쿨다운까지: TTS 폴백 운영 체계
콜봇을 설계하는 단계에서 TTS 단계의 목표는 숫자로 못박아 둡니다. 1차 프로바이더의 오류·타임아웃 감지까지 2초 이내, 백업 전환 완료까지 다음 문장이 시작되기 전인 1초 이내, 턴 전체로는 TTS 폴백이 3초를 넘기지 않는 것을 목표로 삼을 만합니다. 월간 TTS 단계 가용성은 99.9% 이상을 기준선으로 두고, 이 수치를 밑도는 주가 몇 번인지로 체인 설계의 건강도를 가늠합니다.
실패 패턴 하나는 전환 시점을 발화 경계가 아니라 오류 감지 즉시로 설계하는 경우입니다. 이미 설명한 대로 LiveKit의 TTS 어댑터는 재생 중인 오디오를 끝까지 흘려보낸 뒤에만 전환하는데, 이 경계를 무시하고 오류가 뜨는 즉시 다음 프로바이더로 끼워 넣으면 같은 문장 중간에 목소리가 바뀌는 어색함이 사용자에게 바로 전달됩니다.
다른 하나는 백업 보이스를 프로바이더 기본값에 맡기는 경우입니다. 보이스 ID는 설정값이지 자동으로 비슷하게 맞춰지는 값이 아닙니다 — LiveKit 공식 예제는 Cartesia를 1차로, Inworld의 "Ashley" 보이스를 백업으로 지정하는 식으로 톤·성별·억양이 가까운 보이스를 미리 오디션해 고정해 둡니다. 이 과정을 생략하면 전환 이후 사용자가 다른 사람과 통화하고 있다는 느낌을 받습니다.
운영 체크리스트에는 서킷 브레이커 설정이 들어갑니다. VideoSDK의 Fallback Adapter는 TTS 단계에 임시 비활성 구간과, 설정한 횟수만큼 연속 실패하면 완전 비활성으로 넘어가는 두 단계 차단을 둡니다. 임시 비활성 구간이 없으면 간헐적으로만 장애가 나는 프로바이더에 매 턴 다시 요청을 걸어 지연이 쌓이고, 완전 비활성 전환이 없으면 죽은 프로바이더가 체인 1순위 자리를 계속 차지하게 됩니다.
배포 전에는 1차 TTS 프로바이더를 강제로 타임아웃·5xx 상태로 만들어, 전환이 발화 경계 안에서 실제로 일어나는지 시나리오 테스트로 확인합니다. 로그에는 프로바이더 ID, 전환 사유, 전환까지 걸린 시간, 전환 시점이 발화 경계와 맞았는지를 필수 필드로 남겨야 사후에 추적할 수 있습니다. 통화 녹음·텍스트가 로그에 함께 남는 구조이므로, PII 마스킹 규칙은 폴백 발생 여부와 무관하게 동일하게 적용합니다.
주간 단위로 TTS 전환 빈도를 프로바이더별·사유별로 집계해 상위 원인을 추적합니다. 전환이 잦은 프로바이더는 체인 순위를 낮추고, 전환이 거의 일어나지 않는다면 임시 비활성 구간이 지나치게 넓어 품질 저하를 체인이 놓치고 있다는 신호로 다시 점검합니다.
지금 확인할 전환 기준
콜봇 루프의 TTS 폴백은 발화 경계 안에서만 전환하고 백업 보이스의 톤·억양을 미리 맞춰 두는 데서 시작합니다. 서킷 브레이커로 임시·완전 비활성을 구분하고 전환 사유와 시점을 로그로 남겨 주간 단위로 체인 순서를 조정하면, TTS 프로바이더가 멈춰도 사용자는 같은 통화 안에서 그 사실을 알아차리기 전에 다음 목소리로 넘어갈 수 있습니다.
참고 링크
Fallback strategies — LiveKit Docs
Fallback Adapter — VideoSDK Docs
이 글에 대해 AI와 대화하기
AI가 이 글을 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…