콜봇 루프에서 LLM 응답 실패가 다른 이유
텍스트 챗봇에서 LLM 호출이 실패하면 사용자는 에러 메시지와 재시도 버튼을 봅니다. 콜봇 루프에서는 같은 실패가 발생하는 순간 수화기 너머로 침묵이 흐릅니다 — 사용자는 끊겼는지 생각 중인지 구분할 수 없습니다. 전화 통화는 턴마다 수백 밀리초 안에 응답이 돌아와야 유지되는 상호작용이므로, LLM 프로바이더 장애는 텍스트 인터페이스보다 훨씬 짧은 시간 안에 감지하고 처리해야 합니다. 콜봇 파이프라인은 STT→LLM→TTS 3단 구조이고, 이 중 LLM 단계가 멈추면 오디오만 끊기고 입력은 계속 들어오는 비대칭 장애가 납니다.
같은 프로바이더에 재시도하는 것은 복구가 아니다
업스트림 장애의 원인이 프로바이더 자체(모델 서빙, 레이트리밋, 리전 다운)에 있다면 같은 엔드포인트에 다시 요청을 보내는 것은 장애가 끝날 때까지 지연을 반복할 뿐입니다. LiveKit Agents의 Fallback Adapter처럼 LLM 단계에 폴백 체인을 두는 설계는 실패를 감지하면 다음 모델·프로바이더로 전환하고, 복구되면 가용성 변경 이벤트로 그 사실을 알립니다. 재시도와 전환을 같은 메커니즘으로 섞으면, 첫 실패 때 이미 복구되지 않은 프로바이더에 불필요한 재시도를 반복해 턴 지연이 누적됩니다.
장애 10초 안에 결정되는 것들: LLM 폴백 운영 가이드
LiveKit 공식 문서 기준 Agent Fallback Adapter의 LLM 어댑터는 attempt_timeout 기본값 10.0초, max_retry_per_llm 기본값 1회로 동작합니다 — 한 프로바이더가 10초 안에 응답하지 못하면 재시도 1회 뒤 곧바로 다음 프로바이더로 넘어가는 구조입니다. 이 수치를 그대로 쓰든 자체 값으로 바꾸든, 콜봇 루프는 이 판정에 걸리는 시간을 턴 전체 지연 예산 안에 넣고 설계해야 합니다. 운영 목표로는 폴백 완료까지 15초 이내, 전환 후에도 발화 속도·톤 변화를 사용자가 체감하지 못하는 수준, 월간 LLM 단계 가용성 99.9% 이상을 둘 만합니다.
지연 저하는 완전 장애보다 흔하고 감지가 더 어렵습니다. VideoSDK의 Fallback Adapter는 latency_threshold_ms를 설정하면 LLM 단계의 첫 토큰 응답 시간을 측정해, consecutive_latency_hits(기본값 3회) 연속으로 임계값을 넘을 때 프로바이더를 전환합니다. 완전 실패만 감지하는 설계는 응답은 오지만 느려서 바지인 타이밍이 깨지는 상황을 놓칩니다 — 콜봇에서는 이쪽이 체감 품질 저하의 더 흔한 원인입니다.
첫째 실패 패턴은 재시도와 전환을 구분하지 않아 같은 프로바이더에 반복 요청을 쌓는 경우입니다. 레이트리밋이나 리전 장애가 원인이면 같은 엔드포인트는 복구 전까지 계속 실패하므로, 재시도 카운트 소진이 바로 다음 프로바이더로의 전환 조건이 되어야 합니다.
둘째는 폴백 체인의 순서를 지연 특성 없이 정적으로 고정해 두는 경우입니다. 프로바이더마다 모델·톤·응답 속도가 다르므로, 전환 직후 대화 맥락과 발화 속도가 바뀌어도 사용자가 체감하지 않도록 체인 순서는 지연·비용·톤 유사도를 함께 고려해 정합니다. 전환은 성공시켰지만 복구 판정 없이 영구히 보조 프로바이더에 머무는 것도 패턴입니다 — 1차 프로바이더가 돌아왔는지 주기적으로 재확인(health check)하고, 가용성 복구 이벤트가 뜨면 일정 쿨다운 뒤 트래픽을 되돌립니다.
배포 전에는 STT·LLM·TTS 각 단계별로 폴백 순서를 명시적으로 리스트화하고, 1차 프로바이더를 강제로 응답 지연·오류 상태로 만들어 전환이 10초~15초 예산 안에서 실제로 일어나는지 시나리오 테스트로 확인합니다. 로그에는 프로바이더 ID, 시도 횟수, 전환 사유(타임아웃·지연 임계·명시적 오류), 전환까지 걸린 시간을 필수 필드로 남겨야 사후에 어떤 프로바이더가 얼마나 자주 전환을 유발했는지 추적할 수 있습니다. 통화 내용이 로그에 남는 구조이므로 PII 마스킹 규칙은 폴백 발생 여부와 무관하게 동일하게 적용합니다.
주간 단위로 전환 발생 빈도를 프로바이더별·사유별로 집계해 상위 원인을 추적하고, attempt_timeout·consecutive_latency_hits 같은 임계값은 고정값이 아니라 실제 전환 패턴에 맞춰 조정 대상으로 다룹니다. 전환이 잦은 프로바이더는 체인 순위를 낮추고, 전환이 거의 일어나지 않는다면 임계값이 지나치게 느슨해 품질 저하를 놓치고 있다는 신호로 볼 수 있습니다.
지금 점검할 포인트
콜봇 루프의 LLM 프로바이더 폴백은 재시도와 전환을 구분하는 데서 시작합니다. attempt_timeout·max_retry 같은 하드 실패 기준과 latency_threshold_ms·consecutive_latency_hits 같은 저하 감지 기준을 함께 두고, 전환 사유와 복구 시점을 로그로 남겨 주간 단위로 체인 순서를 조정하면, 어떤 프로바이더가 멈춰도 콜봇은 같은 턴 안에서 사용자가 체감하기 전에 다음 경로로 넘어갈 수 있습니다.
참고 링크
Fallback strategies — LiveKit Docs
Fallback Adapter — VideoSDK Docs
이 글에 대해 AI와 대화하기
AI가 이 글을 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…