테넌트 격리는 플랫폼이 공짜로 주지 않는다
Twilio는 계정(서브계정 포함) 단위로 동시 활성 통화 수와 초당 신규 콜 생성 건수(CPS)를 따로 제한합니다. 기본값은 계정마다 CPS 1건이며, 콘솔에서 자가 신청하면 일반 전화 발신(Programmable Voice)은 최대 30 CPS, SIP 트렁크는 최대 15 CPS까지 올릴 수 있습니다. 서브계정의 CPS·동시성은 상위 계정이나 다른 서브계정과 합산되지 않아, 서브계정 단위 분리가 가장 명확한 테넌트 경계가 됩니다.
LiveKit Cloud는 반대로 프로젝트 단위로 한도를 겁니다. Build 플랜은 동시 에이전트 세션 5개, Ship 플랜은 20개로 묶여 있고, LLM 호출에는 분당 요청 수(RPM)·토큰 수(TPM) 한도가 따로 걸립니다. 여러 고객(테넌트)의 콜봇을 같은 LiveKit 프로젝트 하나로 운영하면, 이 한도는 프로젝트 전체에 걸려 테넌트별로 쪼개지지 않습니다.
소음 이웃 문제, 한 테넌트의 버스트가 다른 테넌트를 막는다
서브계정을 쓰지 않고 플랫폼 전체 CPS를 공유하면, 한 테넌트가 아웃바운드 캠페인을 몰아서 돌릴 때 다른 테넌트의 긴급 콜까지 같은 선입선출 큐에 쌓입니다. 1 CPS 계정의 큐는 최대 24시간, 하루 86,400건까지 쌓을 수 있다는 게 Twilio 공식 문서의 설명인데, 이 큐 안에서는 어느 테넌트의 콜인지 구분되지 않습니다.
LLM 계층에서도 같은 문제가 반복됩니다. 테넌트별 RPM 예산을 떼어두지 않으면, 특정 테넌트의 대량 발신이 공용 LLM 요청 큐를 점유해 다른 테넌트 콜의 응답 지연이 늘어납니다.
설계에서 운영까지, 멀티테넌트 콜봇 루프 격리 체크리스트
테넌트 경계를 먼저 정의합니다. 신규 멀티테넌트 콜봇 플랫폼은 테넌트당 CPS·동시 통화·LLM RPM 쿼터를 계약 한도의 비율로 코드에 박습니다. 예를 들어 플랫폼 전체 계약이 30 CPS라면 개별 테넌트 상한은 전체의 40%인 12 CPS를 넘지 않게 두어, 테넌트 세 곳이 동시에 몰려도 한 곳이 전체를 소진하지 못하게 합니다.
Twilio라면 테넌트마다 서브계정을 발급해 CPS·동시성·발신자 ID를 분리하고, LiveKit이라면 애플리케이션 계층에서 테넌트 ID 키로 토큰 버킷을 두어 프로젝트 공통 한도를 테넌트별로 재분배합니다. 공용 LLM API 앞에는 테넌트별 세마포어를 두어, 계약 RPM의 70%는 콜봇 루프 전용으로, 나머지는 텍스트 챗봇과 배치 작업에 남겨둡니다.
한 테넌트가 상한을 넘기면 신규 콜 생성을 즉시 거절하거나 저우선순위 큐로 돌려보내되, 다른 테넌트의 큐까지 막지 않도록 큐 자체를 테넌트별로 분리합니다. 공용 큐 하나만 쓰면 버스트 테넌트의 콜이 먼저 쌓여, 뒤에 들어온 다른 테넌트의 긴급 콜이 몇 시간 뒤에야 발신됩니다.
LLM 계층에서 특정 테넌트의 세마포어가 소진되면 그 테넌트만 스크립트 기반 폴백 응답으로 전환하고, 다른 테넌트의 요청은 정상 경로를 유지합니다. 테넌트 격리가 없으면 한 테넌트의 장애가 전체 폴백 전환으로 번져 복구 범위를 특정하기 어려워집니다.
배포 전에는 테넌트 하나를 의도적으로 상한의 150%까지 부하를 걸어, 다른 테넌트의 응답 지연·실패율이 영향받지 않는지 격리 테스트를 거칩니다. 통화 로그·LLM 호출 로그에는 tenant_id 필드를 반드시 남기고, 전화번호·통화 녹취 같은 PII는 테넌트 구분과 무관하게 마스킹한 뒤 저장합니다. 테넌트 간 영향 0건, 격리 테스트 통과율 100%를 배포 합격선으로 둡니다.
매주 테넌트별 CPS·동시성·LLM RPM 사용률 상위 구간을 집계해, 특정 테넌트가 반복적으로 80% 이상을 쓰면 쿼터 재협상이나 전용 서브계정 분리를 검토합니다. 쿼터 변경은 계약 조건과 직결되므로 최소 2주치 사용률 추이를 근거로 결정합니다.
바로 쓰는 체크리스트
멀티테넌트 콜봇 루프에서 통신사·LLM API가 거는 한도는 계정·프로젝트 단위로만 걸리고 테넌트별로 자동 분리되지 않습니다. 테넌트당 쿼터를 계약 한도의 비율로 코드에 박고 큐·세마포어를 테넌트별로 나누고 격리 테스트 통과율 100%를 배포 기준으로 두면, 한 테넌트의 버스트가 다른 테넌트의 서비스 품질을 갉아먹는 사고를 막을 수 있습니다.
참고 링크
Twilio — Understanding CPS and Concurrent Call Limits in Twilio
LiveKit Cloud — Quotas and limits
이 글에 대해 AI와 대화하기
AI가 이 글을 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…