초당 여러 번 판단하는 음성 모델
OpenAI가 2026년 7월 8일 공개한 GPT-Live는 사용자의 발화를 듣는 동안에도 자신의 음성 출력을 동시에 생성하는 풀듀플렉스 구조로 작동합니다. 순서대로 주고받는 턴 방식과 달리 입력과 출력을 끊임없이 병렬 처리하면서, 말할지·계속 들을지·멈출지·끼어들지·도구를 호출할지를 초당 여러 차례 판단합니다. GPT-Live-1과 경량판 GPT-Live-1 mini 두 규격이 ChatGPT 음성 모드의 새 기본값으로 순차 전환되며, 개발자는 Realtime API로 같은 모델에 접근할 수 있습니다.
백그라운드 위임이 새로 만드는 실패 지점
검색이나 깊은 추론, 복잡한 작업이 필요한 질문이 들어오면 GPT-Live는 대화 흐름을 유지한 채 GPT-5.5에 작업을 위임하고 결과가 준비되면 대화 안으로 가져옵니다. 텍스트 챗봇의 도구 호출은 사용자가 응답을 기다리는 동안 화면이 멈춰 있어도 무방하지만, 음성 대화에서는 위임이 진행되는 동안 자연스러운 대기 발화나 후속 질문으로 공백을 채워야 통화가 끊기지 않습니다. 이 위임 경로 자체가 텍스트 에이전트에는 없던 새로운 실패 지점입니다.
바지인부터 배포까지: 풀듀플렉스 음성 에이전트 운영 가이드
목표 지표는 음성 특유의 항목으로 따로 세웁니다. 사용자가 실제로 끼어들었을 때 이를 인식하는 바지인 인식률은 95% 이상, 배경 소음이나 헛기침을 끼어들기로 오인하는 오탐률은 5% 이하를 출발 기준으로 둡니다. GPT-5.5 위임 왕복 지연은 p95 3초 이내로 잡아야 대기 발화만으로 자연스럽게 메울 수 있는 구간에 머뭅니다.
실패는 세 갈래로 나타납니다. 첫째, 오탐 바지인입니다. 기침이나 배경 소리를 끼어들기로 오인해 모델이 스스로 말을 끊으면 대화가 부자연스러워지고, 반대로 실제 끼어들기를 놓치면 사용자가 무시당했다고 느낍니다. 둘째, 위임 대기 중 발생하는 공백입니다. GPT-5.5 응답이 지연되는데 채울 발화가 없으면 사용자는 연결이 끊긴 것으로 오해합니다.
셋째, 톤 드리프트입니다. 출시 초기 이용자들 사이에서 모델이 지나치게 들뜬 어조로 반응한다는 불만이 나왔던 것처럼, 지속되는 대화에서 페르소나가 서서히 과장된 쪽으로 흘러갈 수 있습니다. 복구 전략은 세 갈래 모두에 중단 조건을 미리 심어 두는 것입니다. 바지인 신뢰도가 임계값 아래면 끼어들지 않고 듣기만 지속하고, 위임 응답이 임계 시간을 넘기면 정해진 대기 발화 세트로 자동 전환하며, 톤 이탈이 감지되면 세션을 기본 페르소나로 강제 리셋합니다.
배포 전 시나리오 테스트에는 다중 화자 겹침, 배경 소음이 섞인 끼어들기, 위임 응답 지연 시뮬레이션을 필수로 넣습니다. 로그에는 발화 시작·종료 타임스탬프, 바지인 판정 결과와 신뢰도, 위임 호출 여부와 왕복 시간, 안전 필터 플래그를 필드로 남겨 사후에 어느 판단이 잘못됐는지 추적할 수 있게 합니다.
실시간으로 스트리밍되는 음성 출력은 문장이 끝나기 전에 이미 재생이 시작되므로, 유해 콘텐츠 필터링도 완결된 응답이 아니라 스트리밍 청크 단위로 걸어야 합니다. 통화 트랜스크립트에 담기는 개인정보는 저장 전 자동 마스킹을 거치게 하고, 필터가 청크 단위 판정에 실패하면 해당 세션의 오디오 출력을 즉시 무음 처리하는 안전 축약 경로를 둡니다.
주 단위로 바지인 오탐·미탐 사례와 위임 지연 초과 사례를 유형별로 집계해 어떤 배경 소음 패턴이나 질의 유형에서 실패가 몰리는지 추적합니다. 모델 버전 변경과 바지인 임계값 조정 이력을 분리해 남기면, 다음 세대 음성 모델로 넘어갈 때도 어느 변경이 회귀를 일으켰는지 빠르게 좁힐 수 있습니다.
지금 확인할 운영 기준
풀듀플렉스 음성 모델은 텍스트 에이전트의 턴 기반 안전장치를 그대로 옮겨 쓸 수 없습니다. 바지인 인식률 95%·오탐률 5% 이하, 위임 왕복 지연 p95 3초라는 세 숫자를 먼저 고정하고 스트리밍 청크 단위 안전 필터와 톤 드리프트 리셋 경로를 갖추면 초당 여러 번 판단하는 대화형 시스템도 사람이 검증할 수 있는 운영 대상이 됩니다.