하루 1만5000달러가 쌓인다: 콜봇 루프의 위기·자해 표현 감지 에스컬레이션 게이트 설계

법이 먼저 게이트를 요구하기 시작했다

2025년 11월 5일 시행된 뉴욕주 AI 동반자법은 운영자가 자살·자해 표현을 감지해 위기 서비스로 연계하는 프로토콜을 갖추도록 의무화했습니다. 위반 시 주 검찰총장이 하루 최대 1만5000달러의 민사 벌금을 부과할 수 있고, 대화가 이어지는 한 3시간마다 상대가 사람이 아니라는 사실을 다시 알려야 합니다. 이 요구는 텍스트 챗봇에 머물지 않습니다 — 음성 콜봇 루프에서는 ASR이 만든 전사 텍스트가 곧 감지 대상이 되므로, 통화 품질 저하나 전사 지연이 게이트 자체의 신뢰도를 흔듭니다.

감지 레이어와 에스컬레이션 레이어는 나눠야 한다

앤트로픽 사용정책은 정신건강 관련 고위험 콘텐츠에 대해 자격을 갖춘 사람이 검토한 뒤에만 그 결과가 개인에게 전달되도록 요구합니다. 콜봇 루프에 옮기면 두 가지를 분리하라는 뜻입니다. 매 턴 전사를 분류기에 거는 감지 레이어와, 사람 상담사·위기센터로 넘기는 에스컬레이션 레이어는 임계값과 실패 복구 경로가 서로 다르므로 한 모듈에 섞으면 둘 다 튜닝할 수 없게 됩니다.

오탐과 누락은 같은 지표로 잡히지 않는다

민감한 분류기는 매 통화 알람을 쌓아 상담사가 신호를 무시하게 만들고, 둔감한 분류기는 실제 위기를 그대로 통과시킵니다. 두 실패는 복구 방법이 정반대이므로 재현율과 오탐률을 분리된 목표로 관리해야 합니다.

설계에서 핸드오프까지: 위기 감지 게이트 운영 가이드

기획 단계에서 숫자를 먼저 고정합니다. 위기 표현 분류기의 재현율 목표는 95% 이상, 오탐률 상한은 2% 이내로 두고, 에스컬레이션이 트리거된 뒤 사람 상담사로 핸드오프가 완료되기까지는 30초 이내를 합격선으로 잡습니다. 뉴욕주법의 3시간 재고지 규칙처럼 법이 이미 숫자를 정해 둔 항목은 그대로 코드의 타이머로 옮기고, 별도 합의 없이 바꾸지 않습니다.

첫 번째 실패 패턴은 ASR 전사 신뢰도가 낮을 때 키워드·분류기가 늦게 반응하는 경우입니다. 전사 confidence가 임계선 아래로 떨어지면 텍스트 매칭만 믿지 말고 침묵 길이·발화 속도 같은 2차 음성 신호를 함께 봐야 누락을 줄일 수 있습니다.

두 번째는 과민감 분류기가 일반 대화의 비유적 표현까지 위기로 잡아 알람 피로를 쌓는 경우입니다. 1차 분류기 통과 뒤 최근 3턴의 대화 맥락을 다시 보는 2단계 확인을 거치게 하면, 상담사가 실제 경보를 무시하게 되는 상황을 줄입니다.

세 번째는 사람 상담사 큐가 포화 상태일 때 에스컬레이션이 라우팅되지 못하고 멈추는 경우입니다. 30초 안에 사람 핸드오프가 성립하지 않으면 사전에 등록해 둔 위기상담전화(국내 1393, 해외 988)로 즉시 직접 연결하는 백업 경로를 코드로 고정해 두어야 합니다.

배포 전에는 합성 위기 표현 시나리오 세트로 재현율·오탐률을 측정하고, 일반 대화 녹취에서 오탐이 뜨는지 별도로 점검합니다. 로그에는 세션ID·트리거 발생 시각·핸드오프 소요시간·최종 처리 결과를 남기되, 트리거 발화 원문은 그대로 저장하지 않고 카테고리와 해시값만 남겨 PII 노출을 막습니다.

매주 오탐·누락 사례를 모아 분류기 재학습 데이터셋에 반영하고, 입법 동향을 분기마다 확인해 재고지 주기나 핸드오프 기준이 바뀌면 코드의 타이머 값부터 고칩니다.

핸드오프 전에 점검할 것

위기 감지 게이트는 분류기 하나로 끝나지 않습니다. 감지와 에스컬레이션을 분리하고, 재현율 95%·오탐률 2%·핸드오프 30초라는 숫자를 코드에 박아 두고, 사람 핸드오프가 막히면 위기상담전화로 바로 연결하는 백업 경로까지 갖춰야 뉴욕주법이 요구하는 수준의 게이트가 됩니다.

참고 링크

Usage Policy — Anthropic

Assembly Bill A6767 — The New York State Senate