23번 중 17번, 그런데도 멈추지 않은 이유
샌프란시스코 코우할로우의 무인 매장을 운영하는 에이전트 Luna가 최근 한 직원에게 해고를 권고했습니다. 운영사 Andon Labs가 자사 계정에서 밝힌 바로는 이 결정 당시 Luna는 Claude Opus 4.8을 구동 중이었고, 사유는 23회 근무 중 17회에 이른 지각·노쇼였습니다. 다만 진짜 실패는 해고 판단 자체가 아니라 그 전 단계에 있었습니다. Luna는 몇 달 전 스스로 출근 정책을 만들어 놓고도 그 정책을 다시 참조하지 않은 채 지각이 쌓이는 것을 그대로 지켜봤습니다.
Andon Labs가 개입해 Luna에게 "네 메모리에서 규정을 다시 찾아보라"고 명시적으로 지시한 뒤에야 정책이 재발견됐고, 그제서야 해고 권고가 나왔습니다. 사람의 개입이 없었다면 정책은 계속 죽은 문서로 남았을 가능성이 큽니다. 이 사례는 에이전트에게 사업상 권한을 맡길 때 무엇을 오버사이트 대상으로 삼아야 하는지를 구체적으로 보여줍니다.
권한의 크기와 되돌릴 수 없음의 크기는 다르다
Anthropic이 프로덕션 배포 상호작용을 분석한 연구(measuring agent autonomy)에 따르면, 에이전트 툴콜의 80%는 최소 하나의 안전장치를 갖추고 있고 상호작용의 73%는 어떤 형태로든 사람 개입을 포함합니다. 그런데 실제로 되돌릴 수 없는 행동으로 분류되는 비율은 0.8%에 그칩니다. 이 수치는 비가역 행동이 드물다는 사실보다, 오버사이트 예산을 그 소수에 집중해야 효율이 난다는 설계 원칙으로 읽어야 합니다.
같은 연구는 매 행동을 사람이 승인하도록 요구할 때 벌어지는 일도 짚습니다. 개발자가 권한 프롬프트의 93%를 그냥 승인해버리는 "승인 피로"가 나타나, 촘촘한 승인 절차가 오히려 안전에 기여하지 못한다는 것입니다. Luna의 매장 운영 예산과 법인카드 권한처럼 실질적 자원 통제권을 준다면, 그 안에서도 재고 발주(가역)와 고용 종료 통보(비가역)를 다른 승인 요건으로 다뤄야 합니다.
설계에서 운영까지: 비가역 결정 오버사이트 게이트 체크리스트
기획 단계에서는 에이전트가 수행할 모든 행동을 가역·비가역 여부로 먼저 분류합니다. 목표 지표로는 비가역 행동 승인 게이트 통과율 100%(예외 없음), 인사·재무·법적 효력이 있는 결정 중 사람 승인 없이 실행 완료된 건수 0건, 정책류 문서를 30일 이상 재참조하지 않으면 자동 재검토를 트리거하는 규칙을 시작선으로 둡니다.
권한 범위도 숫자로 고정합니다. 같은 예산 권한 안에서도 행동 유형별로 요구하는 승인 단계를 다르게 설계하지 않으면, 가역 행동에 맞춘 느슨한 절차가 비가역 행동에도 그대로 적용됩니다. Luna 사례에서 예산 권한 자체는 문제가 아니었고, 그 권한 안에서 어떤 행동이 되돌릴 수 없는지 구분하는 규칙이 없었던 것이 문제였습니다.
실패 패턴은 판단의 정확성이 아니라 판단에 이르는 경로에 있었습니다. 스스로 만든 정책을 컨텍스트 밖에 저장해 두고도 재조회 절차를 트리거하지 않으면, 정책은 저장된 순간에만 존재하고 참조되는 순간에는 존재하지 않는 것과 같아집니다. 복구는 결국 사람의 개입으로 이뤄졌으므로, 자발적 재조회에 기대지 말고 일정 주기로 사람 또는 별도 감사 에이전트가 정책 준수 여부를 강제로 점검하는 루프를 둬야 합니다.
배포 전 시나리오 테스트에는 정책이 존재하지만 참조되지 않는 상태를 의도적으로 재현하는 케이스를 넣습니다. 컨텍스트가 압축되거나 세션이 끊긴 뒤에도 비가역 행동 직전에는 반드시 정책 문서를 다시 읽도록 코드로 게이트를 박아 두고, 이 게이트를 우회하는 실행 경로가 남아 있지 않은지 점검합니다.
로그에는 행동의 가역성 분류, 승인자 식별자, 승인 근거로 인용된 정책 문서의 최종 수정일, 승인까지 걸린 시간을 표준 필드로 남깁니다. 인사 관련 결정이라면 통보 문구와 사유에 담긴 개인 식별 정보는 저장 전에 마스킹하고, 로그 접근 권한은 감사 목적의 최소 인원으로 제한합니다.
승인 피로는 설계로 막아야지 근면함으로 막을 수 없습니다. 93%라는 일괄 승인률은 사람에게 더 꼼꼼히 보라고 요구해서 해결되지 않으며, 사람이 검토할 요청의 개수 자체를 비가역 행동으로 좁히는 쪽이 현실적입니다. 주간 또는 월간 단위로 비가역 행동 게이트를 통과한 사례와 정책 문서의 마지막 참조 시점을 함께 추적하면, 정책이 오래 참조되지 않은 상태 자체가 하네스의 경보 신호로 작동합니다.
바로 쓰는 체크리스트
에이전트에게 되돌릴 수 없는 결정을 맡길 때는 행동을 가역·비가역으로 먼저 나누고, 비가역 행동에는 예외 없는 승인 게이트와 정책 재조회 강제 루틴을 붙여야 합니다. Luna 사례처럼 정책이 만들어진 뒤 방치되면 그 자체로 오버사이트가 무너진 것이므로, 정책 최종 참조일을 추적하는 일이 해고·계약 해지·환불 승인 같은 고위험 행동의 첫 번째 방어선이 됩니다.