레드팀 평가가 정적 테스트만으로는 안 되는 이유
도구를 호출하는 에이전트는 도구 응답에 실린 텍스트만으로도 조작될 수 있습니다. 이른바 간접 프롬프트 인젝션입니다. 기존 보안 평가는 사람이 손으로 짠 환경과 미리 정해 둔 인젝션 위치에 의존해, 새 도구나 새 환경이 추가될 때마다 테스트 스위트를 다시 만들어야 했습니다. ToolHazard 연구는 이 병목을 없애려고 환경 시뮬레이터·공격자 에이전트·사용자 시뮬레이터 세 구성 요소로 실행 가능한 상태 기반 환경을 자동 합성하고, 인젝션 지점과 페이로드까지 자동으로 생성합니다.
환경 28개·툴 512개, 공격 성공률은 37%
이렇게 만든 ToolHazard-Bench는 상태 기반 환경 28개, 도구 512개, 장기 실행 과제 87개로 구성됩니다. 정렬(alignment) 훈련을 거치지 않은 에이전트의 공격 성공률(ASR)은 37.19%였고, 인젝션을 넣는 타이밍과 배치 위치에 따라 성공률이 갈렸습니다. 더 눈에 띄는 것은 부작용입니다 — 공격은 위험한 행동을 유도할 뿐 아니라 여러 환경에서 일관되게 정상 과제 완료 능력 자체를 떨어뜨렸습니다.
설계에서 운영까지: 도구 에이전트 레드팀 게이트 구축 로드맵과 함정
배포 전 합격선은 숫자로 먼저 선언합니다. 정렬 훈련 전 기준선인 ASR 37.19%를 출발점으로 두고, 배포 게이트 통과 기준은 ASR 27% 이하로 잡습니다(정렬 훈련 후 관측치 26.92%에 여유를 둔 값). 여기에 정상 과제 완료율 하락폭 5%p 이내라는 두 번째 축을 반드시 같이 겁니다. 공격 성공률만 낮추고 실사용 과제 수행력이 무너지면 게이트를 통과해도 제품으로는 실패입니다.
커버리지 기준도 수치로 둡니다. 최소 환경 수·도구 수·과제 수를 미리 정해(예: 환경 20개, 도구 300개 이상) 두면 신규 기능이 늘어나는 속도에 비해 평가 스위트가 시간이 지나며 얇아지는 상황을 막을 수 있습니다. 이 기준을 코드로 선언해 두면 새 도구를 배포할 때마다 커버리지 체크가 자동으로 걸립니다.
실패 패턴은 인젝션 위치 하나로 요약되지 않습니다. 도구 응답 초반에 심은 페이로드와 후반에 심은 페이로드, 단발 과제와 장기 실행 과제에서 에이전트가 반응하는 방식이 다르다는 것이 논문의 관찰입니다. 그래서 평가 스위트는 타이밍·배치 위치를 축으로 삼아 조합을 고르게 커버해야 하고, 한두 가지 인젝션 패턴만 반복 테스트하는 방식은 실제 노출면을 과소평가하게 됩니다.
복구 전략은 이 다양성을 그대로 정렬 데이터로 되돌리는 것입니다. ToolHazard가 생성한 정렬 데이터로 재훈련하면 ASR이 37.19%에서 26.92%로 떨어지는데, 이 데이터는 단 세 가지 공격 전략만으로 학습해도 효과가 있었습니다. 다만 자체 벤치마크 하나로만 개선을 확인하면 그 벤치마크에만 맞춰 과적합될 위험이 있으므로, 외부 벤치마크 교차 검증을 복구 절차에 반드시 포함해야 합니다.
운영 체크리스트에는 이 교차 검증을 항목으로 넣습니다. 같은 정렬 데이터가 ToolHazard-Bench뿐 아니라 4개 도메인(뱅킹·슬랙·여행·워크스페이스) 97개 과제·629개 보안 테스트 케이스로 구성된 AgentDojo에서도 방어력을 유지하면서 정상 과제 효용을 지켰는지 확인합니다. 로그 스키마는 인젝션 유형, 삽입 타이밍, 환경 ID, 도구 ID, 공격 성공 여부, 과제 완료율 델타를 필수 필드로 남겨 어떤 조합에서 방어가 뚫리는지 사후에 추적할 수 있게 합니다.
릴리스마다 ASR과 정상 과제 완료율 델타를 같은 표에 기록해 추세로 관리합니다. 환경·도구 커버리지는 28개·512개에서 멈추지 않고 신규 도구가 배포에 추가될 때마다 시드 도메인을 함께 넓힙니다. 자체 벤치마크와 AgentDojo 같은 외부 벤치마크의 방어력 격차가 벌어지는 릴리스가 나오면, 그 릴리스의 정렬 데이터가 자체 벤치마크에 과적합됐다는 신호로 보고 재훈련 우선순위를 조정합니다.
바로 쓰는 체크리스트
도구 사용 에이전트는 정렬 없이 배포하면 공격 성공률 37.19%로 뚫립니다. 배포 게이트를 ASR 27% 이하·정상 과제 완료율 하락 5%p 이내 두 축으로 정의하고, 인젝션 타이밍·배치 위치를 고르게 덮는 평가 스위트를 두고, 자체 벤치마크와 AgentDojo 같은 외부 벤치마크를 함께 돌려 과적합을 감시하는 것이 이 게이트를 실무에 들이는 핵심입니다.