자율 에이전트에서 인젝션은 더 위험하다
프롬프트 인젝션은 OWASP가 3년 연속 LLM 위협 1위(LLM01)로 꼽은 문제입니다. 챗봇에서는 잘못된 텍스트가 나오는 데 그치지만, 자율 에이전트는 API를 호출하고 데이터를 바꾸므로 인젝션 한 번이 무단 도구 호출과 데이터 유출로 이어집니다. 특히 에이전트가 검색한 문서나 웹페이지에 숨은 지시가 실행되는 간접 인젝션은 신뢰하던 데이터 소스를 그대로 공격 벡터로 바꿉니다.
핵심 전제는 단일 방어로 인젝션을 없앨 수 없다는 것입니다. 방어는 한 번의 감사가 아니라 지속적인 시스템 설계로 다뤄야 합니다.
Rule of Two와 최소 권한
Meta가 제시한 Rule of Two는 하나의 작업이 신뢰할 수 없는 입력 처리, 민감 시스템 접근, 외부 상태 변경 세 속성 중 최대 두 개만 갖도록 제한하는 원칙입니다. 세 가지를 동시에 가진 에이전트는 사람 감독 없이는 방어가 불가능합니다. 여기에 최소 권한 도구 접근을 더해, 각 작업이 실제로 필요한 권한만 갖게 합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 방어 목표를 수치로 정의합니다. 예를 들어 고위험 도구 호출의 사람 승인율 100%, 신뢰 경계를 넘는 데이터 흐름 0건, 인젝션 시도 탐지율을 지표로 둡니다. 신뢰 경계를 먼저 그려, 외부에서 들어온 콘텐츠는 항상 데이터로만 취급하고 지시로 해석하지 않도록 파이프라인을 설계합니다. 시스템 프롬프트와 외부 콘텐츠를 구조적으로 분리하고, 외부 콘텐츠에는 도구 실행 권한을 부여하지 않습니다.
실패 패턴 대부분은 검색 결과나 첨부 문서를 그대로 신뢰하는 데서 옵니다. 이를 막으려면 블라스트 반경을 좁히는 설계가 필요합니다. 최소 권한, 이그레스(외부 전송) 통제, 결과가 큰 행동에 대한 사람 개입, 의존성 트리 정리를 통해 인젝션이 성공해도 피해 범위를 제한합니다. 복구 전략으로, 에이전트가 정책에 없는 도구나 외부 주소로 요청을 시도하면 서킷 브레이커가 즉시 차단하고 세션을 격리합니다. 데이터를 외부로 보내는 행동은 특히 엄격히 통제해, 유출을 마지막 관문에서 막습니다.
운영 체크리스트에는 제로 트러스트 요소를 포함합니다. 암호학적 신원, 증명 기반 시크릿 접근, 하드웨어 경계로 권한을 검증 가능하게 만듭니다. 모든 도구 호출, 외부 콘텐츠 출처, 권한 판정, 차단 이벤트를 표준 감사 로그로 남기고, 시크릿이 로그로 노출되지 않도록 마스킹합니다. 관측 항목으로는 인젝션 탐지율, 차단된 이그레스 건수, 사람 승인 비율, 신뢰 경계 위반 시도를 기록합니다.
지속 개선 루프는 주간 단위로 새로 발견된 인젝션 패턴과 우회 시도를 레드팀 관점에서 리뷰합니다. 새 공격 표면은 즉시 탐지 규칙과 신뢰 경계에 반영합니다. 인젝션 방어는 완성되는 벽이 아니라, 새로운 공격을 흡수하며 계속 강화되는 방어선이어야 합니다.
실행 요약
정리하면 자율 루프의 인젝션 방어는 단일 방어가 아니라 다층 하드닝입니다. 외부 콘텐츠를 데이터로만 취급하고, Rule of Two와 최소 권한으로 위험 조합을 제한하며, 블라스트 반경과 이그레스 통제로 피해를 가둬야 합니다. 제로 트러스트와 사람 개입, 레드팀 환류를 더하면 인젝션이 성공해도 자율 루프의 안전이 유지됩니다.