시스템 체크 혼자서는 0.7%p만 줄었다: 멀티에이전트 LLM 가드레일 레이어링 설계 가이드

멀티에이전트가 늘리는 공격 표면

에이전트가 하나 늘어날 때마다 공격자가 들어올 틈도 하나 늘어납니다. 사용자 프롬프트뿐 아니라 다른 에이전트가 넘긴 툴 결과, 메시지 포맷, 역할 선언까지 신뢰 경계로 다뤄야 하는 이유입니다. Oracle AI가 공개한 MAS-Guard 연구는 이 경계를 사용자 프롬프트 인젝션, 툴 결과 인젝션, 민감한 비의도 툴콜 세 지점으로 나눴습니다. 가드레일 없는 기준선에서 세 에이전트 백본(GPT-5.6-Terra·Grok-4.3·Muse-Glimmer-30B)의 공격성공률(ASR)은 27.1~30.9%로, 네 번 공격하면 한 번 이상 뚫린다는 뜻입니다.

가드레일을 어디에 둘 것인가 — 로컬 우선의 근거

가드레일 설계는 흔히 시스템 레벨부터 시작합니다. 메시지 포맷을 결정론적으로 검사하는 체크, 역할·권한을 선언하는 Agent Charter처럼 중앙에서 한 번에 바꿀 수 있어 관리가 쉽기 때문입니다. 그런데 애블레이션 결과는 반대를 가리킵니다. 개별 에이전트 실행 루프에 붙어 프롬프트·툴 결과·툴콜을 판정하는 로컬 검사 단독으로는 ASR이 27.1%→7.8%(19.3%p↓)로 떨어졌지만, 시스템 결정론적 체크 단독으로는 27.1%→26.4%(0.7%p↓)로 거의 그대로였습니다. 중앙 통제가 주는 운영 편의와 실제 방어력은 서로 다른 축입니다.

설계에서 운영까지: 멀티에이전트 가드레일 레이어링 체크리스트

목표 지표는 ASR 하나만 보지 않습니다. MAS-Guard는 가드레일 적용 후에도 유틸리티(정상 작업 성능)가 가드레일 없음 대비 95% 신뢰구간 하한을 넘겨야 통과로 쳤고, 실제로는 GPT 기준 유틸리티가 50.0%→48.4%(-1.6%p)로 떨어지는 정도로 손실을 묶었습니다. 자체 시스템에도 "ASR을 기준선 대비 최소 15%p 이상 낮추고 유틸리티 손실은 2%p를 넘기지 않는다"처럼 두 지표를 한 쌍으로 선언해야, 가드레일이 공격만 막고 업무는 막지 않는지 검증됩니다.

제일 자주 보이는 설계 실수는 시스템 체크만 두고 로컬 게이트를 생략하는 구성입니다 — ASR을 거의 낮추지 못하면서 "도입했다"는 착시만 남깁니다. 다음 함정은 로컬 가드 모델을 평가 대상 에이전트와 같은 모델로 돌리는 경우로, 같은 모델이 같은 편향으로 판정하면 공모(collusion) 위험이 생깁니다. MAS-Guard는 그래서 작동 모델을 별도의 Gemma-4-26B-A4B-IT로 분리했습니다. 세 번째는 경쟁 가드레일 FIDES처럼 ASR만 낮추고 유틸리티 기준을 못 넘기는 과잉 차단입니다 — ACIArena·AgentLeak에서 더 낮은 ASR을 냈지만 세 모델 모두 유틸리티 하한을 못 지켰습니다.

복구 경로는 신뢰도별로 갈라 둡니다. 로컬 가드가 고신뢰로 차단을 판정하면 즉시 거부하고, 중간 신뢰 구간은 사람 확인으로 넘기며, 유틸리티 지표가 임계선 밑으로 떨어지면 해당 가드 룰을 자동 완화하고 변경 로그를 남깁니다. 배포 전에는 6개 벤치마크(ACIArena·TAMAS·AgentLeak·OmniLeak·OverThink·ASB)가 다룬 세 공격 유형을 자체 레드팀 시나리오로 최소 1개씩 재현해 통과 여부를 확인합니다.

로그에는 가드레일 판정 결과, 트리거 유형(로컬/시스템), 개입 지점(거부/확인/통과), 판정 지연시간을 표준 필드로 남기고, 사용자 프롬프트 원문은 PII를 마스킹해 보관합니다. Agent Charter처럼 역할·입출력 경계·권한을 코드로 선언해 두면 새 에이전트를 추가할 때 권한 누락을 리뷰 단계에서 바로 잡을 수 있습니다. 매주 로컬 가드와 시스템 체크가 각각 걸러낸 사례를 나눠 집계하면 어느 레이어가 실제로 방어선 역할을 하는지 데이터로 다시 확인됩니다.

새 공격 패턴이 레드팀이나 운영 로그에서 발견되면 로컬 가드 모델의 판정 규칙부터 갱신합니다. 에이전트 로직 변경과 가드레일 규칙 변경은 서로 다른 변경 로그로 분리 추적해야, 다음 집계에서 ASR·유틸리티 추이가 바뀐 원인을 가려낼 수 있습니다.

바로 쓰는 체크리스트

멀티에이전트 가드레일은 로컬 레이어부터 세웁니다 — 평가 대상과 분리된 모델로 프롬프트·툴 결과·툴콜을 먼저 거르고, 시스템 레벨의 Agent Charter·Control Plane은 역할과 경로를 보강하는 두 번째 방어선으로 둡니다. ASR 감소와 유틸리티 손실을 한 쌍의 목표 지표로 선언하고 레드팀 시나리오·표준 로그 필드·주별 애블레이션 점검을 운영 루틴에 넣으면, 시스템 체크만으로 0.7%p밖에 못 줄이는 함정을 피할 수 있습니다.

참고 링크

MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems (arXiv:2610.28397)

리서치 리뷰: 공격성공률 27%→5%, 유틸리티 손실은 1.6%p뿐 — 멀티에이전트 가드레일 MAS-Guard 리뷰