공격성공률 27%→5%, 유틸리티 손실은 1.6%p뿐: 멀티에이전트 가드레일 MAS-Guard 리뷰

원문 정보

Mohammad Kachuee, Phu Mon Htut, Sheng Li, Nikolaos Pappas, Miguel Ballesteros Martinez, Yassine Benajiba, Sujith Ravi, Dan Roth(전원 Oracle AI 소속), "MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems", arXiv:2610.28397 [cs.CR], 2026-10-20 제출. 동료심사를 거치지 않은 프리프린트입니다. 원문 전문은 2026-10-23T22:08:26Z 기준 1차 출처 스냅숏(세션 egress 전면 차단으로 WebFetch 대신 사용)으로 대조했습니다.

저자 8명 전원이 Oracle AI 소속이고, 평가에 쓴 클라우드 인프라(OCI Generative AI)도 같은 회사 것입니다. 가드레일을 제안한 조직이 자사 설계를 자사 인프라로 직접 평가한 구조라는 점은 신뢰도 평가에서 다시 짚습니다. 학회·저널 심사 기록은 확인되지 않았습니다.

연구 개요

연구 질문은 세 가지입니다 — (RQ1) 가드레일이 정상 작업 성능(유틸리티)을 크게 깎지 않으면서 공격성공률(ASR)을 낮출 수 있는가, (RQ2) 이 안전-유틸리티 트레이드오프가 서로 다른 에이전트 백본에도 이어지는가, (RQ3) 로컬 검사·시스템 결정론적 체크·시스템 시맨틱 체크가 각각 얼마나 기여하는가입니다. MAS-Guard는 두 층으로 구성됩니다. 개별 에이전트의 실행 루프에 붙는 로컬 A-Guard는 사용자 프롬프트 인젝션·툴 결과 인젝션·민감한 비의도 툴콜을 감지하는 전문가 3종을 두고, 작동 모델은 평가 대상 에이전트와 분리된 Gemma-4-26B-A4B-IT입니다. 시스템 레벨에서는 각 에이전트의 역할·입출력 경계·권한을 선언하는 Agent Charter와, 통신 경로·메시지 포맷을 결정론적으로 검사하고 메시지 주제를 시맨틱하게 심사하는 Control Plane이 맞물립니다. 평가는 ACIArena·TAMAS·AgentLeak·OmniLeak(멀티에이전트)과 OverThink·ASB(싱글에이전트) 6개 벤치마크에서 GPT-5.6-Terra·Grok-4.3(독점)·Muse-Glimmer-30B(오픈웨이트) 세 에이전트 백본으로 수행했고, Sandwich·Delimiter·ACI-Sentinel·LlamaFirewall·ToolSafe·AgentDoG·AgentDoG-1.5·FIDES 8개 경쟁 가드레일 및 무방비(No-Guardrail) 기준선과 비교했습니다.

핵심 결과

가드레일이 없을 때 세 모델의 전체 ASR은 27.1~30.9%였습니다. MAS-Guard를 적용하면 GPT-5.6-Terra 27.1%→4.8%(82.3%↓), Muse-Glimmer-30B 30.6%→4.2%(86.3%↓), Grok-4.3 30.9%→8.8%(71.5%↓)로 낮아졌고, 세 모델 모두 유틸리티 기준(가드레일 없음 95% 신뢰구간 하한 이상)을 충족했습니다. 전체 유틸리티 하락은 GPT -1.6%p(50.0%→48.4%), Muse -0.5%p(50.7%→50.2%), Grok -0.6%p(59.0%→58.4%)에 그쳤습니다.

벤치마크별로 보면(GPT-5.6-Terra 기준) ASB 44.6%→13.2%, OverThink 34.5%→0.0%, AgentLeak 23.1%→5.0%로 감소폭이 가장 큽니다. 다만 경쟁 가드레일 FIDES는 ACIArena(24.0%→1.2%)와 AgentLeak(23.1%→0.0%)에서 MAS-Guard(11.0%·5.0%)보다 더 낮은 ASR을 냈습니다 — 단 FIDES의 전체 유틸리티는 세 모델 모두 기준치 아래로 떨어져(원문 표의 † 표시) 안전성과 유틸리티를 동시에 만족하지는 못했습니다.

GPT-5.6-Terra 기준 애블레이션(원문 Table 4)은 로컬 A-Guard와 시스템 체크의 기여를 분리해 보여줍니다. 기준이 다른 두 수치를 구분하면, A-Guard는 단독으로도 ASR을 27.1%→7.8%까지 낮추지만, 결정론적 시스템 체크는 단독으로 27.1%→26.4%에 그쳐 거의 효과가 없습니다.

출처: 원문 Table 3·4·7·8

신뢰도 평가

이 논문은 동료심사를 거치지 않은 arXiv 프리프린트입니다. 저자 8명 전원이 Oracle AI 소속이며, 평가에 사용한 클라우드 인프라(OCI Generative AI)도 같은 회사 것입니다 — 가드레일을 제안한 조직이 자사 설계를 자사 인프라로 직접 평가한 구조라 이해상충 성격의 한계가 뚜렷합니다. 둘째, 저자들은 적대적 악용을 막는다는 이유로 가드레일 전문가의 정확한 프롬프트를 공개하지 않겠다고 명시해, 독립 재현이 어렵습니다. 셋째, Agent Charter·Control Plane 설정을 Codex와 GPT-5.6-Sol(고사양 추론)로 자동 작성했는데, 설정을 만든 모델과 평가 대상 모델이 같은 생태계라 설정이 특정 벤치마크에 암묵적으로 맞춰졌을 가능성을 배제하기 어렵습니다. 넷째, 저자들 스스로 밝힌 상반 증거가 있습니다 — FIDES는 일부 벤치마크에서 더 낮은 ASR을 내지만 유틸리티 기준을 못 넘기고, 반대로 MAS-Guard도 모든 벤치마크에서 최저 ASR을 내지는 못합니다. 다섯째, 저자들은 ASR을 "심각도 가중이 아닌 성공률 전체를 뭉친 지표"로만 썼다고 명시하고, Utility도 공격이 진행 중인 상태가 아니라 benign 케이스에서만 측정했다는 한계를 스스로 인정합니다.

관련 연구

• Debenedetti 외(2024). AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents — MAS-Guard가 직접 비교 대상으로 쓰지는 않지만, 프롬프트 인젝션 공격·방어를 동적 환경에서 평가하는 틀을 먼저 세운 선행 연구입니다(prior, NeurIPS 2024). WebSearch로 독립 확인한 바로는 공격이 없을 때도 당시 최신 LLM이 과제의 66% 미만만 해결했다고 보고해, 가드레일 평가에서 유틸리티를 안전성과 별도로 추적해야 한다는 이번 논문의 설계 원칙과 같은 방향입니다.
• Chennabasappa 외(2025). LlamaFirewall: An Open Source Guardrail System for Building Secure AI Agents — MAS-Guard가 직접 비교한 경쟁 가드레일입니다(extension — 로컬+시스템 결합이라는 더 넓은 범위로 확장). WebSearch로 독립 확인한 바로는 Meta가 공개했고 BERT 기반 PromptGuard 2와 사고사슬을 감사하는 AlignmentCheck로 구성됩니다. 이번 논문 Table 3에서 LlamaFirewall의 GPT-5.6-Terra 전체 ASR은 22.1%로, MAS-Guard(4.8%)보다 훨씬 높습니다.
• Zhang 외(2024). Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents — MAS-Guard가 실제로 쓴 6개 평가 벤치마크 중 하나의 원전입니다(benchmark-origin, ICLR 2025 채택). WebSearch로 독립 확인한 바로는 ASB는 10개 시나리오·400개 이상 툴로 구성되며, 원 논문이 보고한 최고 평균 ASR은 84.30%로 기존 방어 기법들의 효과가 제한적이라고 결론 내렸습니다. 이번 논문에서는 같은 ASB 기준 가드레일 없음 ASR이 44.6%(GPT)·70.8%(Grok)·43.4%(Muse)로 모델별 차이가 커, 벤치마크 자체의 난이도보다 백본 취약성이 결과를 더 좌우한다는 점을 보여줍니다.

세 편 모두 이번 논문의 좌표를 잡아줍니다 — AgentDojo는 "안전성과 유틸리티를 함께 봐야 한다"는 설계 원칙의 뿌리이고, LlamaFirewall은 MAS-Guard가 직접 이긴 경쟁 가드레일이며, ASB는 평가에 실제로 쓰인 벤치마크 원전입니다. AgentDojo·LlamaFirewall의 구체 수치는 각 논문 자체의 주장이며 이번 리뷰가 원문 대조로 직접 확인한 것이 아니므로 핵심 결과 단락에는 포함하지 않았습니다.

리뷰어 판단

첫째, 이번 결과에서 가장 중요한 실무 신호는 애블레이션이 보여준 '로컬 검사가 시스템 검사보다 강하다'는 비대칭이라고 판단합니다. 결정론적 시스템 체크 단독은 ASR을 27.1%→26.4%로 거의 움직이지 못했는데, 이는 이번 벤치마크의 공격 대부분이 '허용된 경로 안에서의 악성 콘텐츠'이기 때문으로 보입니다. 라우트·포맷처럼 구조적으로 막는 방어보다, 실행 중 콘텐츠를 들여다보는 로컬 검사에 먼저 투자하는 편이 ROI가 높다고 봅니다.

둘째, FIDES와의 비교가 이 논문이 강조하지 않은 가장 중요한 함의라고 판단합니다. FIDES는 ACIArena·AgentLeak에서 MAS-Guard보다 낮은 ASR을 내면서도 전체 유틸리티 기준을 넘지 못했는데, 이는 '더 낮은 ASR'이 항상 '배포 가능한 가드레일'을 뜻하지는 않는다는 의미입니다. 안전성 지표 하나만으로 가드레일을 고르면 벤치마크에서는 이기고 운영에서는 버려지는 선택을 할 위험이 있습니다.

셋째, Grok-4.3의 잔존 ASR(8.8%)이 다른 두 모델(4.2~4.8%)보다 눈에 띄게 높다는 점도 저자들이 강조하지 않은 수치라고 봅니다. 같은 가드레일을 다른 백본에 얹었을 때 효과가 균일하지 않다는 뜻이므로, 특정 모델 하나로 가드레일을 검증하고 다른 모델에 그대로 이식하는 관행은 위험하다고 판단합니다.

실무 적용

• 로컬 실행 경계 검사부터 배치 — A-Guard 단독으로도 ASR을 27.1%→7.8%까지 낮췄습니다. 시스템 레벨 라우트·포맷 체크는 그다음 우선순위로 둡니다.
• 안전성 지표와 유틸리티 기준을 항상 같이 본다 — FIDES 사례처럼 ASR만 보면 유틸리티를 해치는 가드레일을 고를 수 있습니다. 벤더가 ASR만 공개하면 유틸리티 수치를 함께 요구합니다.
• 가드레일을 여러 백본에서 재검증한다 — Grok-4.3의 잔존 ASR이 다른 모델보다 거의 2배 높았습니다. 단일 모델로 검증한 가드레일을 다른 백본에 그대로 이식하지 않습니다.
• OWASP Top 10 for LLM의 프롬프트 인젝션·과잉 권한 카테고리부터 커버 — A-Guard의 3개 전문가가 이 두 카테고리를 겨냥했고, 실제 감소폭도 가장 컸습니다.
• 벤더 자체 평가 수치는 독립 재현 전까지 보수적으로 해석 — 제안 조직이 자사 인프라·비공개 프롬프트로 평가한 결과라는 점을 감안합니다. 이번 논문 자체가 그 사례입니다.

결론

MAS-Guard의 기여는 로컬 에이전트 검사와 시스템 레벨 정책을 허용·반성·확인·차단이라는 하나의 개입 체계로 묶은 설계이며, 6개 벤치마크·3개 LLM에서 ASR을 71.5~86.3% 낮추면서 유틸리티 손실은 1.6%p 이하로 억제했다는 실증입니다. 다만 동료심사 전 프리프린트이고, 제안 조직이 자사 인프라로 직접 평가했으며, FIDES 비교가 보여주듯 '더 낮은 ASR'이 항상 '더 나은 가드레일'을 뜻하지는 않습니다. 멀티에이전트 가드레일을 도입하려는 팀은 로컬 검사를 우선 배치하고, 안전성과 유틸리티를 분리해 추적하며, 복수 백본으로 재검증하는 순서를 권합니다. 배포 전 공격성공률을 게이트로 쓰는 접근은 도구 사용 에이전트 레드팀 평가를 배포 게이트로 넣는 법에서도 같은 문제의식으로 다룹니다.

참고 링크

• MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용
• AgentDojo — arXiv:2406.13352
• LlamaFirewall — arXiv:2505.03574
• Agent Security Bench (ASB) — arXiv:2410.02644
• 도구 사용 에이전트 레드팀 평가를 배포 게이트로 넣는 법 — sunny34.com 블로그