원문 정보

Xiuming Liu, Le Gai, Zhiyuan Chang, Peiyang Li, Bin Zhu, Shuo Wang, Chao Feng, "Agent-Canary-Mas: End-to-End Evaluation of Protocol Risk in Long-Horizon Multi-Agent Systems", arXiv:2610.15529 [cs.AI], 2026-10-11 제출(v2, 2026-10-14 개정), DOI 10.48550/arXiv.2610.15529. 소속: 상하이자오퉁대, 칭화대, Ant Group.

동료심사를 거치지 않은 프리프린트입니다. 저자 7인 중 다수가 Ant Group 소속이며, 평가 대상 세 프로토콜(A2A·ANP·BCS) 가운데 BCS(Bot Coordination Service)는 Ant Group이 자사 분산 에이전트 플랫폼 Avernet의 핵심 구성요소로 공개한 것입니다. 즉 자사가 만든 프로토콜을 자사 연구진이 함께 채점하는 구도입니다. 다만 본문에서 확인한 결과는 BCS에 특별히 유리하지 않습니다 — 오히려 BCS의 라우팅 권한(T3) 항목은 세 프로토콜 중 피해 전환율이 가장 높게 나옵니다. 논문에는 별도의 이해상충·자금 출처 명시 문단이 없습니다.

연구 개요

연구 질문은 셋입니다. 첫째, 프로토콜 경계에서 국소적으로 성공한 공격이 실제 업무 결과까지 이어지는 비율은 얼마인가(RQ1·소비 전환). 둘째, 프로토콜이 기본으로 남기는 로그만으로 사고 후 책임 에이전트를 특정할 수 있는가(RQ2·귀책). 셋째, 핸드오프 지점에 권한 검사(Guard)를 추가하면 위험과 완료율이 어떻게 바뀌는가(RQ3·방어).

데이터는 A2A·ANP·BCS 세 프로토콜 × 헬스케어·금융·물류·연구·여행 5개 업무 도메인 × 5개 위험군(13개 하위클래스)으로 구성한 975개의 "악성-양성" 매칭 과제쌍입니다. 같은 과제를 같은 목표·역할·도구·초기 상태로 두 번 실행하되, 참가자가 통제할 수 있는 프로토콜 속성 하나만 바꿔 공격 유무를 분리합니다. MiniMax-M3, GLM-5.2, GPT-5.6 Terra 세 모델로 실행해 2,925개 모델-과제쌍, 5,850회 실행을 얻었습니다.

방법론의 핵심은 "국소 공격 성공(ASR)"과 "다운스트림 업무 결과 변화(PTCR)"를 같은 실행 안에서 분리 관측하는 설계입니다. 공유 OpenClaw 에이전트 프레임워크 위에서 기반 모델만 교체해 나머지 실행 환경(역할·도구·토폴로지)을 고정했습니다.

핵심 결과

과제 완료율(TCR)은 전 조건에서 99.2~100%로 매우 높아, 분석은 ASR(국소 공격 성공률)과 PTCR(국소 성공 중 실제 업무 결과로 전환된 비율)에 집중합니다. 세 모델 각각의 프로토콜별 평균(5개 위험군 평균)은 다음과 같습니다.

프로토콜	모델	ASR(국소 성공률)	PTCR(피해 전환율)
A2A	MiniMax-M3	98.1%	84.3%
	GLM-5.2	99.9%	85.5%
	GPT-5.6 Terra	97.6%	82.8%
ANP	MiniMax-M3	87.3%	62.8%
	GLM-5.2	91.6%	81.4%
	GPT-5.6 Terra	88.8%	63.5%
BCS	MiniMax-M3	74.8%	93.5%
	GLM-5.2	90.5%	97.0%
	GPT-5.6 Terra	72.2%	82.0%

프로토콜 평균만 보면 ASR과 PTCR이 대체로 같은 방향으로 움직이는 것처럼 보이지만, 위험군(T1~T5) 단위로 쪼개면 둘이 정반대로 벌어지는 사례가 나옵니다. 기준이 다른 두 지표를 같은 급으로 다루면 안 된다는 것이 이 논문의 핵심 메시지입니다.

위험군·프로토콜	ASR 범위	PTCR 범위	읽는 법
ANP-T4 콘텐츠 권한	89.1~97.3%	7.1~19.4%	국소 성공률만 보면 위험 과대평가(대부분 후속 단계에서 걸러짐)
ANP/BCS-T3 라우팅 권한	48.3~66.7%	92.7~100.0%	국소 성공률만 보면 위험 과소평가(일단 뚫리면 거의 다 피해로 전환)
A2A-T3 라우팅 권한	96.9~99.8%	72.5~75.0%	같은 위험군(T3)도 프로토콜에 따라 전혀 다른 패턴

원문은 ANP의 DID 기반 인증이 "발신자가 누구인지"는 검증해도 "그 결과를 업무 결정에 써도 되는지"는 검증하지 않기 때문에 T4에서 이런 괴리가 나온다고 설명합니다. 반대로 라우팅(T3)은 일단 잘못된 수신자·경로로 넘어가면 이후 단계가 이를 되돌리기 어려운 구조라 PTCR이 치솟습니다.

RQ2(귀책) 결과도 뚜렷합니다. 프로토콜이 기본 제공하는 로그(Native View)만으로 책임 에이전트를 찾는 Audit-F1은 15개 프로토콜·위험군 조합 전체 macro 평균 29.7%에 그쳤습니다. 반면 참가자 선택·전달·소비·효과를 잇는 교차 노드 증거(Agent-Canary-Mas View)를 쓰면 95.5%로 올라갑니다(+65.8%p). 프로토콜별로는 A2A 20.0%→100.0%, ANP 0.0%→93.9%, BCS 69.0%→92.6%입니다. ANP는 분산 신원 인증에 특화된 로그 구조상 참가자-행동-결과를 잇는 기록이 아예 없어 네이티브 귀책이 0%였습니다.

RQ3(방어)은 금융 도메인·MiniMax-M3 조건(195개 과제쌍)에 한정해 "핸드오프 지점마다 권한을 재확인하는 프로토콜 가드"를 추가한 실험입니다. 가드는 공격을 억제하지만 과제 완료율(TCR)도 평균 약 99.8%에서 95.1%로 떨어지는 비용이 따릅니다.

파이낸스 과제, 가드 적용 전후 공격 성공률(ASR)MiniMax-M3 · 프로토콜별 5개 위험군 평균, 단위 %

가드 없음
프로토콜 가드

A2A

90.9%

48.2%

ANP

91.3%

64.3%

BCS

76.0%

48.8%

출처: 원문 Table 4

표로 보기

항목	가드 없음	프로토콜 가드
A2A	90.9%	48.2%
ANP	91.3%	64.3%
BCS	76.0%	48.8%

파이낸스 과제, 가드 적용 전후 다운스트림 피해 전환율(PTCR)MiniMax-M3 · 프로토콜별 5개 위험군 평균, 단위 %

가드 없음
프로토콜 가드

A2A

72.2%

20.1%

ANP

53.5%

46.5%

BCS

70.9%

27.1%

출처: 원문 Table 4

표로 보기

항목	가드 없음	프로토콜 가드
A2A	72.2%	20.1%
ANP	53.5%	46.5%
BCS	70.9%	27.1%

BCS-T3(라우팅)는 가드 적용 시 ASR이 66.7%→0%로 완전히 차단된 반면, ANP-T4(콘텐츠 권한)는 ASR이 92.9%로 거의 그대로인데도 PTCR이 0%까지 떨어집니다. 전자는 "진입 자체를 막는" 방어, 후자는 "들어와도 권한을 못 얻게 막는" 방어로, 같은 가드 안에서도 작동 지점이 다릅니다.

신뢰도 평가

믿을 근거는 세 가지입니다. 첫째, 악성-양성 쌍이 모델·토폴로지·도구·초기상태를 공유해 조작 효과만 분리한 통제 설계입니다. 둘째, 서로 아키텍처가 다른 세 프로토콜(A2A의 분산형, ANP의 탈중앙형, BCS의 중앙집중형)에서 일관되게 "ASR과 PTCR이 다른 것을 측정한다"는 결론이 반복됩니다. 셋째, 보도자료식 요약이 아니라 975개 과제쌍·5,850회 실행이라는 규모와 공개된 위험 분류 체계(13개 하위클래스)를 갖췄습니다.

감안할 점도 뚜렷합니다. 동료심사 전 프리프린트이고, 앞서 짚은 대로 BCS는 공저자 소속 기업(Ant Group)의 자체 제품이라는 이해상충이 있습니다. 결과를 판정하는 semantic Judge가 실행 중인 에이전트와 같은 모델 조건을 쓴다는 점도 저자들이 스스로 한계로 인정합니다 — 오류가 상관될 수 있다는 뜻입니다. 방어 실험(RQ3)은 금융 도메인·MiniMax-M3 한 조합(195쌍)에만 적용돼 다른 모델·도메인 조합에 일반화하기 어렵고, 지연시간·토큰 비용 등 가드 도입의 운영 비용은 측정하지 않았습니다. 과제 자체도 통제된 샌드박스이며 실제 금전·의료 피해가 아니라 과제 내 상태 전이로 "피해"를 대리 측정한다는 점도 명시돼 있습니다.

리뷰어 판단

첫째, "공격 차단율"을 단일 보안 지표로 쓰는 관행 자체를 재고해야 한다고 판단합니다. ANP-T4처럼 ASR이 90%대인데 PTCR이 10%대인 위험군을 그대로 긴급도 1순위로 올리면 과잉대응이 되고, 반대로 ANP/BCS-T3처럼 ASR이 50~67%로 낮아 보이지만 PTCR이 93~100%인 위험군을 낮은 순위로 두면 가장 위험한 곳을 방치하게 됩니다. 보안 대시보드가 ASR 한 숫자만 보여준다면 그 자체가 위험 신호라고 봅니다.

둘째, 가드 도입 효과를 "위험 감소"로만 읽으면 안 된다고 판단합니다. 완료율이 평균 99.8%에서 95.1%로 떨어지는데, BCS-T2 같은 항목은 76.7%까지 떨어집니다. 보안 게이트를 걸 때 이 완료율 손실분을 운영 SLA에 명시하지 않으면, 현장에서 불편을 못 견딘 운영팀이 가드를 조용히 끄는 결과로 이어지기 쉽습니다.

셋째, BCS가 공저자 소속 기업의 자체 제품임에도 특정 위험군(T3)에서 세 프로토콜 중 가장 나쁜 피해 전환율을 보인 점은, 역설적으로 이 연구의 신뢰도를 높이는 요소로 읽힙니다. 자사 제품에 유리하게 결과를 고르지 않았다는 신호이기 때문입니다. 다만 이것이 이해상충 자체를 상쇄하지는 않으므로, BCS 관련 수치는 제3자 재현을 거친 뒤 받아들이는 편이 안전하다고 봅니다.

실무 적용

ASR·PTCR 분리 집계 — 에이전트 간 프로토콜(A2A·MCP 등)을 운영한다면 "공격이 막혔는가"와 "막히지 않았을 때 실제 업무에 영향을 줬는가"를 별도 지표로 쌓습니다. 하나로 합치면 ANP-T4류 과잉대응과 T3류 과소대응을 동시에 만듭니다.
라우팅·권한 부여 단계 우선 점검 — 이번 데이터에서 ASR은 낮아도 PTCR이 치솟는 패턴은 모두 라우팅/위임(T3) 계열입니다. 수신자·다음 홉을 결정하는 지점에 권한 검사를 먼저 둡니다.
가드 도입 시 완료율 손실을 SLA로 관리 — 평균 4.7%p, 특정 항목은 23%p까지 떨어지는 완료율 저하를 사전에 공지하고 임계치를 정해 두지 않으면 현장에서 가드가 비활성화될 위험이 있습니다.
네이티브 로그만으로 사고 조사하지 않기 — Audit-F1이 29.7%에 그친다는 것은 "누가 원인인지 로그로 설명 못 하는" 상태입니다. 참가자 선택·전달·소비·효과를 잇는 별도 추적(cross-node trace)을 애초에 설계에 넣습니다.
벤더 자체 평가는 제3자 재현 요구 — 프로토콜·플랫폼 제공사가 자사 제품을 포함한 벤치마크를 발표했다면, 그 결과를 그대로 채택하기 전에 외부 재현이나 최소한 공개 데이터 기반 검증을 요청합니다.

결론

Agent-Canary-Mas의 기여는 새로운 공격 기법이 아니라 "국소 공격 성공"과 "실제 업무 결과"를 분리해 측정하는 틀 자체입니다. 975개 매칭 과제쌍에서 ASR은 대부분 90% 안팎으로 높게 나오지만, 그중 실제 피해로 이어지는 비율(PTCR)은 7.1%에서 100%까지 위험군·프로토콜에 따라 극단적으로 갈립니다. 교차 노드 증거는 사고 귀책 정확도를 29.7%에서 95.5%로 끌어올리고, 핸드오프 지점의 권한 검사는 위험을 줄이되 완료율 손실이라는 대가를 치릅니다. 동료심사 전 프리프린트이고 BCS 평가에는 공저자 소속 기업과의 이해상충이 있다는 점을 감안해, 수치는 방향 신호로 받아들이고 자사 환경에서는 ASR·PTCR을 함께 재는 것부터 시작하는 편이 안전합니다. 에이전트 간 통신을 표준 프로토콜로 열어 두는 조직이라면, MCP 등 도구 호출 계층의 레드팀 사례를 다룬 MCP 에이전트 전송 계층 레드팀 게이트 설계와 함께 읽으면 핸드오프·전송 계층 전반의 위험 지도를 그리는 데 도움이 됩니다.

참고 링크

이 리뷰에 대해 AI와 대화하기

AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.

대화창을 불러오는 중…

로컬 공격 성공 90%, 피해 전환 7~100%: Agent-Canary-Mas 프로토콜 리스크 리뷰