원문 정보

Yitian Zheng(Tsinghua University), Zhaorun Chen(University of Chicago), Haoyu Li, Bo Li(University of Illinois Urbana-Champaign), "GatewayBench: Unified Capability and Security Evaluation Platform for MCP Gateways", arXiv:2610.23449 [cs.AI], 2026-10-16 제출, DOI 10.48550/arXiv.2610.23449.

동료심사를 거치지 않은 프리프린트입니다. 저자 전원이 칭화대·시카고대·UIUC 소속 학계 연구자이고, 이번 벤치마크가 다룬 게이트웨이 7종(AWS AgentCore, Agentgateway, LiteLLM, Lunar MCPX, Enkrypt, Strata, Bifrost) 어느 쪽에도 속하지 않아 벤더 이해상충은 확인되지 않습니다. 다만 논문은 자금 출처를 별도로 밝히지 않았고, 주 실험(DTap 기반 450개 과제)은 "시간·비용 제약으로 단일 실행"이라고 스스로 명시해 반복·분산 측정은 없습니다.

연구 개요

연구 질문은 두 가지입니다. MCP 게이트웨이 설계(평면형 vs 계층형)가 에이전트의 과제 성공률·비용·보안에 얼마나 영향을 미치는지, 그리고 그 효과가 기반 모델·에이전트 하니스에 따라 어떻게 달라지는지입니다. 평면형 게이트웨이는 연결된 모든 MCP 서버의 도구를 매 턴 하나의 목록으로 노출하고, 계층형 게이트웨이는 도구 발견용 메타 도구만 노출해 에이전트가 필요한 도구를 그때그때 조회하게 합니다.

평가 데이터는 DecodingTrust-Agent Platform(DTap)의 CRM·금융·여행 3개 도메인 450개 과제(양성 150, 직접 공격 150, 간접 공격 150)와 MCP-Universe의 저장소 관리·브라우저 자동화·위치 탐색 74개 실행 과제로 구성됩니다. 실제 배포 환경을 흉내 내려고 251개 실제 MCP 서버에서 모은 11,118개 도구 풀에서 과제와 무관한 "노이즈 도구"를 0·500·1,000·1,500개 단위로 주입해 도구 수가 늘어날 때의 변화를 관찰합니다. 노이즈 도구는 실제 부작용을 막기 위해 호출하면 표준 오류만 돌려주는 모의 서버로 구현했고, 과제에 실제로 쓰이는 도구는 DTap·MCP-Universe의 실행 상태 검증 로직으로 성공 여부를 직접 확인합니다.

핵심 결과

노이즈 도구가 없는 기본 조건(Table 2)에서 계층형 게이트웨이는 세 모델·하니스 조합 전부에서 간접 공격 성공률(ASRind)이 평면형보다 뚜렷이 낮았습니다(평균 19.6~30.9% vs 42.5~60.5%). 그런데 기반 모델을 GPT-5.1에서 GPT-5.4로 올리면 그림이 달라집니다.

GPT-5.4 기준 평면형·계층형 비교 — 과제 성공률 vs 간접공격 성공률모델을 올려 능력을 맞춘 조건 (OpenAI Agents SDK, GPT-5.4, 노이즈 도구 0개)
  • 평면형(Flattened)
  • 계층형(Hierarchical)
과제 성공률(TSR)
87.2%
85.1%
간접공격 성공률(ASRind)
47.2%
30.9%

출처: 원문 Table 2 (GPT-5.4, 평면형·계층형 평균)

표로 보기
항목평면형(Flattened)계층형(Hierarchical)
과제 성공률(TSR)87.2%85.1%
간접공격 성공률(ASRind)47.2%30.9%

GPT-5.4에서는 과제 성공률(TSR)이 87.2%(평면형)와 85.1%(계층형)로 거의 같아지는데, 간접 공격 성공률은 47.2%와 30.9%로 격차가 그대로 남습니다. 모델을 올려 능력 격차를 지우면 보안 격차도 따라 줄어든다는 가정이 이 표에서는 성립하지 않습니다.

모델·하니스TSR 평면형TSR 계층형ASRind 평면형ASRind 계층형
OpenAI SDK, GPT-5.175.3%47.5%60.5%19.6%
OpenAI SDK, GPT-5.487.2%85.1%47.2%30.9%
OpenClaw, GPT-5.186.7%71.8%42.5%15.6%

간접 공격은 공격 경로에 따라 다시 둘로 나뉩니다 — 도구 자체에 악성 내용을 심는 '툴 인젝션'과, 도구가 돌려주는 데이터에 심는 '환경 인젝션'입니다. 두 아키텍처 유형의 차이는 거의 전부 툴 인젝션에서 나옵니다(GPT-5.4 기준 평면형 53.9%→45.1%, 계층형은 노이즈 도구 수와 거리 없이 31% 안팎). 환경 인젝션에서는 두 유형의 평균이 항상 3%p 안으로 붙어 있어, 게이트웨이 구조가 이 공격 유형에는 거의 영향을 주지 못합니다.

노이즈 도구를 늘리면 비용 곡선도 갈립니다. 평면형은 매 턴 전체 도구 목록을 컨텍스트에 싣기 때문에 도구가 늘수록 토큰과 지연이 선형으로 증가하고, 계층형은 조회한 도구만 받아 거의 그대로입니다.

지표(GPT-5.4, 노이즈 도구 0→1,500개)평면형계층형
턴당 토큰(천)8.3 → 233.39.1 → 12.6
과제당 소요 시간(초)20.8 → 64.130.1 → 38.7

과제 성공률도 같은 방향입니다. GPT-5.4에서 노이즈 도구 0개일 때 평면형이 2.1%p 앞서지만(Table 3), 1,500개가 되면 계층형이 2.3%p 앞서며 순위가 뒤집힙니다. 부록의 실제 MCP 서버 도구(158~358개) 실험에서도 같은 방향이 재현되지만, 저자들 스스로 "초기 탐색 단계라 게이트웨이 3종·단일 실행"이라고 범위를 제한해 밝혔습니다.

신뢰도 평가

믿을 근거는 두 가지입니다. 첫째, 세 가지 모델·하니스 조합과 두 개의 서로 다른 과제 데이터셋(DTap, MCP-Universe)에서 평면형-계층형의 방향성이 일관됩니다. 둘째, 524개 과제·11,118개 실제 도구·7개 상용 게이트웨이를 통제된 조건에서 비교한 규모 자체가 이 분야 최초이며, 평가가 모델의 자기보고가 아니라 환경 상태를 확인하는 규칙 기반 판정입니다.

감안할 점도 뚜렷합니다. 주 실험(DTap 450개 과제)이 "시간·비용 제약으로 단일 실행"임을 저자들이 밝혀 표에 적힌 차이가 실행 변동을 얼마나 넘어서는지 알 수 없습니다. 부록의 실제 MCP 서버 재현 실험은 게이트웨이 3종·도구 158~358개로 본 실험보다 좁은 범위입니다. 또한 노이즈 도구는 호출하면 표준 오류만 돌려주는 모의 서버라 실제 서비스의 응답 지연·장애 패턴까지는 반영하지 못합니다. Enkrypt처럼 ASR이 가장 낮게 나온 경우도 저자들이 직접 "과제 성공률 23.3%에 그친 능력 붕괴의 결과일 뿐 안전성이 아니다"라고 경고합니다.

관련 연구

세 문헌을 겹쳐 보면 GatewayBench의 결과는 선행 연구와 어긋나지 않습니다. AgentDojo·MCPTox 모두 도구 표면을 통한 인젝션이 현실적 위협이라고 보고했고, GatewayBench는 그 위협이 게이트웨이 구조에 따라 체계적으로 달라진다는 것을 처음으로 보여 선행 연구의 발견을 세분화합니다.

리뷰어 판단

첫째, 이 논문에서 실무적으로 가장 중요한 결과는 80%대 과제 성공률이 아니라 "능력 격차는 좁혀져도 보안 격차는 남는다"는 비대칭이라고 판단합니다. 모델을 올려 과제 성공률을 맞추면 게이트웨이 선택이 보안에 미치는 영향도 줄어들 것이라 기대하기 쉬운데, 이 데이터는 그 반대를 보입니다 — 강한 모델일수록 게이트웨이 구조 선택이 오히려 더 순수하게 보안 변수로 남습니다.

둘째, 환경 인젝션에서 두 아키텍처가 구분되지 않는다는 결과를 과소평가하면 안 된다고 봅니다. 계층형 게이트웨이로 바꿨다고 해서 "도구가 돌려주는 데이터"에 심긴 악성 지시까지 막아 주는 것은 아닙니다. 게이트웨이 구조는 툴 인젝션 방어선이고, 환경 인젝션은 별도의 콘텐츠 필터링·새니타이징 계층이 필요하다는 뜻입니다.

셋째, 계층형 안에서도 제품 간 격차(툴 인젝션 ASR 20~41%)가 아키텍처 유형 간 격차만큼 넓다는 점은, "계층형이면 안전하다"는 단순화가 특정 구현을 잘못 고르면 그대로 깨질 수 있음을 보여 줍니다. 벤더를 고를 때는 아키텍처 범주가 아니라 제품별 수치를 봐야 합니다.

실무 적용

  • 모델·하니스·게이트웨이를 하나로 평가 — 게이트웨이만 바꿔서 보안을 논하지 않습니다. 같은 게이트웨이도 모델·하니스 조합에 따라 TSR이 37.6%p까지 갈립니다.
  • 공격 유형별로 방어선을 분리 — 게이트웨이 구조 변경은 툴 인젝션에만 효과가 있습니다. 환경 인젝션에는 도구 응답 콘텐츠 필터링을 별도로 둡니다.
  • TSR과 ASR을 같이 보고받기 — ASR이 낮다는 보고만 믿지 않습니다. TSR도 함께 낮다면 안전이 아니라 능력 붕괴일 수 있습니다(Enkrypt 사례).
  • 도구 수 증가를 토큰·지연 예산에 반영 — 평면형 게이트웨이를 쓴다면 노출 도구 수가 수백 개를 넘는 시점부터 턴당 토큰이 선형으로 늘어난다는 것을 용량 계획에 넣습니다.
  • 벤더 비교는 아키텍처 범주가 아니라 제품 수치로 — 같은 계층형이라도 구현 방식(계층 탐색·의미 검색·가상 파일시스템)에 따라 ASR이 두 배 이상 벌어집니다.

결론

GatewayBench는 MCP 게이트웨이를 에이전트 하니스의 숨은 변수가 아니라 측정 가능한 설계 요소로 끌어올립니다. 핵심 발견은 모델 능력이 올라가면 과제 성공률 격차는 사라지지만 간접 공격 성공률 격차(47.2% vs 30.9%)는 그대로 남는다는 것, 그리고 그 격차가 거의 전부 '도구 자체에 심긴' 공격에서 온다는 것입니다. 다만 주 실험이 단일 실행이고 실제 서버 재현은 범위가 좁다는 저자들의 한계 고지를 그대로 받아, 수치는 방향 신호로 쓰고 자체 도구 환경에서 검증한 뒤 게이트웨이를 고르는 편이 안전합니다. 도구 노출 범위를 좁히는 쪽 설계는 MCP 툴 카탈로그 검색형 호출 운영 가이드에서 운영 기준으로 이어집니다.

참고 링크

이 리뷰에 대해 AI와 대화하기

AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.

대화창을 불러오는 중…