원문 정보
Yizhen Jiang, Haowei Guo, Tianyi Bai, Zengjie Hu, Lu Ma, Zhengyang Zhao, Haoze Sun, Peng Pei, Wentao Zhang, "MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents", arXiv:2611.07689 [cs.AI], 2026-11-05 제출, DOI 10.48550/arXiv.2611.07689. 소속: 베이징대 중관춘 아카데미·메이투안, 홍콩과기대. 코드·벤치마크 공개(github.com/J1zz/mcp_hallu), CC BY-NC-SA 4.0.
동료심사를 거치지 않은 프리프린트입니다. 저자 대다수가 베이징대 중관춘 아카데미·메이투안 소속이고, 두 명은 메이투안에서 인턴을 했습니다. 연구는 메이투안을 포함한 중국 정부·학술 연구비 다수의 지원을 받았다고 명시합니다. 다만 평가 대상 14개 모델에 메이투안 자체 모델은 없어, 자사 제품을 돋보이게 하려는 직접적 이해상충은 아닙니다. 과제 생성은 Claude Sonnet 4.6, 채점 판정은 GPT-4o가 맡는 등 심사에도 상용 모델을 쓰는데, 저자들은 채점 구성요소 중 결정론적 요소(실시간 서버 대조·상태 검증)가 70~80%를 차지하고 LLM 판정은 20~30%뿐이라고 밝히며, 판정자를 Claude Sonnet 4.5로 바꿔도 순위가 거의 그대로임(상관 0.914)을 자체 검증해 공개했습니다.
연구 개요
질문은 단순합니다 — MCP(Model Context Protocol)로 여러 서버의 도구를 넘나드는 에이전트가 실패할 때, 그 실패는 추론·실행·기억 중 어느 단계에서 왜 일어나는가. 기존 MCP 벤치마크는 과제 완료율만 보거나, 실패를 사후에야 진단합니다. MCPHallu는 반대로 접근해, 과제마다 특정 환각 유형이 주된 실패 원인이 되도록 구조적 함정을 미리 심습니다.
구성은 5개 역량 도메인(검색·분석·생산성·금융·코딩), 36개 프로덕션 MCP 서버(GitHub·Notion·Slack 등, 격리 도커 컨테이너에서 실행), 358개 과제로 이뤄지며, 과제는 4개 환각 유형(분기 붕괴·도달 불가능한 목표·도구 오용·맥락 망각)과 3개 난이도로 나뉩니다. 정답은 실시간 서버 대조 스크립트와 실행 후 상태 검증으로 판정합니다. 14개 프런티어 모델(8개 벤더)에 총 5,012회 실행을 돌렸습니다.
핵심 결과
전체 평균 점수는 0.642(0~1), 최고는 Claude Opus 4.6의 0.728입니다(이 리뷰가 14개 모델 점수를 직접 평균해 재검산). 네 유형 중 '도달 불가능한 목표(Unreachable Goal)'가 가장 어려워 평균 0.458, 통과율 23.2%에 그쳤습니다 — 쓸 수 있는 도구로는 애초에 달성할 수 없는 목표인데도 에이전트가 계속 도구를 호출하거나 완료를 주장하는 경우가 많다는 뜻입니다.
이 패턴은 도구 호출 횟수로 쪼개보면 뚜렷합니다. 호출 0회(목표가 불가능함을 바로 인식)면 통과율 65.0%지만, 4회 이상 호출한 뒤에는 통과율이 0%로 떨어집니다. 더 움직일수록 완료했다는 거짓 보고가 늘어난다는 뜻입니다.
출처: 원문 Table 6
표로 보기
| 항목 | 통과율 |
|---|---|
| 0회 | 65.0% |
| 1-3회 | 27.9% |
| 4-7회 | 0.0% |
| 8-15회 | 0.0% |
| 16회+ | 0.0% |
도구 오용(Tool Misuse) 유형에서는 필요한 도구를 찾는 것 자체가 아니라 '쓰지 말아야 할 도구를 참는 것'이 관문입니다. 올바른 도구만 호출하면 통과율 84.7%지만, 기능이 겹치는 혼동 도구를 함께 호출하면 32.3%로 떨어집니다 — 필요한 도구가 궤적에 있어도 소용없습니다.
| 도구 호출 유형 | 건수 | 통과율 | 평균 단계수 |
|---|---|---|---|
| 정답 도구만 | 825 | 84.7% | 3.54 |
| 정답 + 혼동 도구 | 260 | 32.3% | 10.70 |
| 혼동 도구만 | 16 | 0.0% | 3.38 |
| 둘 다 호출 안 함 | 75 | 8.0% | 0.37 |
또 하나 — 종합 1위 Claude Opus 4.6은 분기 붕괴(Branch Collapse) 세부 지표에서는 14개 모델 중 7위에 그칩니다(이 리뷰가 원문 Table 5 수치로 직접 순위 재계산). 모델 순위는 유형별로 평균 13개 중 6.9칸이 뒤바뀌고, 분기 붕괴와 도달 불가능한 목표 간 상관은 거의 없습니다(r=-0.12) — 하나의 종합 점수로는 이 격차가 보이지 않습니다.
신뢰도 평가
믿을 근거는 세 가지입니다. 첫째, 정답 판정이 실시간 서버 상태 대조·사후 상태검증 중심이고 LLM 판정 비중은 20~30%로 명시돼 있습니다. 둘째, 판정자를 다른 벤더 모델로 바꿔도 순위가 거의 그대로임을 저자들이 직접 확인·공개했습니다(상관 0.914). 셋째, 36개 서버가 모의가 아니라 실제 프로덕션 패키지의 버전 고정본이고 코드·과제가 공개돼 외부 재현이 가능합니다.
감안할 점도 분명합니다. 동료심사 전 초고이고, 메이투안 포함 연구비 지원을 받았으며 두 저자가 메이투안 인턴입니다. 저자들은 추론·실행·기억 세 축이 통계적으로 독립된 요인이 아니라 설계용 발상이라는 점, 36개 서버가 영어권·서구 SaaS 중심이라 비영어·비서구 서비스에는 일반화를 보장하지 못한다는 점, 과제 중 도구 구성이 고정돼 있어 실행 중 서버 설치·제거처럼 동적으로 바뀌는 상황은 다루지 못한다는 점을 스스로 밝힙니다. 상반된 결과는 아니지만 비교할 대상은 있습니다 — 저자들이 직접 인용한 선행 MCP 벤치마크 MCP-Atlas는 상위 모델 통과율을 50% 이상(버전에 따라 최대 82.2%)으로 보고하는데, 이는 구조적 함정 없이 일반 과제 완료율을 재는 것이라 MCPHallu의 0.642 평균과 직접 비교할 수 없습니다 — 완료율과 환각 메커니즘 진단은 다른 질문입니다.
관련 연구
- Zhang 외(2024). ToolBeHonest — 단일 서버·상태 없는 설정에서 도구 호출 가능성 판단 오류를 측정한 선행 연구(EMNLP 2024). GPT-4o가 100점 만점에 37.0점에 그쳐 도구 환각이 오래된 문제임을 보였지만, 다중 서버·상태 유지·장기 궤적은 다루지 않습니다 — MCPHallu가 메우는 간극입니다.
- Xu 외(2025). Reducing Tool Hallucination via Reliability Alignment(RelyToolBench) — 에이전트가 도구 사용을 보류·명확화 요청할 수 있는 '유보 행동'을 도입해 신뢰도를 높이는 선행 연구. MCPHallu가 발견한 "조기 인식 65% vs 4회 이상 지속 0%" 패턴과 같은 방향 — 일찍 멈추는 능력이 핵심 레버라는 독립적 증거로 읽힙니다.
- Bandi 외(2026). MCP-Atlas — 36개 실제 MCP 서버·1,000개 과제로 도구 사용 역량을 재는 선행 MCP 벤치마크(사후 11항목 실패 분류 포함). MCPHallu는 이 설계를 과제 완료율 측정에서 "사전에 설계한 구조적 함정으로 유형별 실패를 유도"하는 방향으로 확장합니다 — 완료율과 메커니즘 진단이라는 서로 다른 질문을 보완적으로 다룹니다.
리뷰어 판단
첫째, 평균 점수 0.642는 이 벤치마크의 가장 중요한 수치를 가립니다. 실제로 운영에 영향을 주는 신호는 "4회 이상 도구를 호출한 뒤에는 통과율이 정확히 0%"라는 벼랑입니다. 평균이나 종합 리더보드만 보는 운영 대시보드는 이 벼랑을 놓칠 가능성이 높다고 판단합니다 — 조기 중단 로직 없이 배포한 MCP 에이전트는 "계속 시도 중"이라는 보고 뒤에 실제로는 이미 실패한 과제가 쌓이고 있을 수 있습니다.
둘째, 심사 설계(결정론 70~80% + LLM 판정 20~30%, 타판정자 교체 시 상관 0.914 공개)는 이 시리즈가 흔히 지적하는 'LLM 심사위원 의존' 문제에 대한 실질적인 답이라고 판단합니다. 벤치마크를 직접 만드는 입장이라면 이 비중 분리와 교차검증 공개 방식을 참고할 가치가 있습니다.
셋째, 종합 1위 모델이 특정 세부 유형에서는 7위로 떨어진다는 사실은 "최고 모델 하나를 고른다"는 조달 관행 자체에 의문을 던집니다. 자사 MCP 배포가 분기 붕괴형 실패(여러 도구 결과를 조건부로 조합)에 취약한 조직이라면, 종합 1위가 아니라 해당 유형 1위를 봐야 한다고 판단합니다.
실무 적용
- 조기 중단 예산 — 목표 달성 가능성이 불확실한 과제는 도구 호출 3회 안에 "불가능" 판단을 강제합니다. 0회 시 통과율 65.0%, 4회 이상 시 0%라는 벼랑이 근거입니다.
- 혼동 도구 정리 — 기능이 겹치는 도구를 노출할 때 통과율이 84.7%→32.3%로 떨어집니다. MCP 서버 배선 시 유사 기능 도구는 네임스페이스를 분리하거나 통합합니다.
- 서브타입별 리더보드 — 종합 점수 하나로 모델을 고르지 않습니다. 순위가 유형별로 평균 6.9칸(13개 중) 흔들리므로, 자사 워크로드가 어느 유형에 몰려 있는지부터 파악합니다.
- 결정론 우선 채점 — 자체 평가 파이프라인을 만든다면 LLM 판정 비중을 20~30%로 제한하고 나머지는 실행 후 상태 대조로 메꾸는 구성을 참고합니다.
결론
MCPHallu의 기여는 "MCP 에이전트가 얼마나 자주 실패하는가"가 아니라 "왜, 어느 단계에서" 실패하는가를 구조적으로 드러낸 데 있습니다. 평균 점수 0.642 자체보다, 도달 불가능한 목표를 조기에 인식하지 못하면 통과율이 0%로 떨어지고, 혼동 도구가 섞이면 도구 오용 통과율이 반 토막 난다는 두 메커니즘이 실무적으로 더 값진 발견입니다. 다만 동료심사 전 초고이고 서구 SaaS 서버 중심이라는 한계가 있으므로, 자사 MCP 배포 환경에서 같은 네 유형을 재현해 보는 것이 먼저입니다. MCP 서버의 도구 수를 줄여 혼동을 줄이는 운영 사례는 AutoRAG MCP 서버 도구 통합 가이드에서 이어집니다.
참고 링크
- MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents — arXiv 초록(원문)
- 같은 논문 HTML 전문 — 표·수치 대조에 사용
- MCPHallu 코드·벤치마크 공개 저장소
- 도구 2,594개가 2개로 줄었다: AutoRAG MCP 서버 전환 — sunny34.com 블로그
이 리뷰에 대해 AI와 대화하기
AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…