원문 정보

Vagner Figueredo de Santana, Diogo Cortiz, "A Baseline Assessment for the Agentic Web Technology Stack", arXiv:2610.13703v1 [cs.AI], 2026-10-09 제출, CC BY 4.0. 소속: 브라질 인터넷운영위원회 산하 NIC.br, 공동저자 1인은 PUC-SP 겸임. 코드·실험 설정·로그 전량 공개(github.com/cewebbr/mastif).

동료심사를 거치지 않은 arXiv 프리프린트이며 학회·저널 투고 표시는 비어 있습니다. NIC.br은 브라질 인터넷 거버넌스를 담당하는 비영리 기관이고, 연구비도 NIC.br 자체 지원입니다 — 외부 스폰서는 없지만 저자 전원이 자금 제공 기관 소속이라는 점은 이해상충으로 명시합니다. 코드·설정·로그 전량 공개는 재현 가능성을 높이는 요인입니다.

연구 개요

질문은 단순합니다 — 에이전트 성능은 모델·프로토콜·프레임워크 중 무엇이 가르는가. 저자들은 자체 평가 도구 MASTIF로 3개 모델(Mistral-7B-Instruct, Qwen2.5-7B, Llama-4-Scout-17B-16E) × 3개 통신 방식(표준 호출, MCP, A2A) × 4개 프레임워크(LangChain, LangGraph, CrewAI, Semantic Kernel)를 Mind2Web 벤치마크(2,350개 중 계층화 추출 300개)에 돌렸습니다. 3×3×4×300=10,800회 실행이며 이 곱은 원문 수식과 일치합니다. 판정은 평가 대상과 다른 계열인 GPT-4o-mini를 심판으로 써 선호 편향을 줄였습니다.

핵심 결과

과제완성률(TCR)은 모델·프로토콜·프레임워크 세 요인 모두에서 통계적으로 유의했습니다(Kruskal-Wallis, 모델 H=1203.3·프로토콜 H=428.8·프레임워크 H=6039.3, 모두 p<0.001). 원문 Table 2의 36개 셀을 모델별로 평균하면(필자 계산·원문 직접 수치 아님), 세 모델 모두 MCP 조건의 완성률이 가장 낮습니다.

모델	표준 호출	MCP	A2A
Mistral-7B-Instruct	66.3%	62.8%	65.0%
Qwen2.5-7B	75.8%	53.4%	68.2%
Llama-4-Scout-17B-16E	48.1%	39.4%	52.2%

낙폭이 가장 큰 Qwen2.5-7B는 표준+LangChain 79.5%(σ0.157, Table 2 단일 셀 최고)에서 MCP+LangChain 53.7%(σ0.278)로 떨어집니다. 반대로 도구 호출 성공률(Table 4, 도구를 외부화한 모델은 Qwen2.5-7B뿐)은 MCP+Semantic Kernel이 68.1%로 전 조합 최고입니다 — MCP는 도구는 더 쓰게 하면서 과제는 덜 끝내게 하는 이중 효과를 보입니다. 원문 Table 6의 "요인별 최고 조합"은 완성률 기준 Qwen2.5-7B·표준·Semantic Kernel인데, 이는 요인별 평균 순위 기준이라 개별 셀 최고값(Qwen2.5-7B·표준·LangChain, 79.5%)과는 다른 질문에 대한 답입니다. 둘을 섞어 읽으면 안 됩니다.

신뢰도 평가

믿을 근거: 조건당 300과제·총 10,800회 실행에 Shapiro-Wilk·Kruskal-Wallis·Dunn 사후검정을 모두 보고했고, 코드·로그를 전량 공개했으며, 심판 모델을 평가 대상과 다른 계열로 분리했습니다. 감안할 점: 저자가 밝힌 대로(7.4절) 프로토콜 비교는 "메시지 교환 방식"만 흉내 낸 것이라 실제 MCP·A2A 서버의 스키마 주입·핸드셰이크 비용은 반영되지 않았을 수 있고, 도구 호출을 외부화한 모델이 하나뿐이라 도구사용 결과는 모델 효과와 섞여 있습니다. 이해상충은 앞서 밝힌 대로입니다. 동료심사를 거친 독립 반례는 찾지 못했으나, 아래 관련 연구는 같은 방향("프로토콜 추가가 공짜가 아니다")을 가리킵니다.

리뷰어 판단

첫째, "MCP가 도구 호출은 돕지만 완성률은 깎는다"는 결과가 가장 실무적으로 중요하다고 판단합니다. 저자도 6.3절에서 짚었지만 비중은 낮게 다뤘는데, 도구 선택을 유도하는 것과 최종 완료로 이어지는 것을 분리해 측정한 설계 자체가 이 논문의 값입니다.

둘째, Table 6의 "요인별 최고 조합"은 그대로 인용하면 오독을 부른다고 봅니다. 요인별 평균 순위 1위(Semantic Kernel)와 개별 셀 최고값(LangChain)이 다른데, "최고 조합"만 보고 고르면 실제로는 2위를 택하게 됩니다.

실무 적용

프로토콜은 기본값이 아니라 선택 — MCP·A2A를 표준이니 얹는다고 접근하지 말고, 완성률·도구사용률을 자체 과제로 각각 재본 뒤 결정합니다.
모델×프로토콜을 따로 평가 — 프로토콜 효과 크기가 모델마다 달랐습니다(Qwen -22.4%p, Llama -8.7%p, Mistral -3.5%p). 모델을 바꾸면 재평가합니다.
"최고 조합" 표는 기준을 먼저 확인 — 요인별 평균 순위인지 개별 조합 실측값인지 구분해 보고합니다.
프로토콜 오버헤드는 실제 서버로 재검증 — 이 실험은 메시지 형식만 모사했으므로, 실서버의 스키마 주입·핸드셰이크 비용은 별도로 측정합니다.

결론

이 논문의 기여는 새 기술이 아니라 "에이전틱 웹 스택을 선택이 아니라 실험으로 다루라"는 태도입니다. 10,800회 실행에서 모델·프로토콜·프레임워크 모두가 통계적으로 유의했고, 특히 MCP는 도구사용률을 올리면서도 세 모델 모두에서 완성률을 떨어뜨렸습니다. 다만 프로토콜을 메시지 형식으로만 흉내 낸 한계와 저자-자금원 일치라는 이해상충을 함께 읽어야 하며, 도입 전 자체 과제로 재현하는 것이 안전합니다. MCP 신뢰성 설계는 로컬 배포 MCP 툴콜링 에이전트 신뢰도 설계에서 운영 관점으로 이어집니다.

참고 링크

이 리뷰에 대해 AI와 대화하기

AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.

대화창을 불러오는 중…

완성률 75.8%→53.5%: MCP의 역설, 에이전틱 웹 스택 베이스라인 리뷰