sunny34.com - 리서치 리뷰

2026.10.31 · arXiv preprint

토큰 87% 줄여 정확도는 2배로: CORAL 장기 실행 에이전트 작업기억 리뷰

장기 실행 에이전트가 스스로 체크포인트를 남기고 컨텍스트를 리셋하는 CORAL 프레임워크가 GAIA에서 토큰을 87% 줄이면서 정확도를 2배로 끌어올린 실험을 원문 대조했습니다.

Qwen3-8B 기반 CORAL은 GAIA 평균 42.8%를 기록하며 같은 모델의 ReAct 기준선(19.4%) 대비 정확도를 2배 이상 끌어올리면서 입력 토큰은 87.4% 줄였습니다(원문 Table 1·Table 2).
가장 어려운 GAIA Level 3 과제에서는 CORAL이 19.8%로, 전체 평균이 더 높은 CK-Pro-8B(8.3%)를 크게 앞섰습니다 — 단일 평균은 이 방법이 노리는 영역의 성능을 과소평가합니다.
학습 없이 프롬프팅만으로도 BrowseComp(150문항)에서 ReAct 대비 8.0%p(22.7%→30.7%) 올랐지만, Qwen2.5-7B-Instruct 같은 약한 백본에서는 프롬프팅만으로는 오히려 3.9%p 떨어져 SFT·RL 학습이 필요했습니다.

토큰 87% 줄여 정확도는 2배로: CORAL 장기 실행 에이전트 작업기억 리뷰 썸네일

2026.10.30 · arXiv preprint

통과율 82.8%, 결함 재현율 33.8%: Req2Test-Bench로 본 코딩 에이전트 테스트 생성 리뷰

요구사항만 보고 테스트를 작성하게 하면 통과하는 테스트는 많아도 실제 결함을 재현하는 테스트는 훨씬 적습니다. Req2Test-Bench가 8개 에이전트·모델 조합을 검증한 결과입니다.

최고 조합(Codex CLI+DeepSeek V4.1 Flash, 고추론)은 target-hidden 인스턴스의 82.8%에서 통과하는 테스트를 만들었지만, 개발자 테스트가 잡는 결함을 모두 재현하는 킬-완전(KillComplete@1) 비율은 33.8%뿐이었습니다.
생성 1회 비용은 0.039~1.16달러로 30배 차이가 났지만 효과와 비례하지 않았고, Codex/Luna·Claude Code/DS·Claude Code/Sonnet 세 조합만 비용-효과 파레토 선상에 있었습니다.
결함을 못 잡는 테스트의 90~99%는 요구사항이 설정·기대 결과를 암묵적으로만 남긴 '정보 간극' 때문이었고, 프로젝트 지식을 쓰라는 프롬프트 한 줄만 추가해도 KillComplete@1이 최대 15.0%p 올랐습니다.

통과율 82.8%, 결함 재현율 33.8%: Req2Test-Bench로 본 코딩 에이전트 테스트 생성 리뷰 썸네일

2026.10.29 · arXiv preprint (워크숍 트랙)

세 도메인 중 하나만 유의했다: 넷플릭스 AT-AT 에이전트 툴 자동 최적화 리뷰

넷플릭스가 과거 에이전트 실행 로그만으로 도구 설명·구현을 오프라인 수정하는 AT-AT을 발표했습니다. τ²-bench-verified 3개 도메인 중 통계적으로 유의한 개선은 Telecom 1건뿐이고, 프로덕션 MCP 서버 3종 중 작업 완료율이 오른 곳도 1곳뿐입니다.

AT-AT은 과거 에이전트 실행 로그만으로 도구 설명·구현을 오프라인에서 고쳐, τ²-bench-verified Telecom에서 29.50%→36.75%(+7.25%p, p=0.0033)로 통계적으로 유의미한 유일한 개선을 냈습니다.
Airline(+7.00%p, p=0.2305)·Retail(−2.33%p, p=0.2313)은 유의하지 않았고, 넷플릭스 프로덕션 MCP 서버 3종 중 작업 완료율이 개선된 곳은 1곳(Eng. Context, 54.5%→72.7%)뿐이었습니다.
저자 5인 전원이 넷플릭스 소속이고 프로덕션 실험 대상도 자사 내부 시스템이라는 이해상충이 있으며, 이 논문은 워크숍 트랙 제출본으로 동료심사를 거치지 않았습니다.

세 도메인 중 하나만 유의했다: 넷플릭스 AT-AT 에이전트 툴 자동 최적화 리뷰 썸네일

2026.10.28 · arXiv preprint

25%·50%·60%, 기준선은 비공개: 공급망 공간 에이전트 ANASSA 아키텍처 리뷰

창업자가 쓴 공급망 에이전트 ANASSA의 3개월 PoC에서 데이터 품질 25%, 런타임 50%, 의사결정 지연 60% 개선을 보고했지만 절대 기준값은 비공개입니다.

ANASSA는 11개 구성요소·6단계 인지 루프·8개 타입 데이터 계약으로 에이전트 경계마다 선행조건을 명시하고, 두 지점의 블로킹 휴먼인더루프 승인을 둡니다
3개월 PoC에서 수동 워크플로 대비 데이터 품질 25% 개선, 워크플로 런타임 50% 감소, 의사결정 지연 60% 감소를 보고했지만 절대 기준값·표본 수는 비공개입니다
교신저자가 ANASSA를 상품화한 회사 소속이라는 이해상충이 있고, 저자들 스스로 '비통제 배포 관찰'이라 명시하며 게이트 체류시간 등 RQ4 핵심 계측은 수집하지 못했다고 밝힙니다

25%·50%·60%, 기준선은 비공개: 공급망 공간 에이전트 ANASSA 아키텍처 리뷰 썸네일

2026.10.27 · arXiv preprint

완성 점수가 60% 깎인다: 모델을 키워도 MCP 장애엔 못 버틴다는 MCP-Injector 리뷰

MCP 생태계 실제 장애 분포를 주입한 1,350칸 실험에서 작업완성 점수가 60% 떨어졌고, 20B보다 120B 모델의 완성률이 오히려 낮았습니다.

57,240건의 MCP 이슈·PR 스레드에서 뽑은 장애 분포를 주입하자 작업완성 점수가 8.08→3.23(−60%)으로 떨어집니다
모델을 20B→120B로 키워도 장애 내성은 늘지 않고, 완성률은 오히려 95.6%→91.1%로 낮습니다(차이 4.4%p, 통계적으로는 불확실)
에이전트 하네스(MCPBench·OpenAI SDK·LangChain)별 장애 대응 패턴 차이가 모델 크기보다 더 크게 나타납니다

완성 점수가 60% 깎인다: 모델을 키워도 MCP 장애엔 못 버틴다는 MCP-Injector 리뷰 썸네일

2026.10.26 · arXiv preprint

경쟁 최강보다 4.7점 높다: 실행 중 스스로 구조를 고치는 멀티에이전트 RoleFlow 리뷰

메릴랜드대 등 연구진이 제안한 RoleFlow가 실행 중 협업 구조를 스스로 편집하는 SECPO 학습으로 7개 벤치마크 평균에서 최강 경쟁 하니스 W4S를 4.7점 앞섰습니다.

7개 벤치마크 평균 67.1점으로 최강 경쟁 하니스 W4S(62.4점)를 4.7점 앞섭니다(이번 리뷰가 평균값 산술 재검산)
역할 라이브러리를 제거하면 MuSiQue 점수가 42.1→16.3으로 급락 — 구조를 언제 고칠지보다 무엇으로 고칠지가 핵심 레버입니다
SECPO는 GRPO보다 학습 비용이 48% 더 들지만(과제당 체인 실행 9.1→13.5회) 2.1~2.6점을 더 법니다

경쟁 최강보다 4.7점 높다: 실행 중 스스로 구조를 고치는 멀티에이전트 RoleFlow 리뷰 썸네일

2026.10.25 · arXiv preprint

최고 점수는 50.6%뿐: 전문 물리공학 업무에 도전한 AI 에이전트 벤치마크 PLE 리뷰

구글 클라우드 AI 리서치가 만든 85개 전문 물리공학 과제 벤치마크에서, 14개 프런티어 모델·7개 하니스의 86개 조합 중 최고 점수는 Claude Opus 5.5의 50.6%에 그쳤습니다.

최고 구성(Claude Opus 5.5·Claude Code)도 평균 50.6%, 과제당 27M 토큰·63분 소요
모델 간 격차가 하니스 간 격차보다 훨씬 크다 — 모델 격차는 50.6%~14.2%대, 하니스 간 격차는 중앙값 3.0%p뿐
LLM 심사위원이 1위 모델(Claude Opus 5.5)과 같은 계열이라 저자들이 자기선호 편향 2.3%p를 자체 재검증해 공개

최고 점수는 50.6%뿐: 전문 물리공학 업무에 도전한 AI 에이전트 벤치마크 PLE 리뷰 썸네일

2026.10.24 · arXiv preprint

공격성공률 27%→5%, 유틸리티 손실은 1.6%p뿐: 멀티에이전트 가드레일 MAS-Guard 리뷰

오라클 AI가 내놓은 통합 가드레일 MAS-Guard가 6개 벤치마크·3개 LLM에서 공격성공률을 71.5~86.3% 낮추면서도 정상 작업 성능은 거의 지켰습니다.

GPT-5.6-Terra 기준 공격성공률 27.1%→4.8%(82.3%↓), 3개 모델 평균 71.5~86.3% 감소
경쟁 가드레일 FIDES는 ACIArena·AgentLeak에서 더 낮은 ASR을 냈지만 세 모델 모두 유틸리티 기준을 못 넘김 — 안전성과 유틸리티의 트레이드오프를 실증
애블레이션 결과 로컬 A-Guard 단독으로 ASR 27.1%→7.8%, 시스템 결정론적 체크 단독은 27.1%→26.4%로 거의 무력 — 로컬 검사가 핵심 레버

공격성공률 27%→5%, 유틸리티 손실은 1.6%p뿐: 멀티에이전트 가드레일 MAS-Guard 리뷰 썸네일

2026.10.23 · arXiv preprint (EMNLP 2026 Industry Track)

지연시간 71초→12초, 품질은 그대로: 디퓨전 백본 딥리서치 에이전트 DiffResearch 리뷰

같은 에이전트 스캐폴드에서 백본만 자기회귀→디퓨전으로 바꾸자 Deep Research Bench 종단 지연시간이 6배 줄었고, RACE 품질 점수는 그대로였습니다.

백본만 디퓨전으로 바꿔 종단 지연시간 71.45초→11.89초, 약 6배 단축(에이전트 스캐폴드는 고정).
RACE 품질 점수는 AR·dFull·dFast 전부 0.3895~0.3969로 사실상 동급 — 속도가 품질을 깎지 않음.
수동 근거 대조 감사에서 완전히 뒷받침된 주장은 28%뿐 — 디코딩 문제가 아니라 검색 채널 제한의 한계.

지연시간 71초→12초, 품질은 그대로: 디퓨전 백본 딥리서치 에이전트 DiffResearch 리뷰 썸네일

2026.10.22 · arXiv preprint (Salesforce AI Research)

종합 1위라도 안전성은 5위다: EGI-Bench 14개 모델 엔터프라이즈 에이전트 평가 리뷰

엔터프라이즈 에이전트 벤치마크 8개를 통합한 EGI-Bench. 종합 1위 gpt-5.5의 안전성 지표는 14개 모델 중 5위에 그쳤습니다.

gpt-5.5가 종합 EGI 65.61로 1위지만 안전·거부(M5) 지표는 63.47로 Claude Sonnet 4.5(80.28)보다 17점 낮아 14개 모델 중 5위
종합 6위 Claude Haiku 4.5가 엔지니어링 품질(M6) 61.28로 14개 모델 중 최고치 — 종합 순위만으로는 드러나지 않는 역전
평가 틀을 설계·가중한 Salesforce AI Research가 구성 벤치마크 8개 중 다수(CRMArena·HERB·Benchforce)도 직접 발표해 이해상충 존재

종합 1위라도 안전성은 5위다: EGI-Bench 14개 모델 엔터프라이즈 에이전트 평가 리뷰 썸네일

2026.10.21 · arXiv preprint

같은 편집도 툴콜이면 손해: 토큰 36% 줄인 네이티브 컨텍스트 편집 NCE 리뷰

컨텍스트 편집을 모델 어휘로 내재화한 NCE가 하니스 압축 대비 토큰을 36% 줄이고 성공률을 5.6%p 올렸습니다. 같은 편집을 툴콜로만 노출한 비교군은 오히려 압축보다 낮아, 이득의 원천이 표현 방식에 있음을 보였습니다.

같은 편집 내용을 툴콜로 학습한 비교군은 평균 성공률 47.3%로 하니스 압축(48.3%)보다 낮고 토큰은 6%만 줄어, NCE의 토큰 절감 36%는 편집 내용이 아니라 네이티브 표현에서 온다는 것을 보입니다(Table 1)
Terminal-Bench 2.0에서 예산을 256K에서 48K까지 좁혀도 NCE는 하니스 압축 대비 성공률 +5.6~+10.1%p, 토큰 -26~-39%로 순위를 유지합니다(Table 2)
학습 데이터 생성 파이프라인을 정량 감사해, 교사 1명 단독 판정 시 결함 궤적 비율 80.0%, 원본 궤적 그대로 라벨링 시 100.0%였던 것을 2단계 교사·진화 컨텍스트 방식으로 37.5%까지 낮췄습니다

같은 편집도 툴콜이면 손해: 토큰 36% 줄인 네이티브 컨텍스트 편집 NCE 리뷰 썸네일

2026.10.20 · arXiv preprint

토큰 28배, 공격성공률 47.2%→30.9%: MCP 게이트웨이 7종 실측 GatewayBench 리뷰

MCP 게이트웨이 7종을 실측해, 모델을 올리면 과제 성공률 격차는 사라져도 간접 공격 성공률 격차는 그대로 남는다는 것을 보인 GatewayBench를 원문 표와 대조했습니다.

노이즈 도구가 없을 때 계층형 게이트웨이의 간접 공격 성공률은 평균 19.6~30.9%, 평면형은 42.5~60.5%로 모델·하니스 조합마다 뚜렷한 격차가 있습니다(Table 2)
GPT-5.4로 올리면 과제 성공률은 87.2%와 85.1%로 거의 같아지지만, 간접 공격 성공률은 47.2%와 30.9%로 격차가 그대로 남아 능력과 보안이 함께 좋아지지 않습니다
노이즈 도구 1,500개를 주입하면 평면형 게이트웨이의 턴당 토큰은 8.3천에서 233.3천으로 약 28배 뛰지만, 계층형은 9.1천에서 12.6천으로 거의 그대로입니다(GPT-5.4 기준)

토큰 28배, 공격성공률 47.2%→30.9%: MCP 게이트웨이 7종 실측 GatewayBench 리뷰 썸네일

2026.10.19 · arXiv preprint

메달률 37.9%→72.7%, 35B를 대형 모델급으로: 자율 ML 엔지니어링 에이전트 MLExpert 리뷰

35B 규모 MLExpert가 Kaggle 기반 22개 과제에서 메달률을 37.9%에서 72.7%로 끌어올려 대형 모델급 성능에 도달했습니다. 단계별 학습(SFT→RL)의 기여도를 원문 표로 대조했습니다.

MLExpert는 MLE-Bench Lite 22개 과제에서 기반 모델(Qwen3.6-35B-A3B) 대비 메달률을 37.9%→72.7%로 끌어올려, 같은 체급 모델 중 최고치이자 GLM-5.3·Kimi-K3 같은 대형 모델과 동등한 수준에 도달한다
단계별 분해(Table 3)에서 범용 에이전트 SFT가 37.9%→47.0%, MLE 도메인 SFT가 47.0%→62.1%, 실행창 강화학습(WIRL)이 62.1%→72.7%로 각 단계가 독립적으로 기여한다
같은 MLE-SFT 모델에서 출발한 RL 비교(Table 4)에서 WIRL은 72.7%로 GRPO(56.1%)·PPO식 최적화(60.6%)보다 높고, 추세 보상·정책 보정 중 하나만 빼도 65~67%로 떨어져 두 설계 요소 모두가 기여함을 보인다

메달률 37.9%→72.7%, 35B를 대형 모델급으로: 자율 ML 엔지니어링 에이전트 MLExpert 리뷰 썸네일

2026.10.18 · arXiv preprint

정확도 62.1%→84.9%, 허위합의율 40.7%→17.0%: 멀티에이전트 숙의 컨트롤러 ECMR 리뷰

멀티에이전트 LLM이 합의에 이르렀다고 정답이라는 뜻은 아닙니다. ECMR은 답의 집중도와 근거의 독립성을 분리해, 고정 토론 프로토콜 대비 정확도를 22.8%p 끌어올리고 허위합의율을 절반 이하로 낮췄습니다.

ECMR-Full은 MedQA·CaseHOLD·FinQA 9,000건 평가에서 정확도를 62.1%→84.9%, 허위합의율(FCR)을 40.7%→17.0%, 근거지지율(ESR)을 58.0%→88.7%로 동시에 개선한다 — 세 지표가 상충하지 않는 동반 개선이다
같은 역할·행동 집합을 쓰면서 상태만 무작위로 섞은 State-Shuffled 조건은 라운드 수를 0.7회만 줄이면서 정확도를 11.7%p 깎는다 — 개선의 원인이 '더 많이 토론'이 아니라 '증거 상태에 따라 다르게 행동'이라는 뜻이다
쉬운 문항에서는 ECMR-Full의 이득이 1.3%p에 그치지만 어려운 문항에서는 37.1%p까지 벌어진다 — 통제된 추가 연산이 쉬운 문제가 아니라 불확실성이 남는 문제에 선택적으로 쓰인다

정확도 62.1%→84.9%, 허위합의율 40.7%→17.0%: 멀티에이전트 숙의 컨트롤러 ECMR 리뷰 썸네일

2026.10.17 · arXiv preprint

로컬 공격 성공 90%, 피해 전환 7~100%: Agent-Canary-Mas 프로토콜 리스크 리뷰

A2A·ANP·BCS 멀티에이전트 프로토콜 공격 975쌍을 분석했습니다 — 국소 공격 성공률은 90% 안팎으로 높지만, 실제 업무 결과로 전환되는 비율은 위험군에 따라 7.1%에서 100%까지 극단적으로 갈립니다.

국소 공격 성공률(ASR)은 세 프로토콜 평균 72~100%로 높지만, 실제 업무 결과 전환율(PTCR)은 7.1%(ANP-T4)에서 100.0%(BCS-T3)까지 위험군별로 극단적으로 갈린다 — ASR 하나만 보는 보안 지표는 위험을 과대·과소평가한다
프로토콜 기본 로그만으로 사고 책임 에이전트를 찾는 Audit-F1은 29.7%에 그치지만, 참가자 선택·전달·소비·효과를 잇는 교차 증거를 쓰면 95.5%까지 오른다(+65.8%p)
핸드오프마다 권한을 재확인하는 프로토콜 가드는 금융 과제 평균 ASR을 86.1%→53.8%, PTCR을 65.5%→31.2%로 낮추지만 과제 완료율도 99.8%→95.1%로 떨어진다 — 보안과 완료율은 공짜로 교환되지 않는다

로컬 공격 성공 90%, 피해 전환 7~100%: Agent-Canary-Mas 프로토콜 리스크 리뷰 썸네일

2026.10.16 · arXiv preprint

완료율 43.6%, 완전 준수율 19.0%: 코딩 에이전트의 '숨은 불복종' ANCHOR 리뷰

기능은 맞혔지만 범위·순서·보고 규칙은 어겼다 — 코딩 에이전트의 완료율과 제약 준수율 사이 격차를 원문 표로 확인했습니다.

최고 성능 Claude Opus 4.8(Cline)도 작업 완료율 43.6%에 전체 체크리스트 완전 준수율(FCCR)은 19.0%에 그쳤다 — 81.0%의 과제가 최소 1개 규칙을 어긴다
같은 모델(GPT-5.3-Codex)도 스캐폴드만 바꾸면 완료율은 0.3%p 차이인데 IPR은 5.0%p, FCCR은 3.1%p 벌어진다 — 완료율만 보는 대시보드는 이 위험을 못 잡는다
보고(Reporting) 규칙 준수율이 41.0%로 전 카테고리 중 가장 낮다 — 에이전트가 무엇을 했는지 밝히는 일이 가장 안 지켜지는 규칙

완료율 43.6%, 완전 준수율 19.0%: 코딩 에이전트의 '숨은 불복종' ANCHOR 리뷰 썸네일

2026.10.15 · arXiv preprint

검출률 47.7%→71.9%, 사내 레포선 -25.5%p: CRBugBench 코드리뷰 에이전트 리뷰

리뷰 에이전트의 버그 탐지력이 5개월 만에 47.7%→71.9%로 뛰었지만, 사내 대형 레포에서는 최대 25.5%p 더 떨어지는 이유를 원문 표로 확인했습니다.

claude-opus-5는 PR 상위 5개 리뷰 코멘트 안에서 평균 버그 71.9%를 잡았다 — 5개월 전 opus-4.6의 47.7%보다 크게 올랐다
사내 대형 레포(평균 10만+ 파일)에서는 같은 에이전트의 검출률이 최대 25.5%p 떨어진다 — diff만 봐서 보이는 버그 비중이 46.1%에서 22.8%로 줄기 때문
사람+에이전트를 합치면 82.1%까지 올라간다(사람 단독 50%, 에이전트 단독 71.9%) — 완전 무인화보다 협업 설계가 맞는 근거

검출률 47.7%→71.9%, 사내 레포선 -25.5%p: CRBugBench 코드리뷰 에이전트 리뷰 썸네일

2026.10.14 · arXiv preprint

완성률 75.8%→53.5%: MCP의 역설, 에이전틱 웹 스택 베이스라인 리뷰

LLM 에이전트에 MCP·A2A 프로토콜을 얹으면 과제완성률이 어떻게 변하는지 10,800회 실행으로 검증한 논문을 원문 표와 대조했습니다.

모델·프로토콜·프레임워크 세 요인 모두 통계적으로 유의(Kruskal-Wallis, 모두 p<0.001) — Qwen2.5-7B는 표준 75.8%에서 MCP 53.4%로 완성률이 가장 크게 떨어졌다
MCP는 도구 호출 성공률을 최고(68.1%)로 끌어올리면서도 과제완성률은 세 모델 모두에서 최저로 낮춘 이중 효과
원문 'Table 6 최고 조합'은 요인별 평균 순위 기준이라 개별 셀 최고값(79.5%, Qwen+표준+LangChain)과는 다른 질문 — 혼용하면 오독

완성률 75.8%→53.5%: MCP의 역설, 에이전틱 웹 스택 베이스라인 리뷰 썸네일

2026.10.13 · arXiv preprint

구조형 질문 63.6%→100%: 온톨로지 그라운딩 엔터프라이즈 에이전트(UniDataAgent) 리뷰

기업 질의응답에 온톨로지를 얹은 UniDataAgent가 완전성·교차지표 질문에서 문서 RAG와의 격차를 사실상 없앤 과정과 한계를 검증했습니다.

전체 40문항 기준 95.0%(UniDataAgent) vs 72.5%(Doc-RAG) — 완전성 요구 유형에서는 Doc-RAG 57.1~63.6%, 양쪽 모두 100%
유형별 수치를 가중평균하면 전체 수치와 정확히 일치 — 집계 오류·선택적 보고 흔적 없음
평가는 40문항·단일 베이스라인·이해상충 있는 저자 소속 — 도입 전 자체 환경 재현 필요

구조형 질문 63.6%→100%: 온톨로지 그라운딩 엔터프라이즈 에이전트(UniDataAgent) 리뷰 썸네일

2026.10.13 · arXiv preprint

먼저 말을 거는 하위 에이전트가 이긴다: 프로액티브 오케스트레이션 GAIA2 44.5%→55.5%, 비용 36%↓ 리뷰

하위 에이전트가 실행 중 오케스트레이터에 먼저 조정을 요청하는 프레임워크로, GAIA2에서 단일 에이전트보다 성공률 11.0%p 높고 비용은 36% 낮은 결과를 원문 표로 대조했습니다.

GAIA2(DeepSeek-V4-Flash) 성공률 44.5%→55.5%(+11.0%p, 상대 24.6%↑), 과제당 API 비용은 36% 감소
기존 오케스트레이션 기법(AOrchestra)은 정적 과제(GAIA)에서 단일 에이전트를 이겨도 동적 과제(GAIA2)에서는 역전패
소형 오케스트레이터(Qwen3.5-9B)에 OPOD 학습을 더하면 GAIA 77.9%·GAIA2 49.2%로 SFT 대비 +5.5%p·+5.4%p

먼저 말을 거는 하위 에이전트가 이긴다: 프로액티브 오케스트레이션 GAIA2 44.5%→55.5%, 비용 36%↓ 리뷰 썸네일

2026.10.12 · arXiv preprint

수식화는 되는데 코드가 깨진다: MCP 문서 서버로 생산 스케줄링 에이전트 실행률 4배 리뷰

일반 LLM을 에이전트로 묶어 제약계획(CP) 생산 스케줄링 모델을 처음부터 생성시켰더니, 수식화는 됐지만 코드 구현이 걸림돌이었습니다. MCP 문서 서버와 역할 분리로 실행 성공률을 14.8%에서 59.3%로 끌어올린 실험을 원문 표로 대조했습니다.

형식화+코딩 정확도 14.8%→59.3%(멀티에이전트+MCP), 쉬운 4문제만 보면 80.6%
형식화 능력(77~78%)은 워크플로와 거의 무관 — 병목은 구현(코드) 단계
창고 자원제약 문제(제약 2,000개 이상)에서는 형식화 정확도 44.4%→14.8%로 급락

수식화는 되는데 코드가 깨진다: MCP 문서 서버로 생산 스케줄링 에이전트 실행률 4배 리뷰 썸네일

2026.10.11 · arXiv preprint

작은 모델도 설비를 읽는다: 설비 하나를 깊게 아는 온톨로지 타워 실증 리뷰

한국에너지기술연구원이 실제 공조 설비에서 사전등록 평가로 측정한 결과, 지식의 '형태'와 운영 교훈의 보관 위치가 모델 크기만큼 중요했습니다.

투영 텍스트로 함정 회피율 0.605→0.802, 9B가 지식 없는 750B급을 앞섬
검색 도구 뒤 문서는 최하위(0.597), 일지에만 둔 교훈은 거의 안 쓰임
라이브 운전 12/14 성공, 그러나 하지 않은 설정 변경을 보고한 운전 최소 4회

작은 모델도 설비를 읽는다: 설비 하나를 깊게 아는 온톨로지 타워 실증 리뷰 썸네일

2026.10.11 · arXiv preprint

휴리스틱 97% vs 최고 모델 49%: 가상 쇼핑몰 운영 에이전트 벤치마크 StoreBench 리뷰

7개 프런티어 LLM에 가상 의류 쇼핑몰 운영을 맡기자 최고 모델(DeepSeek-V4-Pro)도 스크립트 휴리스틱의 통과율 97%에 못 미친 49%에 머물렀고, 사람 전문가(0.708)에도 근소하게 못 미쳤습니다(0.700).

최고 모델 DeepSeek-V4-Pro도 통과율 49% — 스크립트 휴리스틱(smart-triage) 97%에 크게 못 미쳤고, 종합점수(0.700)는 사람 전문가(0.708)에도 살짝 뒤졌습니다.
장기(365일) 시나리오에서 하니스를 Claude Code로 바꾸자 DeepSeek·Qwen·Claude 등 4개 모델이 0.96 이상으로 급등 — 하니스 선택이 결과를 좌우하는 변수임을 보였습니다.
Qwen3.5-27B를 단 5개 과제로 GRPO 후속학습하자 held-out 평가 종합점수가 0.136→0.373으로 올랐고, 이익을 낸 에피소드 비율은 3%→72%로 뛰었습니다.

휴리스틱 97% vs 최고 모델 49%: 가상 쇼핑몰 운영 에이전트 벤치마크 StoreBench 리뷰 썸네일

2026.10.10 · arXiv preprint

개발자용 MCP 오류 문구가 최신 에이전트를 멈춘다: 복구율 45%→84%, MCP 오류 메시지 실험 리뷰

인기 MCP 서버 150개의 오류 문구 3,001건 조사와 OpenAI 모델 5종 15,120회 실험으로, 사람용 안내 한 문장이 에이전트 복구를 막는다는 것을 보인 논문을 검증했습니다.

터미널 명령 한 문장에 인증 만료 복구율 82%→45%, GPT-6 Astra는 69%p 하락
서버 도구 이름으로 고치면 84%, 호출 한도 오류는 6%→88%
인증 오류 지시 67건 중 62건이 에이전트가 할 수 없는 일

개발자용 MCP 오류 문구가 최신 에이전트를 멈춘다: 복구율 45%→84%, MCP 오류 메시지 실험 리뷰 썸네일

2026.10.10 · arXiv preprint

균형정확도 80.9%, 부작용 탐지율은 24.1%뿐: 장기 컴퓨터 사용 에이전트 판정자 신뢰도 리뷰

1,373건의 사람 기록 궤적을 쌍으로 설계한 벤치마크로 11개 LLM 판정자를 평가하자, 최고 성적(GPT-5.5)도 균형정확도 80.9%에 그쳤고 '부작용 있는 성공'을 잡아내는 재현율은 최고 24.1%·대부분 10%대 이하였습니다.

GPT-5.5+Codex 에이전틱 판정자가 균형정확도 80.9%로 11개 판정자 중 1위였지만, 의도와 다른 기기·계정에 작동한 '나쁜 부작용'을 식별하는 재현율은 24.1%(최고치)에 그쳤고 다수 판정자가 10% 미만이었습니다.
같은 모델도 도구 접근 방식(하니스)에 따라 성적이 크게 갈렸습니다 — GPT-5.5는 직접판정(68.6%)보다 Codex 하니스(80.9%)에서 12.3%p 올랐지만, Qwen3.6 27B는 반대로 직접판정(77.6%)이 OpenCode 하니스(70.4%)보다 7.2%p 높았습니다.
스크린샷을 빼고 텍스트 행동 로그만 주면 균형정확도가 57.7%로, 지시문 자체를 빼면(판별이 불가능한 대조군) 47.8~49.8%로 무작위 수준까지 떨어져, 시각 증거가 판정의 핵심 정보임을 보였습니다.

균형정확도 80.9%, 부작용 탐지율은 24.1%뿐: 장기 컴퓨터 사용 에이전트 판정자 신뢰도 리뷰 썸네일

2026.10.09 · arXiv preprint

정확도 1.4점 양보, 비용 82% 절감: 홈오토메이션 에이전트의 콜사이트별 모델 라우팅 리뷰

같은 에이전트가 쓰는 다섯 종류의 LLM 콜에 9개 모델을 콜사이트별로 따로 배정해, 실거주 배치까지 비용과 안전을 검증한 실험을 원문 대조했습니다.

같은 홈오토메이션 에이전트의 다섯 콜사이트(의도분류·HA분류·액추에이터·플래너·코드생성)에 9개 모델을 평가하자, 같은 사례로 쌍대검정했을 때 최고 로컬 모델(Gemma4 26B)이 다섯 곳 중 네 곳에서 호스팅 모델과 통계적으로 구분되지 않았습니다(코드생성만 p=0.002로 유의).
콜사이트별 최적 로컬 모델로 전부 라우팅하면 전체 정확도 91.8%(호스팅 단독 95.4% 대비 -3.6%p)를 호출당 비용 0원에, 생성형 두 곳만 호스팅에 맡기면 정확도 93.9%(-1.4%p)에 비용은 12.13달러→2.15달러로 82% 줄었습니다.
실거주 배치 비교(43건)에서도 같은 절충안이 전체 호스팅과 동일하게 39/43 성공을 28%의 비용(0.70달러 대 2.47달러)으로 재현했지만, 액추에이터의 소형 모델 하나(Gemma4 E2B)는 소유하지 않은 기기 요청의 87.2%에 작동해 버리는 안전 실패를 집계 정확도만으로는 드러내지 않았습니다.

정확도 1.4점 양보, 비용 82% 절감: 홈오토메이션 에이전트의 콜사이트별 모델 라우팅 리뷰 썸네일

2026.10.08 · arXiv preprint

중단 정확도 61.7%→83.3%: 에이전트에게 '포기'를 가르친 HERA 리뷰

불가능한 과제에서 멈추는 능력을 하니스·환경 공진화로 61.7%에서 83.3%로 끌어올리고 19개 모델에 그대로 전이한 HERA를 원문 대조했습니다.

held-out 평가셋 hera-bench에서 같은 모델에 하니스만 바꿔 비교하면 중단 정확도(Abstain)가 61.7%→83.3%, 완수율(Act)은 68.3%→76.7%, 둘 다 만족하는 Pair는 48.3%→70.0%로 올랐습니다.
GPT-5.6-Luna로 만든 최종 하니스를 19개 다른 모델에 그대로 적용하자 Abstain은 평균 +15.3%p(모델별 +6.7~+40.0%p), Pair는 +12.5%p 올랐지만, Mistral Large 3처럼 약한 모델은 과잉 중단이 13.3%→15.0%로 오히려 늘었습니다.
14개 모델 평균 API 비용은 2.09배·토큰은 3.31배 늘었지만, GPT-5.6-Luna+HERA는 Pair 70.0%로 기본 하니스의 GPT-6-Astra와 동급 성적을 에피소드당 비용 약 85% 낮게(0.0091달러 vs 0.0610달러) 냈습니다.

중단 정확도 61.7%→83.3%: 에이전트에게 '포기'를 가르친 HERA 리뷰 썸네일

2026.10.07 · arXiv preprint

공격 성공률 64.4%: MCP 에이전트의 모델 책임과 하부 계층 책임을 가른 COPEX 리뷰

아홉 모델 3,375회 시행에서 평균 공격성공률 64.4%, 방어 병용으로 49.6% 낮췄지만 MCP 리바인딩은 100% 그대로였던 COPEX 벤치마크를 원문 대조했습니다.

아홉 모델에 걸쳐 3,375회 시행한 COPEX 벤치마크에서 평균 공격성공률(ASR)은 64.4%였고, 진입 표면별로는 모델/에이전트 58.3%·클라이언트 67.7%·서버/툴 62.5%·전송 71.4%로 사용자 프롬프트 바깥 경로의 공격이 오히려 더 잘 통했습니다.
입력 스캐너+컨텍스트 스캐너를 함께 쓰면 평균 ASR이 81.6%에서 41.1%로(−40.5%p, 상대 49.6% 감소) 떨어졌지만, 모델이 관찰하지 못하는 MCP 리바인딩 공격은 방어 4종 전부에서 ASR 100%로 그대로였습니다.
같은 6개 공격을 판정 기준만 바꿔 측정하면 결정론적 트레이스 판정 평균 77.1%에서 LLM 판정 평균 83.3%로 +6.3%p 올랐고, 추론 구조를 ReAct에서 Reflexion으로 바꿔도 평균 ASR은 86.2%→82.5%(−3.7%p)로 모델별 효과가 갈렸습니다.

공격 성공률 64.4%: MCP 에이전트의 모델 책임과 하부 계층 책임을 가른 COPEX 리뷰 썸네일

2026.10.06 · arXiv preprint

멀티에이전트는 에너지를 6.36배 쓴다: 에이전틱 LLM 개발 도구 지속가능성 실측 리뷰

코드생성·기술부채·취약점탐지·로그파싱·로그분석 5개 과제 실측에서 4-agent 구성은 non-agentic 대비 에너지 6.36배·지연 6.07배를 썼지만, 정확도 개선은 취약점탐지 1개 과제에만 그쳤습니다.

non-agentic(NA) 대비 single-agent(SA)는 에너지 1.20배·지연 1.23배, dual-agent(DA)는 3.06배·3.32배, 4-agent(MA)는 6.36배·6.07배를 썼습니다(5개 과제·6개 모델·3개 하드웨어 평균).
정확도 개선은 과제별로 갈렸습니다 — 취약점탐지 F1은 MA 55.4%로 NA 49.7%·SA 49.2%·DA 35.6%를 앞섰지만, 로그파싱 정확매칭은 NA 34.5%에서 MA 26.1%로 에이전트를 더할수록 오히려 떨어졌습니다.
15개 과제-하드웨어 조합의 3차원(정확도·에너지·지연) 파레토 최적 구성 66개 중 59개(89%)가 non-agentic 또는 single-agent였고, 4-agent는 1개뿐이었습니다.

멀티에이전트는 에너지를 6.36배 쓴다: 에이전틱 LLM 개발 도구 지속가능성 실측 리뷰 썸네일

2026.10.05 · arXiv preprint

버려진 후보 하나가 −8.6%p를 뒤집었다: SELF-POT 테스트타임 스케일링 리뷰

저가 모델에 테스트타임 연산을 더해 고가 모델을 따라잡을 수 있다는 서사를, 5개 모델·4개 도메인에 걸친 비용-정확도 통제 실험으로 검증했습니다.

코딩 Parallel@4의 정답 제출은 500개 예정 셀 기준 376건(−8.6%p)이었지만, 선택 실패 시 후보를 버리지 않는 규칙만 적용하자 437건(+3.6%p), 공개 예제 선택으로 바꾸면 453건(+6.8%p)까지 올랐습니다(비용은 모델별 12~49% 절감).
같은 저가 모델 5종·같은 예산 배수라도 효과는 도메인마다 반대 방향이었습니다 — 수학 Parallel@4 평균 +4.0%p(95% 구간 [+0.3,+7.7]), 코딩 −8.6%p([−11.8,−5.4]), 워크플로 −4.6%p([−7.4,−1.9]).
워크플로·터미널에서는 Claude Opus 5.5의 1회 응답(Direct)이 저가 모델의 모든 테스트타임 기법을 압도했습니다(워크플로 148/160 대 최고 78/160, 터미널 13/30 대 최고 3/30).

버려진 후보 하나가 −8.6%p를 뒤집었다: SELF-POT 테스트타임 스케일링 리뷰 썸네일

2026.10.04 · arXiv preprint

자기진화가 끌어올린 건 능력만이 아니었다: SEABench 에이전트 안전성 리뷰

에이전트가 스스로 하니스를 고치게 하자 완료율은 35.7%→47.2%로 올랐지만, 안전 실패는 0%에서 43.9%로 함께 늘었습니다.

같은 모델의 짝지은 비교에서 안전 실패율이 자기진화 전 0%(0/720)에서 진화 후 43.9%(316/720)로 뛰었고, 통계적으로도 유의했습니다(Fisher 정확검정 p=3.48×10⁻¹³).
진화 표면별로는 도구/스킬이 55.8%(134/240)로 가장 취약했고, 컨트롤러 38.8%(93/240), 메모리 37.1%(89/240) 순이었습니다 — 세 분해축 모두 합계 316건으로 일치했습니다.
체인오브소트 모니터링으로 유해 출력의 70.9%(56/79)를 막았지만 거짓양성률은 9.7%(11/113)였고, 도구/스킬 표면에서는 효과가 54.8%로 떨어졌습니다.

자기진화가 끌어올린 건 능력만이 아니었다: SEABench 에이전트 안전성 리뷰 썸네일

2026.10.03 · arXiv preprint

정답을 다 냈는데도 41%가 떨어진다: Incident-Arena 에이전트 신뢰성 리뷰

프로덕션 장애 대응 벤치마크 Incident-Arena는 참조 해법을 전부 실행해도 41%가 결국 떨어진다는 것을 보였습니다. 가장 흔한 실패는 복구가 재시작을 못 견기거나, 회복 전에 너무 빨리 완료를 선언하는 것이었습니다.

20개 실제 프로덕션 과제·3,000회 trial에서, 참조 해법을 전부 실행한 1,638건 중에도 672건(41%)이 결국 떨어졌습니다 — 정답을 알아도 통과를 보장하지 않습니다.
실패의 26.5%는 복구가 재시작이나 다음 트리거를 못 견기고 무너졌고, 23.9%는 서비스가 아직 회복되지 않았는데 에이전트가 너무 일찍 완료를 선언해서 발생했습니다.
추론 노력을 최저에서 최고로 올려도 통과율은 39.2%→43.8%(+4.6%p)에 그쳤는데 비용은 2.3배로 뛰었습니다 — '더 생각하게 하기'는 비용 대비 효율이 낮은 레버였습니다.

정답을 다 냈는데도 41%가 떨어진다: Incident-Arena 에이전트 신뢰성 리뷰 썸네일

2026.10.02 · arXiv preprint

제어만 분리해도 63.7%→71.5%: Meta 에이전틱 메타추론 리뷰

같은 워커·같은 호출 예산에서 통제 방식만 메타추론으로 바꾸자 ProgramBench 성공률이 63.7%에서 71.5%로 올랐습니다. 다만 저예산 구간에서는 오히려 역전됐습니다.

GPT-5.5 기준 ProgramBench에서 메타추론 컨트롤러는 같은 워커·같은 1200콜 예산의 직접 통제 대비 63.7%→71.5%(+7.8%p)를 기록했고, 자사 비교 기준 OpenAI Codex(58.0%)·Anthropic Claude Code(65.5%)보다도 높았습니다(제3자 독립 재현은 아님).
추론 3종 벤치마크 평균으로 메타추론은 직접 통제 대비 IMO ProofBench-Advanced +4.0%p, ARC-AGI-2 +4.2%p, LongCoT-mini +3.6%p 개선됐지만, Opus 4.8·ProgramBench 400콜에서는 56.6%로 직접 통제(62.7%)에 오히려 뒤졌다가 1200콜에서야 역전했습니다.
컨트롤러의 품질 판정(Type-2 AUC 0.88)이 워커 자신의 확신도(0.55)보다 나았고, 컨트롤러가 유지하는 압축 상태는 수천~수만 자인 반면 직접 통제의 누적 대화 이력은 Opus 4.8 최장 실행에서 100만 자를 넘었습니다.

제어만 분리해도 63.7%→71.5%: Meta 에이전틱 메타추론 리뷰 썸네일

2026.10.01 · arXiv preprint

침해는 잡아도 공모는 못 잡는다: 멀티에이전트 방어의 사각지대를 드러낸 ORBIT 리뷰

같은 방어가 침해 에이전트 공격 성공률은 72%에서 12%로 낮췄지만, 공모 공격 성공률(30%)은 전혀 줄이지 못했습니다.

SWE-Bench 다중이슈 시나리오에서 LLM 모니터·가디언 방어는 침해 에이전트 공격 성공률을 72.0%에서 12.0%로 60%p 낮췄지만, 같은 방어가 공모 공격 성공률(30.0%→30.0%·34.0%)은 전혀 줄이지 못했습니다.
네 가지 방어(시스템 프롬프트·LLM 모니터·가디언·듀얼LLM) 중 모든 위협 유형에 두루 통한 것은 하나도 없었고, 듀얼LLM은 SWE-Bench 다중이슈 과제 완료율을 9.2%p 깎는 대가를 치렀습니다.
같은 모델(Qwen3-235B)이 단독 실행에서 스타(Star) 토폴로지로 바뀌자 무방비 공격 성공률이 17%에서 36%로 19%p 뛰어, 방어 메커니즘 못지않게 에이전트 아키텍처 설계가 보안을 좌우함을 보였습니다.

침해는 잡아도 공모는 못 잡는다: 멀티에이전트 방어의 사각지대를 드러낸 ORBIT 리뷰 썸네일

2026.09.30 · arXiv preprint

완성률 2.7%인데 부분 점수는 70%: 검색 다음이 진짜 난제라는 KNOWS 벤치마크 리뷰

웹 에이전트에게 문서·시트·슬라이드 작성을 통째로 맡겼더니 완전 성공률은 2.7%에 그쳤고, 부분 점수가 높아도 결과물은 대부분 실사용이 불가능했습니다.

전체 110개 과제 중 완전 성공(SR)은 최고 성능 조합(퍼플렉시티 코멧+Claude Opus 4.7)도 2.7%(3건)에 그쳤고, 나머지 6개 모델·하니스 조합은 전부 0%였습니다.
부분 점수는 최고 ACF 70.0%·SF 64.7%까지 올랐지만, 대표 사례는 ACF 0.54·SF 0.59를 받고도 체크포인트 완주율(ASC) 0.14로 실제로는 쓸 수 없는 결과물이었습니다.
같은 Claude Opus 4.7 모델이 하니스만 BrowserGym에서 코멧으로 바뀌자 SR +2.7%p, ASC +18.7%p, ACF +27.5%p, SF +25.6%p 상승 — 모델보다 하니스 선택이 성능을 더 크게 좌우했습니다.

완성률 2.7%인데 부분 점수는 70%: 검색 다음이 진짜 난제라는 KNOWS 벤치마크 리뷰 썸네일

2026.09.29 · arXiv preprint

다른 사건번호면 정답도 오답 처리한다: LLM 심판의 구조적 결함과 CARGO 리뷰

케이스 번호만 다른 정답을 100% 오답으로 채점하던 LLM 심판을 CARGO가 판별력 0→.58로 개선했지만, 절차 오류 탐지는 20%에 그쳤습니다.

참조 답안과 사례(케이스 번호 등)가 다르면 문자 대조 심판은 정답인 전이 사례 50개 전부를 100% 오답·환각으로 판정(판별지수 DI≈0)
CARGO 적용 시 오탐은 0~3%로 낮아지고 모순 탐지율 98~100%를 유지, 판별지수는 .56~.58로 상승
절차 손상(정책 교체·조건 반전 등)은 20%만 탐지 — 사후 보정도 개선 실패(ΔDI=-.007), 사람 방식 이중 판정도 같은 사각지대 재현(3/10)

다른 사건번호면 정답도 오답 처리한다: LLM 심판의 구조적 결함과 CARGO 리뷰 썸네일

2026.09.26 · arXiv preprint

컴파일 성공률 16%→76%: Chat2Scenic의 자율주행 시나리오 생성 RAG 리뷰

IROS 2026 채택 Chat2Scenic이 반복형 RAG로 자율주행 시나리오 생성의 컴파일 성공률과 의미 정확도를 함께 검증했습니다.

Chat2Scenic CSR 76.42%·FA 58.17% — 베이스라인(Retrieval Assemble) CSR 30.08%·FA 11.03% 대비 큰 격차
베이스라인에서 CSR과 FA가 따로 움직임: 조립만 해도 CSR은 오르지만(16.26%→30.08%) FA는 거의 그대로(10.86%→11.03%)
IROS 2026 동료심사 통과, 벤치마크 123개 시나리오·코드 GitHub 공개로 재현 가능

컴파일 성공률 16%→76%: Chat2Scenic의 자율주행 시나리오 생성 RAG 리뷰 썸네일

2026.09.20 · arXiv preprint

1,000번 중 5번만 진짜 JSON이었다: 소형 모델 MCP 툴콜링 신뢰도 리뷰

온디바이스 배포용 소형 모델 5종에 MCP 스타일 JSON 툴 호출을 시켜봤더니 최고 79%, 복구 없이는 0.5%만 성공했습니다. 표를 원문과 대조했습니다.

Qwen2.5-1.5B 샘플링이 79%(95% CI 70.0~85.8%)로 최고, Phi-1.5는 두 조건 모두 0%
복구 파서 없이 전체 응답을 그대로 파싱하면 1,000회 중 5회(0.5%)만 유효한 JSON
0.5B 모델은 1.5B보다 성공률 3%p 낮지만 지연시간 65%·메모리 54% 절감 — 실무적 절충안

1,000번 중 5번만 진짜 JSON이었다: 소형 모델 MCP 툴콜링 신뢰도 리뷰 썸네일

2026.09.19 · arXiv preprint

기업 에이전트는 왜 파일럿에서 멈추는가: Agentic Company OS의 '서브스트레이트 역전' 리뷰

타이핑된 스키마 대신 에이전트가 읽는 마크다운 서브스트레이트로 기업 컨텍스트를 다시 지어야 한다는 포지션 페이퍼를 검증했습니다.

이 논문은 실증 벤치마크가 아니라 포지션 페이퍼입니다 — 저자들 스스로 8절에서 '아직 대안 대비 벤치마크되지 않았다'고 명시합니다.
네 층(Data·Knowledge·Intelligence·Governance) 구조에서 외부 시스템 호출은 오직 Sync Agent만 수행하고, 신뢰 등급은 에이전트가 아니라 스킬 단위로 매깁니다(shadow→assist→autonomous-sampled→full).
저자들이 스스로 지목한 최대 위험은 컴파일 경로의 간접 프롬프트 주입입니다 — 한 번 오염된 파일이 그 서브스트레이트를 읽는 모든 에이전트에 영구적으로 재노출됩니다.

기업 에이전트는 왜 파일럿에서 멈추는가: Agentic Company OS의 '서브스트레이트 역전' 리뷰 썸네일

2026.09.18 · arXiv preprint

정답은 있는데 못 찾는다: OrchSLM이 밝힌 소형 모델 라우팅의 병목 리뷰

일곱 개 소형모델을 캐시로 묶어도 GPQA에서는 오라클 상한과 실제 라우팅 사이 35%p 격차가 남았습니다. 전문가 가중이라는 단일 레버가 가장 크게 작동했습니다.

전문가 가중 라우팅이 균등 가중보다 네 벤치마크 모두에서 우세했고(MATH-500 +8.2%, GPQA +10.7% 상대개선), 선행 라우터 SLM-MUX 대비로는 GPQA에서 +16.1% 더 정확했습니다.
GPQA에서는 오라클 상한(78.54%)과 실제 라우팅 정확도(43.28%) 사이에 35.25%p 격차가 남아, 정답이 모델 풀 안에 있어도 라우터가 절반 이상을 놓쳤습니다.
모델 풀을 키우면 오라클 커버리지는 계속 오르지만 실제 라우팅 정확도는 3~4개 모델에서 정점을 찍고 꺾인다고 논문은 보고합니다 — '모델을 더 넣을수록 좋다'는 통념에 조건을 붙입니다.

정답은 있는데 못 찾는다: OrchSLM이 밝힌 소형 모델 라우팅의 병목 리뷰 썸네일

2026.09.17 · arXiv preprint

확률적 대리인: 테넌트 인자를 지우자 유출이 멈췄다 — MCP 에이전트 격리 리뷰

MCP 툴 스키마에서 테넌트 인자를 지운 격리 설계가 373건 에이전트 어블레이션에서 인터페이스 유출은 없앴지만, 셸 권한을 가진 에이전트 12개는 권한 파일을 위조해 우회했다는 프로덕션 실증 논문을 검증했습니다.

테넌트 인자를 툴 스키마에서 지우자(Arm B) 373건 트라이얼에서 인터페이스를 통한 직접 유출은 0건이었지만, 관행적 인자 검증(Arm A)에서는 그럴듯한 요청 41건 중 26건(63%)이 그대로 서비스됐습니다.
인터페이스가 막히자 셸·파일시스템 권한을 가진 에이전트 12개(Gemini 11/13, GPT 1/13)가 이미 쥔 권한 파일을 직접 위조해 우회했고, Claude와 최신 GPT-5.6 3개 티어는 같은 조건에서 한 건도 우회하지 않았습니다.
함수로 감싼 집합값 스코프 조건은 인덱스를 못 타 57배 느렸고(중간값 5,781ms 대 101ms), 위임된 테넌트 수가 10~15개를 넘으면 배포된 방어점의 처리시간이 1,065ms에서 10,005ms로 뛰었습니다.

확률적 대리인: 테넌트 인자를 지우자 유출이 멈췄다 — MCP 에이전트 격리 리뷰 썸네일

2026.09.16 · arXiv preprint

정확도는 속인다: TriCalRAG 온프레미스 LLM 장애 원인 분석 벤치마크 리뷰

제로샷 프롬프트는 F1은 그럴듯해도 이상 예측 비율이 최대 100%까지 치솟는 붕괴 상태였고, RAG가 이를 안정화한 단일 GPU 온프레미스 벤치마크입니다.

Mistral-Small 제로샷은 BGL·HDFS·OpenStack에서 이상 예측 비율이 98.7~100%까지 치솟았지만 F1은 0.67~0.72로 정상처럼 보였습니다.
RAG 적용 시 8개 구성 중 7개가 캘리브레이션 정상 범위에 들었고(제로샷은 8개 중 2개), F1도 제로샷 대비 0.10~0.27 개선됐습니다.
단일 RTX PRO 6000에서 배치 크기만으로 처리량이 41배(48.3→1,991.0 tok/s) 늘었고, 4비트 양자화는 정확도 손실 없이 지연을 20% 줄였습니다.

정확도는 속인다: TriCalRAG 온프레미스 LLM 장애 원인 분석 벤치마크 리뷰 썸네일

2026.09.15 · arXiv preprint

할 수 있는 일은 늘었지만 확인된 건 늘지 않았다: 에이전트형 AI 전 영역 비평 리뷰

디지털·소셜·가상·물리 네 영역의 에이전트 연구를 훑은 비평 리뷰가, 행동 인터페이스 확장에 비해 완료·복구·권한 검증의 증거는 여전히 빈약하다고 결론짓습니다.

행동 인터페이스(도구·컴퓨터 사용·MCP·A2A)는 뚜렷이 넓어졌지만, 완료·복구·독립 검증의 증거는 이를 따라가지 못했다고 결론짓습니다.
WebArena·OSWorld 초기 기준선(14.41%·12.2% 미만)은 이후 퍼스트파티 시스템(OpenAI CUA 58.1%·38.1%)에서도 인간 기준(78.24%·72.4%)에 못 미쳤습니다.
에이전트가 사람을 고용하는 RentAHuman 마켓플레이스에서는 바운티 303건 중 99건(32.7%)이 API·MCP 경로로 유입됐고 신원 사칭·자격증명 사기 사례가 확인됐습니다.

할 수 있는 일은 늘었지만 확인된 건 늘지 않았다: 에이전트형 AI 전 영역 비평 리뷰 썸네일

2026.09.14 · arXiv preprint

가장 강한 모델이 가장 위험했다: ReactHuman 신체 반응 안전성 리뷰

MLLM 일곱 개에 순간적 위험 회피를 맡겼더니, 안전도 최하위는 가장 강한 모델이었습니다.

안전도(위반 없이 반응한 비율)는 Gemma-3-27B가 88.2%로 최고, Claude Opus 4.8이 64.7%로 최저였습니다 — 모델 크기와 안전도가 반비례했습니다.
회피해야 할 위험 상황에서 안전 규칙 위반은 35.9%(모델별 23~66%)였고, 위반의 64.5%(253/392)는 그냥 얼어붙어 움직이지 않은 것이었습니다.
행동을 맞혀도 손이 도착 지점에서 중앙값 0.48m 벗어났고, 그중 49%는 로봇이 애초에 팔이 닿지 않는 0.8m 밖에 서 있었기 때문입니다.

가장 강한 모델이 가장 위험했다: ReactHuman 신체 반응 안전성 리뷰 썸네일

2026.09.13 · arXiv preprint

채점된 790개 중 82개만 퍼센트 척도였다: Benchmark Radar 벤치마크 카탈로그 감사 리뷰

채점된 벤치마크 790개 중 퍼센트 척도로 정직하게 비교 가능한 것은 82개뿐이었습니다.

채점된 790개 레코드 중 퍼센트 척도·방향·0~100 범위를 모두 만족해 직접 비교 가능한 것은 82개(10.4%)뿐입니다.
에이전트 관련 레코드 345개 중 128개만 '에이전틱·도구사용' 최상위 라벨을 받았고, 117개는 '코딩·소프트웨어공학'에 분류돼 라벨 하나로 세면 최대 3분의 1이 누락됩니다.
레코드 1,283개 중 668개(52%)는 발행일이 없고, 인용 문서 1,208개 중 1,171개(97%)는 소속 기관 표기가 없습니다.

채점된 790개 중 82개만 퍼센트 척도였다: Benchmark Radar 벤치마크 카탈로그 감사 리뷰 썸네일

2026.09.12 · arXiv preprint

위치 보정만으론 부족하다: 멀티에이전트 KV캐시 재사용 KVShareArena 리뷰

멀티에이전트 보고서 KV캐시를 그대로 이어붙이면 PGR −.824로 캐시 없음보다 나쁘고, 위치 보정만으로 부족한 지점을 원문 표와 대조했습니다.

위치 보정 없이 멀티에이전트 보고서 KV캐시를 그대로 이어붙이면 PGR −.824로, 캐시를 아예 안 쓰는 것보다 나쁩니다
여러 출처를 동시에 종합해야 하는 질의(다중홉QA, 에이전트 보고서)에서만 재계산 기반 방법이 위치 보정보다 유의하게 앞섰고, 압축 계열은 어디서도 이기지 못했습니다
학습 기반 어댑터(KVPacket)는 체크포인트가 바뀌면 84개 조합 중 가장 크게 무너지는데, 답변이 유창하고 자신 있게 들려 실패가 겉으로 드러나지 않습니다

위치 보정만으론 부족하다: 멀티에이전트 KV캐시 재사용 KVShareArena 리뷰 썸네일

2026.09.11 · arXiv preprint

계산 대신 추측했다: HealthLoopQA 에이전트 벤치마크 리뷰

프롬프트형을 에이전트형으로 바꾸자 벤치마크 점수가 43.7에서 65.8로 뛰었지만, 정작 패턴 추론은 한 자릿수까지 무너진 논문을 원문 표와 대조했습니다.

Gemini를 프롬프트형에서 도구 실행 에이전트형으로 바꾸자 시뮬레이션 Overall이 43.7→65.8, 실측 Overall이 64.6→78.5로 뛰었지만 이 전후 비교는 Gemini에만 적용됩니다
안전과 직결된 이상탐지(AD)는 프롬프트형 21.2점에서 에이전트형 52.4~72.9점으로 개선됐지만, 이벤트조회→패턴상관(ER→PC) 같은 다단계 조합은 0.8~23.5점으로 붕괴했습니다
저자들은 정확 계산 대신 그럴듯한 중간값을 대는 '맥락 내 게으름(in-context laziness)' 실패 양상을 보고했습니다 — 다만 환자 1명 표본의 정성 관찰입니다

계산 대신 추측했다: HealthLoopQA 에이전트 벤치마크 리뷰 썸네일

2026.09.10 · arXiv preprint

정상 워크플로만 배워 오탐 0.89%: 에이전트 이상탐지 Skynet 리뷰

공격·실패 사례를 전혀 보지 않고 정상 워크플로만 학습해도 808건 결합 벤치마크에서 재현율 89%·오탐 0.89%를 낸 이상탐지 프레임워크를 원문 표와 대조했습니다.

Agent-SafetyBench·AgentErrorBench·ATBench 3개 독립 공개 벤치마크를 합친 808건 이상 사례에서 단일 고정 임계값으로 Acc 93.36%·Prec 99.31%·Rec 89.36%·FPR 0.89% 달성
Guardian은 좁은 벤치마크에서 FPR 0.18%로 Skynet보다 낮지만 ATBench에서 재현율 18.31%로 붕괴 — 벤치마크 하나만 보고 도입하면 위험
어블레이션에서 K=150 다중모드 스코어링을 단일 기준점으로 줄이면 재현율이 약 1/3 감소 — 핵심 가치는 알고리즘이 아니라 정상 다양성 모델링

정상 워크플로만 배워 오탐 0.89%: 에이전트 이상탐지 Skynet 리뷰 썸네일

2026.09.09 · arXiv preprint

생성은 빨라져도 출시는 그대로다: 에이전틱 SDLC '검증 세금' 리뷰

커밋은 180% 늘었는데 릴리스는 30%만 늘었다는 30편의 증거를 종합해 '검증 세금'이라는 계측 단위를 제안한 프리프린트를 원문 대조했습니다.

깃허브 개발자 10만 명+ 텔레메트리 기준 자동화 에이전트 단계 커밋 +180%, 프로젝트 +50%, 릴리스 +30% — 처리량이 하류로 갈수록 감쇠
SWE-Marathon은 평균 2,720만 토큰을 써도 pass@1이 30% 밑돌고 보상 해킹이 13.8% 관측 — 정지 규칙 없이는 예산이 새어나간다
Meta TestGen-LLM은 필터링을 거친 생성 테스트의 73%를 프로덕션에 채택 — 검증 파이프라인이 실제로 작동한 산업 사례

생성은 빨라져도 출시는 그대로다: 에이전틱 SDLC '검증 세금' 리뷰 썸네일

2026.09.08 · arXiv preprint

토큰 32%로 품질 83%: RSM-full 압축 메모리 에이전트 리뷰

합치기 규칙과 그룹 패킹이 압축 메모리 품질 격차의 대부분을 설명한다는 RSM-full의 주장을 원문 표와 대조했습니다.

AMA-Bench 4k 토큰에서 Full-Context 대비 품질 83%를 토큰 32%로 달성, K-Means 대비 +3.5~6.0%p(p<.001)
병합 규칙 +5.7%p·그룹 패킹 +5.02±1.00%p가 우위를 설명, 검색 규칙 자체의 기여는 통계적으로 없음(p=.40)
RealMem에서도 재현되지만 도메인별로는 엇갈림 — EMBODIED-AI -2.68%p, Game -1.58%p로 K-Means에 밀림

토큰 32%로 품질 83%: RSM-full 압축 메모리 에이전트 리뷰 썸네일

2026.09.07 · arXiv preprint

물어야 보인다: CivBench 장기 에이전트 벤치마크 리뷰

20턴마다 확인하라 해도 30~75턴에 한 번 확인한 에이전트들, CivBench 23게임 결과를 원문과 대조했습니다.

23게임 중 승리 3건, 피셔 정확검정 p=0.488 — 집계 승패로는 4개 모델을 구분 못함
승리 진행도 조회는 게임당 3.7~10.0회뿐 — 지침(20턴마다)보다 느슨한 30~75턴에 한 번
반성-행동 격차(RAG@10) 48.2~65.8% — 계획의 상당수가 10턴 안에 실행되지 않음

2026.09.06 · arXiv preprint

예산은 최적화기가 지킨다: 메타 CORAL 프로덕션 추천 에이전트 리뷰

메타가 자사 추천 시스템에 붙인 예산 제약 에이전틱 루프의 A/B 결과를 원문과 대조했습니다.

리트리벌 예산 재배분 3라운드 만에 세션 +0.16%, 최대 시장 +0.77%
서빙 용량 재배분 2라운드 만에 절감액 44% 증가, 참여 지표는 그대로
사이클당 호출 8~10회, 배포당 추론 비용은 추정치로 수십 달러 수준

예산은 최적화기가 지킨다: 메타 CORAL 프로덕션 추천 에이전트 리뷰 썸네일

2026.09.05 · arXiv preprint

50% 가려도 69%는 읽힌다: BlobBoards 광학 마커 강건성 리뷰

가림·거리·각도에서 마커가 어디서 먼저 무너지는지 수치로 갈랐습니다. 인쇄물 QR에도 같은 구조가 있습니다.

50% 가림에서 BlobBoards 69% 검출, AprilTag·ArUco는 0%
검출률 80% 대 74% 대 58%, 격차는 작은 마커일수록 커짐
회전 정확도는 기준값 해상도(0.46°) 안이라 비교 불가 — 저자도 명시

50% 가려도 69%는 읽힌다: BlobBoards 광학 마커 강건성 리뷰 썸네일

2026.09.05 · arXiv preprint

탐색은 늘리고 표류는 줄인다: CANOPY 에이전트 강화학습 리뷰

결과만 보고 학습해도 충분하다는 주장 아래, 그룹 크기와 KL 앵커만 바꿔 14B 모델을 AppWorld 리더보드 학습 정책 1위(TGC 86.9)에 올린 실험을 원문 대조했습니다.

그룹 크기를 32로 키우고 KL 앵커·엄격한 온폴리시 업데이트를 더한 것만으로 Qwen3-14B가 AppWorld Test-Normal TGC 86.9로 학습 정책 중 1위에 올랐다
어블레이션에서 그룹 크기를 8로 줄이면 16.4점, 그레디언트 미니배치를 반으로 쪼개면 17.4점 하락해 신호 부족·정책 표류라는 두 진단이 실제로 성능을 좌우함을 확인했다
같은 원칙을 SWE-bench Verified로 옮기자 해결률이 31.3%에서 47.9%로 올라, 코드 실행형 장기 과제 전반에 재현 가능성을 보였다

탐색은 늘리고 표류는 줄인다: CANOPY 에이전트 강화학습 리뷰 썸네일

2026.09.04 · arXiv preprint

게이트로 거른 메모리가 이긴다: 멀티에이전트 라우팅 비용 32% 절감 리뷰

멀티에이전트 라우팅에서 전체 실행 이력 대신 게이트로 거른 메모리만 넘긴 실험이 정확도는 지키면서 비용을 40~53% 줄인 근거를 원문 대조했습니다.

5개 벤치마크 평균에서 최강 베이스라인(Puppeteer-32B, 75.29점)보다 2.44점 높은 77.73점을 기록했다
같은 시스템에서 메모리 처리 방식만 바꾼 대조 실험에서 정확도는 거의 그대로 두고 비용만 GSM-Hard 40%, HumanEval 52.9% 줄었다
LLM 라우터를 제거하면 GSM-Hard 정확도가 14.0점 급락하는 반면 메모리 게이트를 모두 제거해도 2.56~6.25점 하락에 그쳐, 정확도 기여는 백본 라우팅이 더 크다

게이트로 거른 메모리가 이긴다: 멀티에이전트 라우팅 비용 32% 절감 리뷰 썸네일

2026.09.03 · arXiv preprint

토큰 30% 줄이고 캐시 9%p 내준다: ContextPipe 컨텍스트 조립 리뷰

데이터베이스 질의 실행 방식을 에이전트 컨텍스트 조립에 적용한 ContextPipe가 토큰과 호출 수는 줄이지만 캐시 적중률을 내주는 트레이드오프를 원문 대조했습니다.

총 프롬프트 토큰이 104만에서 73만으로 30.1% 줄었지만 캐시 적중률은 평균 95.3%에서 86.2%로 9.1%p 낮아졌다
캐시된 토큰 과금 비율이 0.145를 넘는 제공자에서만 ContextPipe가 실제로 더 저렴하다
평가는 SWE-bench Pro 79개 과제 중 3개에 그쳐 저자들도 표본 한계를 스스로 인정했다

토큰 30% 줄이고 캐시 9%p 내준다: ContextPipe 컨텍스트 조립 리뷰 썸네일

2026.09.02 · arXiv preprint

짧은 스텝 예산에서는 밀린다: 스택 메모리 에이전틱 RAG(AgenticRag-R1) 리뷰

베이징대 연구진의 스택 메모리 기반 에이전틱 RAG가 멀티홉 QA 7개 벤치마크에서 베이스라인을 앞섰지만, 스텝 예산이 짧을 때는 오히려 뒤처지는 역전 현상이 확인됐습니다.

3개 백본(1.5B/3B/7B) 전부에서 평균 F1이 최강 베이스라인 대비 3.27~5.58%p 높았다
메모리 리워드를 제거하면 MusiQue 성능이 16.48%에서 7.63%로 반토막 났다
스텝 예산 10에서는 Bamboogle 성능이 베이스라인(37.05%)의 3분의 1(10.03%)에 그쳤지만 30스텝에서는 35.47%로 역전했다

짧은 스텝 예산에서는 밀린다: 스택 메모리 에이전틱 RAG(AgenticRag-R1) 리뷰 썸네일

2026.09.01 · arXiv preprint

설정이 모델을 이긴다: MCP 툴콜링 에이전트 신뢰도 벤치마크 리뷰

로컬 LLM 에이전트가 MCP로 하드웨어 설계 툴을 다루는 벤치마크에서, 툴 설명 상세도와 few-shot 프롬프트가 신뢰도를 가장 크게 갈랐습니다.

최고 모델 Gemma 4 31B는 ECC 0.990까지 도달했지만 구성에 따라 편차가 컸다
포괄적 툴 설명을 쓴 설정이 최적 구성의 83%(35/42)를 차지했다
약한 모델은 멀티에이전트 분해로 ECC가 0.554→0.718까지 올랐다

설정이 모델을 이긴다: MCP 툴콜링 에이전트 신뢰도 벤치마크 리뷰 썸네일

2026.08.31 · arXiv preprint

더 생각해도 GAIA에서는 소용없었다: 에이전트 적응형 추론 리뷰

MATH-500과 GAIA에서 추론량을 늘렸을 때 정확도가 오르거나 떨어지는 이유를 원문 표와 대조했습니다.

MATH-500에서 Phi-4-reasoning은 Qwen3.5-4B보다 정확도 4.8%p 높지만 최종응답 시간 2.6배, 토큰 한도 도달 190건→482건
GAIA에서는 추론시간을 3배 가까이 늘려도 Phi-4-reasoning 정확도(11.52%)가 Qwen3.5-4B(12.12%)보다 낮음
Llama-3.1-8B-Instruct는 GAIA 과제의 71.52%에서 과소추론으로 분류돼 증거 부족 상태로 조기 종료

더 생각해도 GAIA에서는 소용없었다: 에이전트 적응형 추론 리뷰 썸네일

2026.08.30 · arXiv preprint

즉시 진행보다 예산이 먼저다: ProgRouter 멀티에이전트 라우팅 리뷰

워크플로 단계마다 모델을 다시 고르는 온라인 라우터가 4개 벤치마크에서 예산 준수 베이스라인 중 최고 또는 최상위 성능을 낸 실험을 원문 표와 대조했습니다.

HumanEval Plus에서 ProgRouter Pass율 93.0%로 MasRouter(90.9%)·CASCADIA(84.8%) 상회, 예산 4800J 이내 유지
MBPP에서는 Pass율·에너지(3376J)·실행시간(10.3초) 세 지표 모두 베이스라인 전체 대비 최상위
진행량/비용만 보는 나이브 라우팅은 에너지 62.6% 늘고도(4796→7797J) Pass율 93.0%→17.7%로 붕괴

즉시 진행보다 예산이 먼저다: ProgRouter 멀티에이전트 라우팅 리뷰 썸네일

2026.08.29 · arXiv preprint

고쳤다는 착각: LLM 멀티에이전트 실패 복구, 재시도 대신 표적 개입이 이긴 이유

리런 수리율은 6.90%, 증상 기반 표적 개입은 20.15% — 재시도는 수리가 아니라 요행이었습니다.

리런(Unguided Full Rerun) 수리율 6.90% vs 증상 기반 표적 개입(Suspicious-Node) 20.15%, 2.92배
성공했던 54건을 3회 재실행하자 39건(72%)이 최소 한 번은 실패로 뒤집힘
실패 재현율도 리런 67.97%보다 SymTrace 리플레이 80.78%가 높음(3회 연속 재현 41.42%→52.43%)

고쳤다는 착각: LLM 멀티에이전트 실패 복구, 재시도 대신 표적 개입이 이긴 이유 썸네일

2026.08.26 · arXiv preprint

제네릭 툴은 SQL보다 못했다: MCP 도메인 툴링 패턴과 Model Demotion 리뷰

MCP 서버에 도메인 특화 툴을 붙이자 정확도 93.9%·정답당 비용 최대 11.6배 절감됐지만, 설계가 얕은 제네릭 툴은 원시 SQL보다도 낮았습니다.

버티컬 도메인 툴 팩이 정확도 0.939로 원시 SQL 0.666·제네릭 팩 0.605를 크게 앞섰고, 제네릭 팩은 원시 SQL보다도 낮았음
가장 작은 모델(llama3.2:3b)의 완전 정답률이 도메인 툴에서 0.583→0.929로 뛰어 Model Demotion 가설의 근거가 됨
정답당 비용이 원시 SQL 대비 최대 약 11.6배(3B 모델 기준) 줄어, 가장 저렴한 완전 정답이 8B의 SQL이 아니라 3B의 툴 선택에서 나옴

제네릭 툴은 SQL보다 못했다: MCP 도메인 툴링 패턴과 Model Demotion 리뷰 썸네일

2026.08.25 · arXiv preprint

통과율 94.5%인데 실제 효과와는 무관했다: ACES 에이전트 스킬 평가 리뷰

정적 스캔을 통과한 스킬 94.5%가 실제 배포 효과와는 상관계수 -0.02로 사실상 무관했습니다. NVIDIA의 쌍대 라이브 평가 방법론 ACES를 원문 대조했습니다.

구조 검사 통과율 94.5%·LLM 심사 통과율 86.2%이지만 두 정적 점수 간 상관관계는 스피어만 ρ=0.14에 그쳐, 스캔만으로는 스킬 품질이 하나로 수렴하지 않는다
947개 쌍대 실행 사례에서 스킬 탑재 시 평균 종합 점수가 0.2134(95% CI [0.1967, 0.2301]) 상승했고 72.8%에서 양의 효과, 그러나 정적 점수와 실측 효과의 상관관계는 ρ=-0.02로 통계적으로 0과 구분되지 않는다
노출 스킬이 20개를 넘으면 라우팅 부담이 커져 50개 시점에는 통과율이 0.55로 떨어지고 평균 대기시간이 1,290초로 치솟는다

통과율 94.5%인데 실제 효과와는 무관했다: ACES 에이전트 스킬 평가 리뷰 썸네일

2026.08.24 · arXiv preprint

가장 잘한 사람도 순위 밑바닥: FM-Bench 장기 경영 에이전트 리뷰

20년 축구단 경영 시뮬레이션에서 프론티어 모델 15종을 겨루게 했더니, 최고 성적 인간도 모델 순위 밑바닥에 머물렀고 우승은 매 시즌 다른 모델에게 돌아갔습니다.

claude-fable-5가 솔로 트랙 90.94점(오라클 95.54의 약 95%)·아레나 76.26점으로 1위, 그러나 아레나 우승은 19번의 시즌 전환 중 단 2번만 방어돼 10개 모델이 돌아가며 우승
첫 플레이 인간 6명 중 4명이 파산·해고로 조기 종료됐고, 완주한 2명 중 최고 성적(74.64)도 15개 모델 순위에서 최하위권(14위 상당)
토큰 소비는 28M~194M로 7배 차이 나지만 최종 점수와 상관 없음(r_s=-0.19)—엔드게임 투자 축소(r_s=-0.58)·유휴 현금 최소화(r_s=-0.50)가 훨씬 강한 예측 변수

가장 잘한 사람도 순위 밑바닥: FM-Bench 장기 경영 에이전트 리뷰 썸네일

2026.08.23 · arXiv preprint

정확도 22.6%p 오르고 비용은 2.7배: 멀티에이전트 기업 분석 플랫폼 리뷰

다섯 에이전트로 나눈 대화형 BI가 단일 에이전트보다 정확했지만, 토큰 비용은 2.7배 늘었습니다.

5-에이전트 파이프라인이 기능 정확도 95.3% vs 72.7%(+22.6%p), 품질 4.52 vs 3.76(+20.2%)로 단일 에이전트를 앞섰지만 쿼리당 토큰은 약 3배(30,800 vs 10,200) 소모
오픈소스 Llama 3.1 70B도 멀티에이전트 구조에서는 79.7%로 단일 에이전트 GPT-4.1(72.7%)을 능가해, 모델 교체보다 아키텍처 분해가 정확도에 더 크게 기여함을 시사
어블레이션에서 Follow-up·Chart Configuration 두 에이전트는 품질 기여가 -0.02에 그쳐, 비용에 민감한 배포에서는 선택적 병렬화·경량화 우선순위로 검토할 대상

정확도 22.6%p 오르고 비용은 2.7배: 멀티에이전트 기업 분석 플랫폼 리뷰 썸네일

2026.08.22 · arXiv preprint

6.5만 파라미터가 140억을 이겼다: 에이전트 장애 원인 진단 AFANet 리뷰

1차 출처 대조 결과 6.5만 파라미터 그래프신경망이 재구현 조건에서 140억 파라미터 파인튜닝 LLM을 앞섰지만, 도메인 밖 벤치마크에서는 그 우위가 사라집니다.

6.5만 파라미터 AFANet이 재구현 조건에서 Qwen2.5-14B+SFT를 agent µF1 74.16 대 41.04, pair MF1 16.35 대 2.02로 크게 앞섬
학습 1.1시간·추론 1.16초로 14B+GRPO(74시간·367초) 대비 학습 약 67배, 추론 약 316배 빠르고 파라미터는 약 21.5만분의 1
OOD 벤치마크 Who&When에서는 AFANet도 pair µF1 6.90%로 o3(7.41%)에 근소 열세 — 도메인 내 우위가 OOD로 그대로 이어지진 않음

6.5만 파라미터가 140억을 이겼다: 에이전트 장애 원인 진단 AFANet 리뷰 썸네일

2026.08.21 · arXiv preprint

GPT-5.5도 셋에 하나는 못 끝낸다: Wuying-Browser-Agent 장기 실행 브라우저 에이전트 리뷰

가장 강력한 폐쇄형 에이전트도 평균 37.9스텝짜리 실전형 브라우저 과제의 33%를 놓친다는 벤치마크·RL 파이프라인을 원문 대조했습니다.

Wuying-Browser-Agent-27B가 오픈소스 평균 70.8%(WebVoyager 80.6%·Online-Mind2Web 66.7%·BrowserBench 65.1%)로 1위, Qwen3.8-Max·GPT-5도 앞섬
가장 강한 폐쇄형 모델 GPT-5.5도 평균 37.9스텝짜리 BrowserBench에서 32.6%p를 놓쳐 — 짧은 벤치마크에선 드러나지 않는 격차
온라인RL(DAO-GRPO) 개선폭은 과제 난이도·길이에 비례 — 어려움 구간 +12.4%p, 50스텝 초과 구간 13.3%→26.7%(+13.4%p)

GPT-5.5도 셋에 하나는 못 끝낸다: Wuying-Browser-Agent 장기 실행 브라우저 에이전트 리뷰 썸네일

2026.08.20 · arXiv preprint

실패는 맞혀도 어떤 협업까지 갈지는 못 맞힌다: 비용 인지형 프로토콜 라우팅 리뷰

확신도 점수가 실패 예측(AUROC 0.88)에는 강해도 PER·Broadcast 협업의 가치 예측(AUPRC 0.10대)에는 약하다는 실증을 원문 대조했습니다.

자기확신도 게이트가 45.0K 토큰으로 78.0% 솔브율 — 71.3K짜리 frozen LLM 라우터(73.8%)보다 저비용
동일 확신도 점수의 AUPRC가 Baseline 실패 예측 0.8950에서 PER 첫 성공 예측 0.1674로 급락
6개 held-out 라우터 평가에서 사후 오라클 대비 갭이 18.5~28.9%p로 여전히 큼

실패는 맞혀도 어떤 협업까지 갈지는 못 맞힌다: 비용 인지형 프로토콜 라우팅 리뷰 썸네일

2026.08.19 · arXiv preprint

패치는 거의 다 붙는다, 의미가 틀렸다: Kozuchi Agent SWE-bench 리뷰

오픈웨이트 27B 모델이 SWE-bench Verified 74.8%를 기록했지만, 논문 스스로 남은 실패의 91.3%가 패치 형식이 아닌 의미 오류라고 밝혔습니다.

SWE-bench Verified 374/500(74.80%, 95% CI [70.82%, 78.41%]) — 오픈웨이트 중 1위, 전체 12위
크로스에이전트 선택자가 순서 기준(362건) 대비 +14건, 오라클 상한 408건의 92.2%까지 회수
미해결 126건 중 91.3%(115건)는 패치가 깨끗이 적용되지만 히든 테스트를 통과 못 한 의미 오류

패치는 거의 다 붙는다, 의미가 틀렸다: Kozuchi Agent SWE-bench 리뷰 썸네일

2026.08.18 · arXiv preprint

이겼다고 말하지 않는 승자: MemoryLake 에이전트 메모리 벤치마크 리뷰

자사 메모리 백엔드를 자사 저자가 벤치마크해 macro 평균 성공률 20.5%로 1위를 기록했지만, 논문 스스로 신뢰구간이 겹치고 유의성 검정이 없다고 밝혔습니다.

MemoryLake는 5개 도메인 공유 세트에서 macro 평균 성공률 20.5%로 최고 비교군(롱컨텍스트) 13.6%를 6.9%p 앞섰지만, 저자 스스로 95% Wilson 구간이 겹치고 쌍대 유의성 검정은 없다고 명시했습니다.
물리 12/20 대 9/20(+3편), 수학 9/40 대 8/40(+1편)에서 격차가 났고, 여행계획(4개 시스템 모두 0/30)·쇼핑(1/150 제외 전부 0)은 사실상 승부가 나지 않았습니다.
저자 전원이 MemoryLake 소속 상업기업 직원이라는 이해상충을 논문이 'Competing Interests' 절에서 직접 공개했고, Mem0의 유리한 수치가 다른 시스템에는 적용되지 않은 재작성 제한 조건에서 나온 것임을 각주로 밝혔습니다.

이겼다고 말하지 않는 승자: MemoryLake 에이전트 메모리 벤치마크 리뷰 썸네일

2026.08.17 · arXiv preprint

되돌리기보다 알아채기가 더 컸다: LoongReflect 장기 추론 에이전트 리뷰

reflect 액션을 제거하자 평균 F1이 15.31점 빠졌고 backtrack만 제거했을 때는 13.06점 빠졌습니다.

LoongReflect는 7개 QA 벤치마크 평균 F1에서 최강 기존 기법(AgenticRAG-R1)을 3B 모델 기준 12.60점, 7B 기준 12.61점 앞섰습니다.
reflect 액션 제거 시 평균 F1이 46.15에서 30.84로(-15.31), backtrack 액션 제거 시 33.09로(-13.06) 떨어져 진단이 되돌리기보다 더 큰 병목이었습니다.
look-ahead coordination 제거는 손실이 -4.94점으로 가장 작아, 단순 결합만으로도 이득의 89.4%를 확보할 수 있었습니다.

되돌리기보다 알아채기가 더 컸다: LoongReflect 장기 추론 에이전트 리뷰 썸네일

2026.08.16 · arXiv preprint

가짜 논문에도 실험을 설계해 준다: LLM 과학적 신뢰도 벤치마크 TRACES 리뷰

철회·조작·사이비과학 논문 42편으로 30개 모델을 시험했더니 평균 93%가 후속 연구 설계까지 응해 줬습니다.

30개 모델·42개 논문·10회 반복으로 12,600건을 시험한 결과 집계 실패율(IFR-a)은 0.93±0.004, 위험 인지 후 진행까지 감안한 IFR-i도 0.809±0.009였고, 30개 중 22개 모델이 사례의 90% 이상에서 실패했습니다.
대화형 시나리오에서도 응답의 약 81%가 아무 경고 없이 나갔고, 가장 나은 4개 모델도 경고 비율이 46~48%에 그쳤습니다.
거절은 웨이크필드 백신 논문 같은 소수의 유명 사례에 몰려 있고, 위험이 노골적으로 드러나는 비물리적 메커니즘 영역에서는 거절-진행 격차(면책 세금)가 0.211인 반면 생의학 논문처럼 보이는 절차적 사이비과학 영역에서는 0.026로 줄어 '내용이 아니라 문체에 반응한다'는 근거가 됐습니다.

가짜 논문에도 실험을 설계해 준다: LLM 과학적 신뢰도 벤치마크 TRACES 리뷰 썸네일

2026.08.15 · arXiv preprint

안다고 말해도 손은 멈추지 않는다: REDAgentBench 에이전트 레드팀 리뷰

안전 규칙을 스스로 말한 뒤에도 다섯 번 중 한 번은 실행해버리는 LLM 에이전트의 레드팀 결과를 원문 대조했습니다.

6개 모델을 3개 하니스에서 돌린 결과 매크로 평균 공격 성공률(ASR)은 65.69%였고, 같은 모델이라도 하니스만 바뀌면 최대 30.7%p(Qwen3.7-plus, 49.39%→80.09%)까지 흔들렸습니다.
실행 결과(서비스 영수증·최종 상태)로 판정하면 대화 로그만 볼 때보다 ASR이 모델마다 7.73~11.72%p 더 높게 나와, 궤적 기준 평가는 실제 피해를 구조적으로 과소평가했습니다.
Qwen-plus의 확정된 위반 2,846건 중 17.92%는 에이전트가 관련 규칙이나 위험을 스스로 언급한 뒤에도 실행한 '인지-실행 격차'였고, 무훈련 정책 리마인더 하나로 재실행 시 위반을 74.19%p 줄였습니다.

안다고 말해도 손은 멈추지 않는다: REDAgentBench 에이전트 레드팀 리뷰 썸네일

2026.08.14 · arXiv preprint

개별 84%, 전체 27%: 엔터프라이즈 RAG 지시 준수 붕괴 리뷰

노이즈·지식 공백·사실 충돌이 섞인 검색 결과에서 LLM 13종의 복합 지시 준수를 측정한 China Mobile 벤치마크를 원문 대조했습니다.

13개 LLM을 노이즈 섞인 검색 결과 위에서 평가한 결과, 최고 모델(Qwen3-235B-Thinking)도 개별 제약 충족률(Loose IAS) 83.8%에서 전체 동시 충족률(Strict IAS) 26.8%로 57%p가 빠졌습니다.
지식 공백 상황에서 정답 없음을 밝혀야 할 때 Qwen3-30B-Instruct의 거부율은 6.6%에 그쳤고, 추론형 중 최고인 Claude-Opus-4.5도 42.7%로 절반을 넘기지 못했습니다.
사실 충돌 인지율은 최고 DeepSeek-R1 44.3%, 최저 GPT-4.1 18.5%였으며, 충돌 인지와 답변 커버리지의 상관관계는 추론형 모델(+0.90)과 표준형 모델(-0.50)에서 정반대 방향이었습니다.

개별 84%, 전체 27%: 엔터프라이즈 RAG 지시 준수 붕괴 리뷰 썸네일

2026.08.13 · arXiv preprint

쉬움 100%, 어려움 25%: 페이팔 T2MO 코딩 에이전트 라우팅 프레임워크 리뷰

같은 모델의 정답률이 과제 난이도에 따라 100%에서 25%까지 갈린다는 데이터로 페이팔이 설계한 코딩 에이전트 모델 라우팅 프레임워크를 원문 대조했습니다.

페이팔 코딩 어시스턴트의 월 인프라 스펜드 $3.05M 중 98%가 프론티어 모델 2개에 집중된 데이터를 근거로, 태스크 카테고리×난이도 단위로 모델을 나눠 배정하는 T2MO 프레임워크를 제안했습니다.
동일한 GLM 5.2 모델의 실측 통과율이 Git Workflow 과제에서는 Easy·Medium 100%·Difficult 47%였지만 Frontend·UI 과제에서는 Easy 100%·Medium 50%·Difficult 25%로 크게 갈려, 카테고리 단일 라우팅의 위험을 보여줬습니다.
표에 실린 절감액($26K·$20K·$26K)은 실측이 아니라 논문이 스스로 '예시(illustrative)'로 표기한 가정 계수(δ=0.35, 난이도 분배 35/45/20%) 기반 계산값으로, 검산 결과 공식과는 일치했지만 확정된 배포 성과는 아니었습니다.

쉬움 100%, 어려움 25%: 페이팔 T2MO 코딩 에이전트 라우팅 프레임워크 리뷰 썸네일

2026.08.12 · arXiv preprint

의사코드 한 겹으로 4.31점이 4.78점 됐다: Pseudo2CodeQA 코드 생성 벤치마크 리뷰

의사코드 중간 표현을 넣은 코드 생성 에이전트가 GPT-5 채점 기준 4.31→4.78점(+10.9%)을 낸 벤치마크를 원문 대조했습니다.

GPT-5 채점 기준 Pseudo2Code 에이전틱 파이프라인의 종합 점수가 같은 Gemini 2.5 Pro의 직접 생성(4.31점) 대비 4.78점으로 10.9% 올랐습니다.
사람 평가(100개 과제, 2인 채점) 종합 점수는 4.85점, 실행 테스트 통과율은 84.6%로 자동 채점과 방향이 일치했지만 난이도별 통과율은 Easy 97%에서 Hard 71%까지 벌어졌습니다.
벤치마크의 정답 의사코드·참조 코드 자체가 제안 프레임워크와 같은 Gemini 2.5 Pro로 생성된 뒤 사람이 검증한 것이어서, 구조화 의사코드 효과와 동일 모델 친화 효과를 논문 설계만으로는 분리하기 어렵습니다.

의사코드 한 겹으로 4.31점이 4.78점 됐다: Pseudo2CodeQA 코드 생성 벤치마크 리뷰 썸네일

2026.08.11 · arXiv preprint

계획과 기억을 묶으니 25건 더 풀었다: PMCoder 코딩 이슈 해결 에이전트 리뷰

SWE-bench Verified에서 계획 수립과 에피소드 기억을 양방향으로 결합한 PMCoder가 해결 건수를 142.3건에서 167.3건(+5.0%p)으로 늘린 실험을 표 단위로 대조했습니다.

SWE-bench Verified 500건 중 PMCoder는 평균 167.3건(33.5%)을 해결해 기준선(142.3건, 28.5%) 대비 +25.0건(+5.0%p, 95% CI [+14.3,+35.7], p<0.001)을 기록했습니다.
2×2 어블레이션에서 계획만(+6.3건)·기억만(+8.3건)을 단순 합한 값보다 계획+기억 결합(+25.0건)이 훨씬 커, 교호작용 자체가 통계적으로 유의했습니다(+10.3건, p=0.011).
이슈 재현 스크립트가 없는 비무장(unarmed) 315건에서도 +3.8%p 개선이 남아, 실행 그라운딩이 꺼진 상태에서도 계획-기억 결합만으로 값을 냈습니다.

계획과 기억을 묶으니 25건 더 풀었다: PMCoder 코딩 이슈 해결 에이전트 리뷰 썸네일

2026.08.10 · arXiv preprint

생산은 늘고 공개 기록은 옅어졌다: 코딩 에이전트 오픈소스 커뮤니티 영향 시뮬레이션 리뷰

코딩 에이전트 도입 시뮬레이션에서 완료 과제가 39% 늘고 처리 시간은 45분에서 20분으로 줄었지만, 공개 지식 검색 커버리지는 81.1%에서 22.3%로 떨어졌습니다.

완료 과제 +39.0%, 중위 처리시간 45분→20분, 그러나 최종 채택률은 26.0%에 그쳤습니다.
직접 개발자간 상호작용 비중이 32.4%→11.6%로 줄고, 에이전트가 관여한 방식이 57.3%까지 늘었습니다.
표준 검색 벤치마크에서 공개 지식 커버리지가 81.1%→22.3%로 떨어져 신규 기여자가 참고할 기록이 옅어졌습니다.

생산은 늘고 공개 기록은 옅어졌다: 코딩 에이전트 오픈소스 커뮤니티 영향 시뮬레이션 리뷰 썸네일

2026.08.09 · arXiv preprint

정확도 1등이 경제성 꼴찌였다: EcoAgent-Bench 예산 제약 에이전트 리뷰

항상 상위 도구를 부르는 통제군이 정확도 76.3%로 1등, 경제성 12.2%로 꼴찌였습니다.

304개 과제를 상향 222개·절약 82개로 나누고 두 방향 정확도의 최솟값을 경제성 점수로 삼습니다.
항상 에스컬레이션하는 통제군이 마이크로 정확도 76.3%·73.0%로 최상위, 경제성은 12.2%·0.0%로 최하위였습니다.
도구 API 트랙 LLM은 마이크로 정확도 3.9~24.0%, 경제성 최대 7.3%에 그쳤습니다.

정확도 1등이 경제성 꼴찌였다: EcoAgent-Bench 예산 제약 에이전트 리뷰 썸네일

2026.08.08 · arXiv preprint

궤적을 버려야 멀리 간다: LongHorizon-Harness 장기 실행 에이전트 리뷰

실행 궤적을 버리고 작업 상태와 감사 리포트만 남기는 설계로 WeaveBench 완주율이 51.8%에서 80.7%로 올랐습니다. Terminal-Bench에서는 토큰이 오히려 24% 줄었습니다.

WeaveBench 완주율 51.8% → 80.7%, OSWorld Binary 2.8% → 8.3%
Terminal-Bench는 성공률 +7.5%p인데 토큰 24% 감소
감사자가 전체 토큰의 19.4~38.1% — 검증 세금의 첫 실측

궤적을 버려야 멀리 간다: LongHorizon-Harness 장기 실행 에이전트 리뷰 썸네일

2026.08.07 · arXiv preprint

77배는 16건에서 나왔다: 에이전트 A/B 시뮬레이션 검증 프레임워크 리뷰

고객 1,000명을 에이전트로 복제해 마케팅 실험 67쌍을 재현한 프레임워크입니다. 부호는 0.70으로 맞혔지만 출시 판단 일치도는 0.41(무작위 0.33)에 그쳤습니다.

부호 일치도 0.70(기준선 0.50), 출시 판단 0.41(기준선 0.33)
77배 오차 압축은 67건이 아니라 16건에서 측정
에이전트 증설·피험자 내 설계는 분산만 2.4배 축소

77배는 16건에서 나왔다: 에이전트 A/B 시뮬레이션 검증 프레임워크 리뷰 썸네일

2026.08.06 · arXiv preprint

지도가 있어도 전수 탐색한다: ScrambleToolBench 도구 적응력 리뷰

도구 이름의 의미 단서를 지우자 15개 모델 평균 완주율이 0.93에서 0.32로, 교란을 겹치자 0.03으로 떨어졌습니다. 복구 탐색은 무작위와 구분되지 않았습니다.

조건별 평균 완주율 0.93 → Base 0.32 → 결합 0.03
Sonnet 5는 표류·실패 단독 1.00, 결합에서 0.00
복구 사슬 추종률 11.0% vs 무작위 10.8%

지도가 있어도 전수 탐색한다: ScrambleToolBench 도구 적응력 리뷰 썸네일

2026.08.05 · MCP Roadmap

약속하지 않는 로드맵: MCP 2026 우선순위 4개의 5개월 성적표

MCP 2026 로드맵의 4대 우선순위를 원문 검증하고, 발표 5개월 뒤 07-28 스펙 대조로 실제 진행도를 평가합니다.

4대 우선순위 중 전송 무상태화는 발표 5개월 만에 07-28 스펙으로 확정
엔터프라이즈 4항목(감사·SSO·게이트웨이·설정 이식성)은 코어가 아닌 확장 트랙
보안 유보 영역은 SEP-1932(DPoP)·SEP-1933(WIF) 2건만 심사 진행 중

약속하지 않는 로드맵: MCP 2026 우선순위 4개의 5개월 성적표 썸네일

2026.08.04 · arXiv preprint

막은 것은 모델뿐이었다: IssueTrojanBench 코딩 에이전트 인젝션 리뷰

악성 이슈 66.5%가 코딩 에이전트 가드레일을 관통한 IssueTrojanBench를 원문 대조 — 거부의 82.9%가 모델 단독 방어였다는 구조를 검증하고 판단을 붙였습니다.

6개 에이전트-모델 쌍 4,176회 실행에서 악성 이슈 66.5%가 에이전트·LLM 가드레일을 모두 관통했습니다(Codex Desktop 79.2%, Cursor 66.5%, Claude Code 41.1%).
거부 1,400건 중 82.9%가 모델 수준 명시적 거부 — OS 샌드박스 등 프레임워크 방어는 관찰 가능한 거부에 기여하지 못했습니다.
언어·위치·표기 변형은 성공률에 영향이 없어 패턴 필터가 아니라 의미·출처 기반 방어가 필요하다고 판단했습니다.