원문 정보

Zheng Jiang, Fang Niu, Bo Peng, Houde Qian, Wenyi Li, Deyao Hong, Mingju Gao, Yizhe Chi, Youjie Zheng, Kaisen Yang, Calvin Xiao, Lifeng Sun, Huan-ang Gao, "WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems", arXiv:2611.12856 [cs.CL], 2026-11-09 제출, DOI 10.48550/arXiv.2611.12856. 소속: Navers Lab, Einsia.AI, 칭화대.

동료심사를 거치지 않은 arXiv 프리프린트입니다. Acknowledgements에 "이 프로젝트는 Navers Lab, Einsia.AI의 자금 지원과 후원을 받았다"고 명시돼 있고, 13명 저자의 소속도 같은 랩과 칭화대로 한정돼 외부 독립 자금 출처는 확인되지 않습니다. 다만 비교 대상 9개 모델(Claude Opus 5.5·Sonnet 5.5, GPT-6 Astra·Sol·Luna, Kimi K3.1 Pro, GLM-5.3 Flash, DeepSeek V4.1 Flash, Doubao-Seed-Evolving) 가운데 저자 소속 랩이 만든 모델은 없어, 특정 제품을 돋보이게 하려는 설계로는 보이지 않습니다. 원문 전문은 2026-11-10T22:08:19Z(UTC) 수집 세션 스냅숏으로 대조했습니다 — 세션 egress 프록시 장애로 WebFetch 직접 접근이 10분 간격 재시도 3회에도 계속 막혀 있었습니다.

연구 개요

질문은 명확합니다. 최근 에이전트 하니스는 작업을 누구에게 어떤 순서로 맡길지(워크플로 구조)를 모델이 실행 중 스스로 정하게 합니다. 이 '오케스트레이션 능력'을 과제를 끝까지 완수하는 능력과 분리해 측정할 수 있을까요. 저자들은 구조를 사전에 지정하지 않고 통합된 최종 결과물만 숨겨진 검증기로 채점하는 벤치마크로 이 질문을 정식화합니다.

WorkflowArena는 8개 전문 분야(소프트웨어공학·운영·과학·수학·금융·법률·콘텐츠·3D)에 걸친 145개 장기 과제로 이뤄집니다. 각 과제는 초기 작업공간, 상호의존적 구성요소로 짜인 통합 결과물, 숨겨진 채점 기준을 갖습니다. 9개 모델을 25개 모델-노력 조합으로 평가했고, Claude 계열은 Claude Code, GPT 계열은 Codex 하니스에서 돌렸습니다. 별도로 '워크플로 전환' 실험을 설계해, 한 모델이 워크플로만 작성하고 다른 모델이 실제 작업을 수행하도록 분리함으로써 오케스트레이션 품질과 실행 역량을 따로 측정했습니다.

핵심 결과

가장 좋은 구성(Claude Opus 5.5·Claude Code·노력 max)도 8개 분야 평균으로는 36.95%만 완수했습니다(원문 Table 1). 분야별 편차가 커서, MATH는 최고 95.83%로 거의 포화에 가까웠지만 LAW와 FIN의 최고치는 각각 9.09%·18.75%를 넘지 않았습니다. 어떤 구성도 8개 분야를 모두 선도하지는 못했습니다.

모델하니스노력Overall 완수율
Claude Opus 5.5Claude Codemax36.95%
Claude Opus 5.5Claude Codehigh34.11%
Claude Sonnet 5.5Claude Codemax33.21%
GPT-6 AstraCodexxhigh30.80%
GPT-6.1 SolCodexxhigh29.50%
Kimi K3.1 ProClaude Codemax16.48%
GLM-5.3 FlashClaude Codemax4.43%

출처: 원문 Table 1(25개 모델-노력 구성 중 상·하위를 추려 표시, 8개 분야 평균인 Overall만 표기).

노력 수준을 올리는 효과는 모델 계열마다 달랐습니다. Opus는 노력에 따라 22.02~36.95%, Sonnet은 16.88~33.21%를 오간 반면, Astra는 27.34~30.80%, Sol은 25.63~29.50%로 변동이 훨씬 작았습니다 — 같은 '노력' 조절이 Claude 계열에 더 큰 지렛대로 작동했습니다.

자원·비용 기준으로 보면 순위가 또 바뀝니다. Opus(high)는 34.11%를 작업당 평균 736만 토큰·$6.66로 달성했는데, Astra(xhigh)는 그보다 낮은 30.80%에 $29.26 — Opus 비용의 4.4배를 쓰고도 3.31%p 낮았습니다. 반대로 Sol(low)은 $3.61만으로 27.59%를 냈습니다.

구성Overall 완수율평균 비용(USD/작업)
GPT-6.1 Sol (Codex, low)27.59%$3.61
Claude Opus 5.5 (Claude Code, high)34.11%$6.66
GPT-6 Astra (Codex, xhigh)30.80%$29.26

출처: 원문 §4.3(Figure 4), 메인 에이전트·워커 토큰 사용량 기준 추정 비용.

위임 패턴도 하니스별로 뚜렷하게 갈렸습니다(원문 §4.4). 노력 high 기준, Claude Code의 Opus·Sonnet은 과제당 0.86·0.76회만 위임을 호출하지만 한 번 부르면 평균 5.55·6.14명을 동원합니다. Codex의 Astra·Sol은 2.09·1.94회로 더 자주 호출하지만 1.72·1.69명만 동원합니다. 위임이 있는 과제 중 호출이 단 1회로 끝나는 비율은 Opus 70%·Sonnet 68%인데 Astra·Sol은 약 32%이고, 반대로 9명 이상을 동원하는 대규모 위임은 Opus 24%·Sonnet 30%인데 Astra·Sol 워크플로의 약 99%는 4명 이하로 끝납니다.

가장 반직관적인 결과는 워크플로 전환 실험입니다(원문 Table 2, 32개 과제 부분집합·연속 점수 기준). Opus가 작성한 워크플로를 그대로 넘겨받은 네 실행 모델은 정적 모드 평균 +6.41점, 동적 모드 +6.27점이 올랐습니다 — Kimi는 35.75에서 46.61로, DeepSeek는 18.37에서 25.24로 뛰었습니다. 그런데 Astra는 단독 수행(노력 max, 완수율 27.34%)이 네 실행 모델 중 가장 잘하는 쪽(Kimi, 16.48%)보다 훨씬 강한 시스템인데도, Astra가 작성한 워크플로는 평균 정적 −2.53점·동적 +1.34점으로 오히려 Kimi·DeepSeek의 점수를 양쪽 모드 모두에서 낮췄습니다.

실행 모델자력(동적)Astra 워크플로(정적)Astra 워크플로(동적)Opus 워크플로(정적)Opus 워크플로(동적)
Kimi K3.1 Pro35.7529.6933.8045.0446.61
GPT-6 Luna25.0824.8729.2230.3725.35
Doubao-Seed-Evolving20.3922.0724.2528.0427.46
DeepSeek V4.1 Flash18.3712.8517.6921.7925.24

출처: 원문 Table 2. 값은 연속 점수(부분 진척을 반영), 완수율과는 기준이 다릅니다.

신뢰도 평가

믿을 근거 — 145개 과제 전부를 25개 구성에 동일하게 적용해 통제했고, 전환 실험은 소스 모델과 실행 모델을 분리해 오케스트레이션 품질과 과제 수행력이라는 두 변수를 따로 측정했습니다. SWE·MATH 등 다수 분야는 프로그래밍 방식 검증기로 채점해 채점자 주관이 끼어들 여지가 적습니다.

감안할 점 — 동료심사 전 프리프린트이고 Navers Lab·Einsia.AI 자금 지원이라는 이해관계가 있습니다. 각 구성은 과제당 1회만 평가돼 분산 추정치가 없고, Claude·GPT 계열은 각각 하나의 하니스(Claude Code·Codex)에서만 평가돼 모델 효과와 하니스 효과가 뒤섞여 있습니다 — 저자들도 이를 한계로 인정합니다. 콘텐츠·3D 영역은 Gemini-3.8-Flash가 채점했는데 사람 채점자와의 일치도는 검증되지 않았습니다. 전환 실험의 소스 모델은 작업 지시도 함께 작성하므로, 그 개선분이 순수한 '조직화 능력'인지 지시문에 담긴 과제 지식인지는 완전히 분리되지 않습니다. WorkflowArena의 핵심 주장과 정면으로 상반되는 선행 연구는 확인되지 않았습니다.

관련 연구

  • Yao 외(2024, ICLR 2025). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains — WorkflowArena 원문이 "에이전트를 단일 단위로 점수화해 위임 구조는 보지 않는다"고 직접 지목한 장기·정책제약 벤치마크 계열의 대표작입니다. WorkflowArena는 같은 종류의 실행 환경·독립 검증을 유지하면서도 모든 위임 호출을 기록해 구조 자체를 관찰 가능하게 만든다는 점이 다릅니다 — 선행 연구 관계.
  • Zhang 외(2024, ICLR 2025). AFlow: Automating Agentic Workflow Generation — 코드로 표현한 워크플로 후보에 몬테카를로 트리 서치를 적용해 설계를 자동 탐색하고, 그 설계가 모델 간 전이됨을 보인 선행 연구입니다. WorkflowArena의 전환 실험과 같은 질문(워크플로가 모델 간 옮겨 가는가)을 다루지만, AFlow는 오프라인 탐색으로 고정된 워크플로를 찾는 반면 WorkflowArena는 모델이 실행 중 직접 조직화를 결정하게 하고 실제 전문 과제에서 채점한다는 점이 다릅니다 — 선행 연구 관계.
  • Cemri 외(2025). Why Do Multi-Agent LLM Systems Fail? — 150여 개 멀티에이전트 실행 기록을 분석해 14개 실패 유형을 분류한 선행 연구(MAST)입니다. WorkflowArena가 보여준 "Astra는 혼자서는 강하지만 그 워크플로는 다른 모델에 해롭다"는 결과는 MAST가 분류한 시스템 설계 실패 범주와 같은 결의 현상을 정량적으로 재확인한 것으로 읽힙니다 — 선행 연구 관계.

세 편 모두 WorkflowArena 원문이 직접 인용·서술한 관계이며, 서지사항(저자·venue·arXiv ID)을 WebSearch로 교차 확인했습니다. WorkflowArena의 핵심 주장과 상충하는 결과를 보고한 선행 연구는 확인되지 않았습니다.

리뷰어 판단

첫째, 이 논문에서 가장 중요한 수치는 36.95%가 아니라 전환 실험의 부호 차이라고 판단합니다. Astra는 혼자 과제를 풀 때 네 실행 모델보다 압도적으로 강한데, 그 Astra가 짠 워크플로는 오히려 두 모델(Kimi·DeepSeek)의 점수를 깎았습니다. "잘 푸는 모델이 잘 조직하는 모델"이라는 가정이 깨지는 구체적 반례이고, 오케스트레이터 역할에 반드시 최고 성능 모델을 앉혀야 한다는 관행을 재검토할 근거가 됩니다.

둘째, Claude Code와 Codex의 위임 패턴 차이(적게 부르고 크게 모으기 vs 자주 부르고 작게 모으기)를 '모델의 성향'으로 단정하기는 이르다고 봅니다. 저자들도 밝혔듯 각 모델 계열은 하나의 하니스에서만 평가됐습니다. 이 차이가 모델 자체의 특성인지 하니스가 제공하는 위임 인터페이스의 설계인지는 이 논문만으로는 분리되지 않으며, 같은 모델을 다른 하니스에 태운 교차 실험 없이는 "Claude가 위임을 더 잘한다"는 식으로 번역하면 과도한 일반화입니다.

실무 적용

  • 오케스트레이터와 실행자를 따로 평가 — 가장 강한 단일 모델이 곧 가장 좋은 '계획자'는 아닙니다. 워크플로 작성자와 실행자를 분리해, 비싼 모델의 계획을 저렴한 모델이 실행해도 성과가 유지되는지 자체 과제로 확인합니다.
  • 노력(추론 강도) 설정은 모델별로 다르게 — 이 데이터에서 노력 상향은 Claude 계열에 훨씬 큰 지렛대였습니다. 전 모델에 같은 노력 설정을 일괄 적용하지 말고 모델별로 비용-성능 곡선을 따로 그립니다.
  • 비용 보정 완수율을 같이 추적 — Astra(xhigh)는 Opus(high)보다 4.4배 비싸면서도 더 낮은 완수율을 냈습니다. 완수율만 보고 모델을 고르면 이런 역전을 놓칩니다.
  • 위임 통계를 자체 하니스에도 계측 — 과제당 위임 호출 수·호출당 동원 인원은 분야에 따라 갈리는 진단 신호입니다(원문 §4.4). 이상 패턴 탐지에 쓸 수 있습니다.
  • 모델 비교에서 하니스 변수를 분리 — "이 모델이 위임을 잘한다"는 관찰은 그 모델이 돌아간 하니스의 인터페이스 설계가 섞인 결과일 수 있습니다. 모델 교체 실험에는 반드시 하니스를 고정합니다.

결론

WorkflowArena의 기여는 "현재 에이전트가 자기 작업을 조직할 수 있는가"라는 질문에 숫자로 답한 데 있습니다. 답은 "할 수는 있지만 안정적이지는 않다"입니다 — 최고 구성도 평균 36.95%에 그쳤고, 어느 구성도 8개 분야를 모두 이끌지 못했습니다. 더 중요한 발견은 전환 실험이 보여준 분리입니다. 오케스트레이션을 잘하는 능력은 과제를 잘 푸는 능력과 다른 축이며, 이 차이는 모델을 '두뇌'와 '일손' 중 어느 역할에 앉힐지를 가를 실무적 근거가 됩니다. 다만 동료심사 전이고 Claude·GPT 계열이 각기 다른 하니스에서만 평가됐다는 혼입 변수는 그대로 남습니다. 구조를 미리 선언해 고정하는 쪽과 모델이 직접 조직하게 하는 쪽의 선택은 MS Agent Framework 선언적 워크플로우가 요구하는 멀티에이전트 운영 기준에서 더 다룹니다.

참고 링크

이 리뷰에 대해 AI와 대화하기

AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.

대화창을 불러오는 중…