원문 정보
Zhi Hong, Qianlong Wang, Hongchen Wei, Aidan Wu, Daohong Ying, Mingze Kong, Bei Liu, Chong Luo, "HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents", arXiv:2611.06254 [cs.AI], 2026-11-04 제출, DOI 10.48550/arXiv.2611.06254. 소속: 화남이공대·푸단대·우한대·코넬대·UC샌디에이고·홍콩중문대(선전)·Microsoft Research Asia.
동료심사를 거치지 않은 arXiv 프리프린트입니다. 산학 공동연구로 저자 8명 중 다수가 중국 대학(화남이공대·푸단대·우한대·홍콩중문대 선전) 소속이고, 나머지는 미국 대학(코넬·UC샌디에이고)과 Microsoft Research Asia입니다. 교신저자 2명(Bei Liu, Chong Luo)이 MSRA 소속이고 다른 저자 다수가 MSRA 인턴십 기간에 참여했다고 밝혀, MSRA가 에이전트 하니스 자동화 기술을 통해 얻는 이해관계를 배제할 수 없습니다. 다만 비교 대상에 Claude Code·Codex 등 경쟁사 제품을 동등 조건으로 포함해 자사 제품만 돋보이게 하는 설계는 아닙니다. 별도의 연구비·이해상충 고지문은 확인되지 않았습니다. 원문 전문은 2026-11-09T22:07:57Z(UTC) 수집 세션 스냅숏으로 대조했습니다 — 세션 egress 프록시 장애로 WebFetch 직접 접근이 10분 이상 간격을 둔 재시도에도 계속 막혀 있었습니다.
연구 개요
질문은 명확합니다 — 에이전트 성능이 모델과 하니스(도구·환경과의 상호작용을 통제하는 실행 코드) 둘 다에 좌우된다면, 하니스 설계도 모델 학습처럼 자동 탐색으로 최적화할 수 있는가. 저자들은 이를 "완전한 실행형 하니스를 제한된 평가 예산 안에서 최적화하는" 문제로 정식화합니다.
방법은 두 요소를 결합합니다. 코딩 에이전트(Codex 0.154.0 + GPT-5.5, 최고 추론 강도)가 과거 탐색 기록·실행 피드백·재사용 가능한 "하니스 컴포넌트 라이브러리"를 보고 하니스 전체 코드를 고쳐 씁니다. 이 수정 후보들은 몬테카를로 트리 서치(MCTS)로 조직한 "정제 트리"에 들어가고, 선택 정책(ε=0.35로 성과 기반 탐욕과 미탐색 가지 보존을 혼합)이 다음에 어느 후보를 발전시킬지 고릅니다. 모든 하니스는 백본 모델 GPT-5.4-mini(중간 추론)로 실행되며, 벤치마크당 15회 후보 평가 예산과 5회 반복 실행(평균±표준편차 보고)을 바닐라·Meta-Harness·HarnessFlow 모두에 동일 적용합니다.
핵심 결과
TAU2-bench·AppWorld·WebShop·BrowseComp-Plus(BC+)·SWE-bench Verified(SWE-V)·BigCodeBench-Hard(BCB-H) 여섯 벤치마크에서, HarnessFlow는 평균 69.48%로 모든 비교 대상을 앞섰습니다(이 리뷰가 6개 수치의 평균을 재검산해 일치 확인). 바닐라(최초 하니스, 58.59%) 대비 +10.89%p, 프로덕션 에이전트 Codex(64.82%) 대비 +4.66%p, 같은 15회 예산을 쓰는 경쟁 자동화 기법 Meta-Harness(65.53%) 대비 +3.95%p입니다. Meta-Harness 대비 격차가 가장 큰 벤치마크는 TAU2-bench(+7.21%p)와 SWE-bench Verified(+6.60%p)였습니다.
| 방법 | TAU2 | AppWorld | WebShop | BC+ | SWE-V | BCB-H | 평균 |
|---|---|---|---|---|---|---|---|
| 바닐라(최초 하니스) | 63.98 | 72.00 | 47.79 | 72.40 | 67.10 | 28.30 | 58.59 |
| Codex(프로덕션) | 75.91 | 73.24 | 66.15 | 74.70 | 68.70 | 30.20 | 64.82 |
| Meta-Harness | 74.62 | 76.76 | 66.33 | 76.60 | 68.80 | 30.10 | 65.53 |
| HarnessFlow | 81.83 | 80.76 | 69.49 | 76.90 | 75.40 | 32.50 | 69.48 |
단위는 벤치마크별 공식 지표(과제 성공률·점수·정답률·해결률·Pass@1)를 백분율로 표시한 것으로, 서로 다른 기준이라 벤치마크 간 절대값 비교보다는 같은 열 안에서 방법 간 비교로 읽어야 합니다(원문 Table 1). 성능만 오른 것이 아니라 비용도 낮아졌습니다 — 작업당 평균 실행 비용은 HarnessFlow가 $0.232로, 손으로 짠 네 프로덕션 하니스($0.398~$0.561)보다 쌌고 Meta-Harness($0.351)보다도 낮았습니다. 여섯 벤치마크 전부에서 점수-비용 파레토 선에 올라갔다는 것은, 더 정확한 하니스가 반드시 더 비싼 것은 아니라는 뜻입니다.
| 방법 | 평균 점수(%, 6개 벤치마크) | 평균 비용(USD/작업) |
|---|---|---|
| 바닐라(최초 하니스) | 58.59 | 0.451 |
| Claude Code | 61.71 | 0.446 |
| OpenHands | 62.61 | 0.398 |
| Hermes | 64.28 | 0.555 |
| Codex | 64.82 | 0.561 |
| Meta-Harness | 65.53 | 0.351 |
| HarnessFlow | 69.48 | 0.232 |
탐색 과정 자체도 효율적이었습니다 — 벤치마크당 후보 3개만 평가해도 평균 최고 검증 점수가 71.5%에 도달했고, 15회까지 이어가면 74.2%로 올랐습니다. 절제 실험은 두 설계 요소 모두 실제 기여를 확인했습니다. 재사용 컴포넌트 라이브러리를 빼면 3개 벤치마크(TAU2·AppWorld·BCB-H) 평균이 65.03%에서 63.39%로 낮아졌고, 성과·미탐색 혼합 정책(ε=0.35, 평균 79.33%)을 순수 탐욕(ε=0, 73.93%)이나 순수 탐색(ε=1, 73.65%)으로 바꾸면 각각 5.40%p·5.68%p 떨어졌습니다. 이 수치들은 원문 Table 1·2·3·8을 두 차례 재대조하고 평균값을 직접 계산해 일치를 확인한 것입니다.
신뢰도 평가
믿을 근거 — 모든 방법이 같은 백본 모델·도구 접근·작업당 자원 한도·5회 반복(평균±표준편차)으로 평가돼 설계 변수 외의 요인이 통제됐습니다. 네 종의 손으로 짠 프로덕션 에이전트(Claude Code·Codex·OpenHands·Hermes)를 비교 기준에 포함해 "자동화가 이 분야 실무 최고 수준과 비교해도 통한다"는 더 어려운 기준을 스스로 설정했습니다. 더 강한 실행 모델(GPT-5.4)로 바꿔도 우위가 유지됨을 별도로 보였고(3개 벤치마크 평균 83.58%, Claude Code 대비 +2.73%p), 다른 에이전트 아키텍처(OpenHands)에서 시작해도 개선이 이어짐을 확인해 결과가 특정 모델·초기 하니스에만 한정되지 않음을 뒷받침합니다.
감안할 점 — 동료심사 전 프리프린트이고, 교신저자 2명이 Microsoft Research Asia 소속이라는 이해관계가 있습니다. 탐색은 자동 채점기가 있는 과제에만 적용 가능하고, 평가 예산(15회×5반복×6벤치마크) 자체가 상당한 일회성 비용이라 배포 후 분산 상각이 전제입니다. 하니스는 단일 부모에서 가지를 치는 트리 구조로, 서로 다른 가지에서 발견한 메커니즘을 조합하는 그래프 탐색은 저자 스스로 향후 과제로 남겼습니다. HarnessFlow의 핵심 주장과 상반된 결론을 보고한 선행 연구는 확인되지 않았으나, 같은 문제를 다른 설계로 푸는 동시대 연구가 있어 아래 관련 연구에서 대조합니다.
관련 연구
- Lee 외(2026). Meta-Harness: End-to-End Optimization of Model Harnesses — 이번 논문의 직접 비교 대상(원문 Table 1·8에서 HarnessFlow가 평균 점수 +3.95%p, 평균 비용 34% 낮게 앞섬). 경험 기반으로 반복 수정하지만 영속적 탐색 트리는 두지 않는다는 점이 핵심 차이입니다 — 선행 연구 관계.
- Zhang 외(2025, ICLR). AFlow: Automating Agentic Workflow Generation — MCTS를 코드 표현 후보에 적용한 가장 가까운 선행 사례로, HarnessFlow 원문이 직접 "the closest search-based precedent"라고 지목합니다. AFlow는 고정된 연산자 집합으로 짜인 워크플로 배선만 바꾸고 한 번의 모델 호출로 후보를 생성하는 반면, HarnessFlow는 실행 루프·도구 인터페이스까지 포함한 하니스 전체를 코딩 에이전트가 파일 단위로 고쳐 쓴다는 점에서 탐색 대상의 층위가 다릅니다 — 선행 연구 관계.
- Zhang 외(2026). Self-Harness: Harnesses That Improve Themselves — 같은 '자동 하니스 개선' 문제를 정반대 설계로 풉니다. 외부의 더 강한 코딩 에이전트나 탐색 트리 없이, 에이전트 자신이 실패 흔적을 채굴해 소규모 수정을 회귀 검증 후 반영하는 자기개선 루프입니다. Terminal-Bench-2.0에서 세 모델의 통과율을 올렸다고 보고되나(WebSearch로 독립 확인했을 뿐 원문을 직접 열람하지 못해 그 수치는 핵심 결과에 포함하지 않았습니다), HarnessFlow와 같은 벤치마크로 직접 맞붙은 결과는 아닙니다 — 방법 확장(대안적 설계) 관계.
Meta-Harness·AFlow 두 편은 HarnessFlow 원문이 직접 인용·서술한 관계이며, 서지사항을 WebSearch로 교차 확인했습니다. Self-Harness는 WebSearch로만 확인해 수치는 관계 서술에만 쓰고 핵심 결과에는 포함하지 않았습니다. HarnessFlow의 핵심 주장과 상충하는 결과를 보고한 선행 연구는 확인되지 않았습니다.
리뷰어 판단
첫째, 이 논문에서 가장 주목할 숫자는 69.48%가 아니라 $0.232라고 판단합니다. 자동 탐색이 사람보다 정확한 하니스를 찾아낸다는 주장은 이전에도 있었지만, 같은 탐색이 비용까지 낮춘다는 결과는 "자동화는 품질을 얻는 대신 비용을 희생한다"는 통념과 반대입니다. 다만 이 비교는 탐색 자체에 들어간 일회성 평가 비용(15회×5반복×6벤치마크, 결코 작지 않은 모델 호출량)을 제외한 배포 후 비용이라는 점을 본문이 더 두드러지게 밝혔어야 한다고 봅니다.
둘째, Meta-Harness와의 비교가 공정하다는 점이 이 리뷰가 가장 신뢰하는 부분입니다. 같은 코딩 에이전트·같은 초기 하니스·같은 15회 예산을 쓰고 탐색 구조(영속 트리 vs 반복 수정)만 바꿔 비교했기 때문에, +3.95%p 격차는 탐색 알고리즘 설계의 차이로 귀속할 수 있다고 판단합니다. 다만 두 방법 모두 같은 저자 그룹의 재현 구현에 의존하므로, Meta-Harness 원저자가 직접 재현한 결과와는 다를 수 있다는 점은 유보해 둡니다.
실무 적용
- 하니스를 코드로 다루고 버전 비교 가능하게 — 설정 파일이 아니라 전체 실행 코드를 교체 가능한 단위로 관리하면, 자동 탐색이든 수동 개선이든 같은 인프라(버전 비교·롤백)를 재사용할 수 있습니다.
- 평가 예산을 명시적 설계 변수로 — 15회×5반복 같은 탐색 예산은 일회성이지만 공짜가 아닙니다. 배포 후 호출량을 추정해 탐색 비용이 상각될지 먼저 계산합니다.
- 재사용 컴포넌트 라이브러리 먼저 구축 — 라이브러리 유무로 3개 벤치마크 평균이 1.64%p 갈렸습니다. 과거 하니스에서 검증된 조각(재시도 로직, 압축 전략 등)을 재사용 가능한 형태로 모아 두는 작업이 탐색 알고리즘 자체보다 먼저 투자할 가치가 있습니다.
- 자동화 기법을 손 조립 프로덕션 하니스와 나란히 벤치마크 — Claude Code·Codex 같은 실제 쓰는 도구를 비교 기준에서 빼면 "최적화됐다"는 주장이 공허해집니다. 사내 도구 선택에도 같은 기준을 적용합니다.
- 탐색 구조를 과제 유형에 맞춰 선택 — 과거 가지를 되짚어 발전시키는 영속 트리는 비선형적 개선이 쌓이는 과제(SWE-V처럼 단계적 보완이 누적되는 경우)에 유리하다는 시사점을 도구 선택에 반영합니다.
결론
HarnessFlow의 기여는 "하니스 설계를 탐색 문제로 보면 사람보다 낫다"는 단일 주장이 아니라, 그 주장을 손으로 짠 프로덕션 에이전트 4종·경쟁 자동화 기법 1종과 동일 조건에서 검증하고 비용까지 같이 보고했다는 설계에 있습니다. 평균 69.48%·비용 $0.232라는 수치는 탐색 기반 하니스 최적화가 적어도 이 여섯 벤치마크에서는 성능과 비용을 동시에 개선한다는 근거로 유효하지만, 동료심사 전이고 평가 예산이 상당하다는 점, MSRA 교신저자의 이해관계는 감안해야 합니다. 자동으로 진화하는 하니스가 안전 측면에서 어떤 대가를 치르는지는 자기진화 에이전트 하니스의 표면별 승격 게이트 설계에서 더 다룹니다.
참고 링크
- HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents — arXiv 초록(원문)
- 같은 논문 HTML 전문 — 표·수치 대조에 사용
- 자기진화 에이전트 하니스의 표면별 승격 게이트 설계 — sunny34.com 블로그
이 리뷰에 대해 AI와 대화하기
AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…