정확도 1등이 경제성 꼴찌였다: EcoAgent-Bench 예산 제약 에이전트 리뷰

원문 정보

Jie Wu, Ming Gong, Feixiang Cheng, Qinqin Zhao, "EcoAgent-Bench: Evaluating Economic Decision-Making in Budget-Constrained LLM Agents", arXiv:2608.05519 [cs.AI, cs.CL, cs.LG], 2026-08-06 제출, DOI 10.48550/arXiv.2608.05519. 논문에 저자 소속·연락처 표기 없음.

동료심사를 거치지 않은 프리프린트입니다. 이 리뷰가 확인한 범위에서 저자 소속, 자금 출처, 이해상충 고지, 코드·데이터 공개 문구가 모두 없습니다. 상용 제품(Claude Code, Codex, Gemini)에 순위를 매기는 벤치마크에서 소속과 이해상충이 비공개라는 점은 그 자체로 감점 요인이며, 아래 신뢰도 평가에서 다시 다룹니다.

연구 개요

문제의식은 단순합니다. 에이전트 벤치마크는 대체로 "과제를 풀었는가"만 봅니다. 그런데 실무에서 에이전트는 돈을 쓰면서 과제를 풉니다. 저자들의 질문은 이것입니다 — 정답률만 재는 지표는 항상 가장 비싼 수단을 고르는 전략에 최고점을 주지 않는가.

확인하기 위해 저자들은 모든 과제에 가격표와 명시적 예산을 붙였습니다. 에이전트가 내려야 하는 경제적 판단은 네 종류입니다. ① 값싼 근거로 충분한데 상위 도구를 부르지 않기(과잉 에스컬레이션 억제), ② 값싼 검색으로는 부분적·오도성 근거만 나올 때 반드시 상위 경로로 올리기, ③ 근거는 이미 갖춰졌고 추론 난도만 남았을 때 모델 티어를 고르기, ④ 전제가 틀린 요청에서 지어내지 말고 근거를 모아 기권하기(손절).

과제는 GAIA·HotpotQA·MuSiQue에서 파생한 304개이며, 다섯 계열로 나뉩니다. 평가 대상은 상용 에이전트 7종과, 행동이 고정된 스크립트 통제군 4종입니다. 통제군은 사람의 판단이 아니라 규칙으로 움직이므로, 지표가 어떤 행동에 점수를 주는지 드러내는 리트머스 역할을 합니다.

핵심 장치는 경제성 점수 Econ의 정의입니다. 상향 그룹 222개 과제의 엄격 정확도를 Up, 절약 그룹 82개 과제의 엄격 정확도를 Save라 할 때 Econ = min(Up, Save)입니다. 평균이 아니라 최솟값입니다. 한쪽으로 치우친 전략은 잘하는 쪽 점수가 아무리 높아도 못하는 쪽 점수로 기록됩니다.

핵심 결과

아래 표의 네 지표는 모두 정확도 계열이라 같은 기준에서 비교할 수 있습니다. Micro는 304개 과제를 한 줄로 세워 평균한 통상적 성공률이고, Econ은 위 정의에 따른 최솟값입니다. 비용 단위(Units)는 트랙별로 회계 기준이 달라 이 표에 넣지 않았습니다 — 그 이유는 표 다음에 설명합니다.

가장 먼저 눈에 들어오는 것은 통제군 두 줄입니다. CopilotFirst와 RetryLoop는 무조건 상위 경로로 올리는 고정 전략이라 상향 정확도가 100%이고, 그 덕에 마이크로 성공률이 76.3%·73.0%로 표 전체에서 가장 높습니다. 그런데 절약 그룹에서 각각 12%·0%라 Econ은 12.2%·0.0%로 최하위권입니다. 통상적 성공률 기준의 1·2위가 경제성 기준으로는 꼴찌라는 뜻입니다.

도구 API 트랙의 LLM 세 종은 마이크로 3.9~24.0%, Econ 최대 7.3%에 머물렀습니다. 워크스페이스 CLI 트랙(Econ 44.6~53.6%)과의 격차가 커 보이지만, 두 트랙은 비용 회계 기준이 다릅니다. 도구 API 트랙과 통제군은 공유 행동 원장(action ledger)의 고정 단가를 쓰는 반면, 워크스페이스 에이전트의 Units는 실행 후 소요 시간·수정 파일 수·신규 파일 수로 계산한 사후 프록시(10+0.5T+10M+5N)입니다. 공유 원장의 260단위 리서치 단가를 구현하지도, 어떤 유료 행동을 골랐는지 드러내지도 않습니다. 논문도 선을 긋습니다 — "비교는 동일한 행동과 회계 규칙을 노출하는 인터페이스 안에서만 이뤄져야 하며, 워크스페이스 결과는 판단 국면별 완수도에 대해서는 유익하지만 공유 도구 원장 준수에 대해서는 그렇지 않다." 워크스페이스 Econ은 비용 지표가 아니라 국면 균형 완수도 진단으로만 읽어야 합니다.

신뢰도 평가

믿을 근거는 설계 쪽에 있습니다. 스크립트 통제군을 함께 돌린 것이 이 논문의 방법론적 강점입니다. "지표가 특정 행동을 과대평가한다"는 주장은 모델 성능으로는 증명하기 어렵지만, 행동이 고정된 오라클을 태우면 지표의 성질이 직접 드러납니다. 예산과 가격표를 과제 정의에 넣어 사후 추정이 아닌 사전 제약으로 만든 점, 트랙 간 비교 불가를 저자가 먼저 명시한 점도 신중한 처리입니다.

감안할 점은 적지 않습니다. 저자 소속·자금 출처·이해상충 고지가 전부 없어 상용 제품 순위표의 중립성을 외부에서 검증할 방법이 없습니다. 코드·데이터 공개 문구도 확인되지 않아 재현 경로가 닫혀 있습니다. 논문이 스스로 밝힌 한계도 큽니다 — 과제 현실성에 대한 사람 검토는 304개 중 45개에만 적용됐고, 주 실험은 온도 0의 단발 실행이라 실행 간 분산을 알 수 없습니다. LLM 심판의 보정에 참여한 사람 검토자가 한 명이라 사람–심판 일치도만 추정할 뿐 사람–사람 일치도는 알 수 없고, 표본에서 Sonnet과 GPT-5.4 답변에 심판이 사람보다 12.5%p 높은 긍정률을 보였습니다. 여러 QA 계열에서 "근거 확보"는 인용 구절이 답을 함축한다는 뜻이 아니라 에피소드가 근거에 접근했다는 뜻이며, 손절 채점도 근거 기반 기권을 받아 줍니다.

리뷰어 판단

첫째, 이 논문의 발견을 "에이전트가 예산을 못 지킨다"로 요약하면 핵심을 놓친다고 판단합니다. 진짜 대상은 에이전트가 아니라 지표입니다. RetryLoop는 마이크로 73.0%로 상위권인데 경제성은 0.0%입니다. 성공률 하나로 릴리스 게이트를 세운 팀은, 정의상 가장 비싼 에이전트를 선발하는 장치를 운영하고 있는 셈입니다. 자체 파이프라인에서 지금 쓰는 합격 기준을 이 표에 대입해 보는 것만으로도 값을 합니다.

둘째, Econ = min(Up, Save)는 의도적으로 가혹한 연산자이고 그 방향은 옳다고 봅니다. 상향과 절약은 서로를 상쇄하는 성질이 아니라 둘 다 필요한 성질이기 때문입니다. 다만 최솟값 연산은 약한 쪽 그룹의 표본 크기에 점수 전체가 좌우된다는 취약점을 안습니다. 절약 그룹은 82개, 그중 손절은 10개뿐입니다. 손절 한 문항이 그 계열의 10%p를 움직이므로, 절약 쪽이 낮게 나온 에이전트의 Econ은 신뢰구간을 넓게 잡고 읽어야 합니다.

셋째, 워크스페이스 트랙과 도구 API 트랙의 격차(44.6~53.6% 대 3.6~7.3%)는 이 논문에서 가장 오인용되기 쉬운 숫자라고 판단합니다. "CLI 에이전트가 경제적 판단을 더 잘한다"는 결론은 이 데이터로 내릴 수 없습니다. 가격표가 다르고 워크스페이스 비용은 사후 프록시이며, 저자 스스로 트랙 간 비용·파레토·도구 경제성 주장을 하지 않겠다고 못 박았습니다. 인용하려면 트랙 안에서만 인용해야 합니다.

넷째, 워크스페이스 에이전트들의 비대칭은 그 자체로 운영 신호입니다. 네 에이전트 모두 Save가 Up보다 한참 높습니다(예: Claude Code Opus 4.8은 96% 대 54%). 값싼 근거로 충분할 때 과소비하지 않는 능력은 이미 상당한 반면, 값싼 근거로는 부족하다는 사실을 알아채고 올리는 능력은 절반 근처에 머물러 있습니다. 운영상 손실이 큰 쪽은 후자입니다 — 과잉 호출은 돈으로 끝나지만, 올려야 할 때 올리지 않으면 틀린 답이 사용자에게 나갑니다. 96%라는 바닥보다 54%라는 천장을 먼저 봐야 한다고 판단합니다.

실무 적용

• 합격 기준을 두 방향으로 쪼개기 — 릴리스 게이트를 단일 성공률로 두지 말고, 상향(올려야 할 때 올렸는가)과 절약(안 올려도 될 때 참았는가)을 따로 측정한 뒤 낮은 쪽을 채택합니다. 평균을 쓰면 편향된 전략이 통과합니다.
• 행동 가격표를 코드로 고정 — 검색·상위 도구 호출·모델 티어별 단가를 설정에 명시해, 인터페이스가 달라도 같은 회계 규칙으로 집계되게 합니다. 사후 추정 비용은 지표가 아니라 참고치로만 씁니다.
• 과소 에스컬레이션을 별도 장부로 — 과잉 호출(비용 손실)과 과소 호출(오답 유출)을 하나의 실패율에 합치지 않습니다. 후자의 단가를 금액으로 환산해 두면 티어 정책 논쟁이 짧아집니다.
• 손절 경로 명시 — 전제가 틀린 요청에는 답을 생성하지 않고 근거와 함께 기권하는 경로를 별도로 구현하고, 회귀 세트에 손절 과제를 넣습니다. 이 계열이 없으면 지어내기가 성공으로 집계됩니다.
• 트랙 간 비교 금지 규칙 — 벤더·인터페이스가 다른 수치를 한 표에 올릴 때는 회계 기준이 같은지 먼저 확인하고, 다르면 표를 분리합니다.

결론

EcoAgent-Bench의 기여는 새 에이전트 순위표가 아니라 기존 순위표의 결함을 실증한 데 있습니다. 항상 상위 경로로 올리는 규칙 하나가 마이크로 성공률 76.3%로 표의 정상에 오르는 동안 경제성은 12.2%였다는 대비가 그 증거입니다. 소속·자금·이해상충이 비공개이고 단발 실행이라는 조건은 분명한 약점이므로 절대 수치를 그대로 인용하기보다, 상향과 절약을 나눠 재고 최솟값으로 판정하는 측정 방식을 자체 평가에 옮겨 오는 편이 실익이 큽니다. 의도별로 모델 티어를 나누는 설계는 인텐트 기반 모델 라우팅에서, 비용 자체를 예측·통제하는 쪽은 LLM 비용 예측에서 이어집니다.

참고 링크

• EcoAgent-Bench: Evaluating Economic Decision-Making in Budget-Constrained LLM Agents — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 결과 표·과제 구성·한계 절 대조에 사용
• 인텐트 기반 모델 라우팅 — sunny34.com 블로그