합격 기준이 비용을 못 보면 생기는 일
에이전트 성능 점검은 대개 한 줄로 끝납니다. 회귀 세트를 돌리고 성공률이 기준선을 넘으면 통과. 문제는 이 기준이 어떤 행동에 점수를 주는지 아무도 확인하지 않는다는 데 있습니다. 값싼 검색으로 충분한 질문에도 무조건 상위 도구를 호출하는 에이전트는 정답을 더 많이 맞힙니다. 성공률 하나만 보는 게이트는 그 에이전트를 1등으로 뽑습니다.
2026년 8월 6일 공개된 EcoAgent-Bench는 이 구조를 실험으로 드러냈습니다. 모든 과제에 가격표와 예산을 붙인 304개 세트에서, 무조건 상위 경로로 올리는 고정 규칙 두 개가 과제 평균 성공률 76.3%와 73.0%로 표 전체 1·2위를 차지했습니다. 같은 두 규칙의 경제성 점수는 12.2%와 0.0%로 최하위였습니다. 사람이 만든 에이전트가 아니라 규칙이 1등을 했다는 점이 핵심입니다. 지표가 그 행동을 선호한다는 뜻이기 때문입니다.
두 방향으로 쪼개고, 낮은 쪽을 쓴다
대안은 단순합니다. 점검 세트를 두 방향으로 나눕니다. 올려야 할 때 올렸는가(상향), 안 올려도 될 때 참았는가(절약). EcoAgent-Bench는 304개 과제를 상향 222개·절약 82개로 나눈 뒤 경제성 점수를 두 방향 정확도의 평균이 아니라 최솟값으로 정의했습니다. 한쪽으로 치우친 전략은 잘하는 쪽 점수를 잃고 못하는 쪽 점수로 기록됩니다.
최솟값을 쓰는 이유는 두 능력이 서로를 상쇄하지 않기 때문입니다. 비용은 아끼는데 필요한 순간 상위 경로로 올리지 못하는 에이전트는 틀린 답을 싸게 내보낼 뿐입니다. 평균을 쓰면 이 두 실패가 서로를 가려 줍니다.
기획부터 개선까지: 비용 축을 포함한 성능 점검 루프
기획 단계에서 정할 것은 목표 수치 하나가 아니라 셋입니다. 상향 목표, 절약 목표, 그리고 둘 중 낮은 값으로 계산한 합격선. 처음 도입한다면 상향·절약 각 80%, 경제성 75%를 출발선으로 잡고 분기마다 조정하는 방식이 무난합니다. 회귀 세트 구성 비율도 함께 고정합니다. 원 벤치마크의 상향 대 절약 비율은 약 73 대 27이며, 절약 계열이 전체의 4분의 1 아래로 떨어지면 과잉 호출을 잡아낼 힘이 사라집니다.
다음은 가격표입니다. 검색 호출, 상위 도구 호출, 모델 티어별 단가를 설정 파일에 명시해 실행 로그가 같은 회계 규칙으로 집계되게 합니다. EcoAgent-Bench도 워크스페이스 CLI 트랙의 비용만은 공유 원장이 아니라 실행 시간·파일 변경 수로 계산한 사후 프록시로 잡았고, 논문은 그 때문에 트랙 간 비용 비교를 하지 않겠다고 명시했습니다. 회계 기준이 다른 숫자는 표를 분리하는 것이 원칙입니다.
실패 패턴의 첫째는 앞서 본 상시 에스컬레이션입니다. 증상은 성공률과 청구서가 함께 오르는 것이고, 원인은 절약 계열 과제가 회귀 세트에 없다는 것입니다. 복구는 값싼 근거로 충분한 질문 묶음을 만들어 세트에 넣고, 상위 도구를 부른 순간을 실패로 채점하는 것입니다. 정답 여부만 보면 이 패턴은 영원히 잡히지 않습니다.
둘째는 손절 경로의 부재입니다. 전제가 틀린 질문에 답을 지어내면 채점기는 실패로 잡지만, 근거를 모아 기권하는 경로가 없으면 팀은 그 실패를 모델 능력 문제로 오해합니다. 복구는 기권을 정상 종료 경로로 구현하고 손절 과제를 회귀 세트에 넣는 것입니다. 다만 이 계열은 문항 수가 적어지기 쉬워 표본 크기를 함께 관리해야 합니다. 원 논문의 손절 계열은 10문항뿐이어서 한 문항이 그 계열 점수를 10%p 움직입니다.
셋째는 과잉 호출과 과소 호출을 하나의 실패율로 합치는 것입니다. 둘은 손실의 종류가 다릅니다. 과잉 호출은 돈으로 끝나지만, 올려야 할 때 올리지 않으면 틀린 답이 사용자에게 나갑니다. 실제로 EcoAgent-Bench의 워크스페이스 에이전트들은 절약 방향이 74~96%인 반면 상향 방향은 45~54%에 머물렀습니다. 아끼는 능력은 갖췄고 올릴 때를 아는 능력이 절반 근처라는 뜻이며, 운영상 더 급한 쪽은 후자입니다.
운영 체크리스트는 네 줄이면 충분합니다. 티어별 호출 단가를 하나의 대시보드에 모을 것, 과잉·과소 호출을 별도 장부로 집계할 것, 점검은 단발 실행 대신 반복 실행 후 분산까지 기록할 것, LLM 채점기를 쓴다면 사람 표본과 정기적으로 대조할 것. 마지막 항목은 형식적인 조항이 아닙니다. 원 논문에서도 채점기가 사람보다 12.5%p 높은 긍정률을 보인 구간이 있었습니다.
지속 개선 루프는 경제성 점수를 주간으로 추적하는 데서 시작합니다. 이 점수는 최솟값이라 항상 약한 쪽을 가리키므로, 다음 스프린트에 추가할 회귀 과제를 지표가 스스로 알려 줍니다. 상향이 낮으면 근거 부족을 판별하는 과제를, 절약이 낮으면 값싼 근거로 충분한 과제를 늘립니다. 이 순환이 돌면 성능 점검은 합격 도장이 아니라 다음 작업 목록을 만들어 내는 장치가 됩니다.
바로 쓰는 체크리스트
성능 점검을 성공률 하나로 운영하면 가장 비싼 에이전트가 합격합니다. 점검 세트를 상향과 절약 두 방향으로 나누고, 각 방향 정확도를 따로 재고, 합격은 둘 중 낮은 값으로 판정하십시오. 행동 단가를 설정에 고정해 회계 기준을 통일하고, 회계 기준이 다른 숫자는 같은 표에 올리지 않습니다. 절약 계열과 손절 계열을 회귀 세트에 반드시 포함하되 표본 크기를 함께 관리하고, 과잉 호출과 과소 호출은 끝까지 다른 장부로 봅니다.
참고 링크
같은 논문 HTML 전문 — 결과 표·과제 구성 확인에 사용
정확도 1등이 경제성 꼴찌였다: EcoAgent-Bench 예산 제약 에이전트 리뷰 — sunny34.com 리서치 리뷰(수치 원문 대조)