20년을 넘겨야 보이는 것
에이전트 평가는 대개 단일 과제 완료율을 기준으로 삼습니다. 그러나 실제 운영에서는 몇 주가 아니라 수년에 걸친 의사결정 누적이 성과를 가릅니다. 최근 리뷰한 FM-Bench 벤치마크는 16개 구단 리그에서 한 구단을 20년(약 340~400회 의사결정)간 운영하는 과제로 이 격차를 드러냈습니다. 채점은 LLM 심판이나 사람 평가가 아니라 결정론적 엔진이 계산해, 장기 운영 능력을 별도 축으로 다뤄야 한다는 근거를 남겼습니다.
컴퓨팅을 더 써도 오르지 않는 순위
이 벤치마크에서 실무에 가장 바로 적용할 수 있는 결과는 토큰 소비와 점수의 무상관입니다. 모델별 토큰 사용량은 28M~194M로 약 7배 차이가 났지만, 스피어만 상관은 -0.19(세 시드 모두 p>0.38)로 사실상 무관했습니다. 더 오래 생각하거나 더 많이 계산한다고 순위가 오르지 않았고, 무엇을 했는지가 순위를 갈랐습니다. 에이전트 품질 관리를 컴퓨팅 예산이 아니라 행동 지표로 설계해야 한다는 신호입니다.
행동 지표로 보는 장기 실행 에이전트 운영 가이드
장기 실행 에이전트를 투입하기 전에는 완료율이 아니라 행동 지표를 목표로 선언해야 합니다. 벤치마크가 검증한 상관 순위를 보면 엔드게임(마감 임박) 구간의 저수익 투자 축소(스피어만 상관 r_s=-0.58)와 유휴 자원 최소화(r_s=-0.50)가 가장 강한 예측 변수였고 계약 조기 갱신(r_s=+0.45)이 뒤를 이었습니다. 이를 팀 KPI로 옮기면 마감 4주 전부터 저수익 항목 투자 비율을 절반 이하로 줄이고, 유휴 자원(미사용 크레딧·현금) 비율을 10% 이하로 유지하는 수치 목표가 됩니다.
실패는 메모리 정책의 양극단에서 뚜렷했습니다. 이력을 압축 없이 계속 쌓는 누적형(노트북 유사도 0.91)과 매번 통째로 다시 쓰는 재작성형(0.20) 모두 최상위권에 들지 못했고, 1위 모델은 0.39로 중간 지대를 유지했습니다. 메모리 갱신마다 유사도를 로그로 남기고 0.2 미만이거나 0.8 이상으로 벗어나면 정책을 재검토하는 경보 규칙을 두면 이 패턴을 복구 분기로 전환할 수 있습니다.
두 번째 실패 축은 가격 발견 실패입니다. 거래 성사까지 제안한 횟수의 중앙값이 30회(오라클 기준 1회)였습니다. 협상형 도구 호출에는 제안-거절 사이클 상한을 5회 정도로 두고, 초과 시 조건을 자동 재계산하거나 사람 확인을 요청하는 안전 축약 경로를 넣어야 무한 재시도로 예산이 새는 것을 막습니다.
세 번째 축은 경쟁 환경에서의 순위 역전입니다. 고정 상대와 겨루는 솔로 트랙에서 20년 내내 리그 1위를 지킨 상위 모델들도, 다른 에이전트가 적응하는 아레나에서는 19번의 시즌 전환 중 우승 방어가 단 2번에 그쳤습니다. 정적 벤치마크 성적만으로 배포를 확정하면 경쟁자가 반응하는 환경에서 성과가 무너질 수 있으므로, 배포 전 시나리오에 적응하는 경쟁자를 반드시 포함해야 합니다.
운영 체크리스트는 네 항목입니다. 엔드게임 진입 시 투자 축소가 실제로 발생하는지 로그로 확인하고, 유휴 자원 비율을 주기적으로 감사하며, 메모리 유사도가 0.3~0.5 구간을 벗어나는지 표준 로그 필드로 추적합니다. 협상·거래 도구에는 제안 횟수 상한과 계약 조건 마스킹을 배포 전 시나리오 테스트에 포함시킵니다.
처음 이 과제를 플레이한 인간 6명 중 4명은 조기 탈락했고, 완주한 인간 중 성적이 나은 쪽도 15개 모델 순위에서 하위권에 머물렀습니다. 모델이 사람보다 낫다는 결론으로 단순화하기보다, 장기 조직 운영이 언어모델과 사람 모두에게 어려운 별도 역량이라는 신호로 받아들이는 편이 운영 설계에 더 유용합니다. 개선 루프는 완료율보다 이 네 가지 행동 지표의 주별 추이를 우선 검토 대상으로 삼는 편이 유리하며, 메모리 정책 조정과 협상 상한 조정을 별도 변경 로그로 분리해 두면 어느 조정이 성과에 영향을 줬는지 되짚기 쉬워집니다.
바로 쓰는 체크리스트
장기 실행 에이전트의 품질은 토큰 소비량이 아니라 엔드게임 대응·유휴 자원 관리·메모리 큐레이션·협상 상한이라는 행동 지표로 판단해야 합니다. 이 네 지표를 배포 전 체크리스트와 주간 검토 대상에 넣고, 경쟁자가 적응하는 시나리오까지 테스트에 포함시키면 정적 벤치마크 성적이 실제 운영에서도 유지될 가능성이 높아집니다.
참고 링크
FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents — arXiv