원문 정보
Zhiwei Liu, Zhujun Lan, Jielin Qiu, Zixiang Chen, Liangwei Yang, Ming Zhu, Akshara Prabhakar, Wenting Zhao, John Emmons, Jason Wu, Shafiq Rayhan Joty, Junnan Li, Shelby Heinecke, Silvio Savarese, Huan Wang, "EGI-Bench: An Enterprise General Intelligence Benchmark Suite", arXiv:2610.27234 [cs.AI], 2026-10-19 제출, Salesforce AI Research. 코드·벤치마크 CLI 공개(github.com/SalesforceAIResearch/egi-bench), 라이선스 CC BY-NC-SA 4.0. 원문 전문은 2026-10-21T22:08:47Z 기준 1차 출처 스냅숏(세션 egress 전면 차단으로 WebFetch 대신 사용)으로 대조했습니다.
동료심사를 거치지 않은 기술 리포트입니다. 저자 전원이 Salesforce AI Research 소속이며, 평가 대상은 자사 모델이 아니라 GPT·Claude·Gemini 계열 외부 모델 14개입니다. 다만 8개 구성 벤치마크 중 CRMArena·HERB·Benchforce 등 다수가 같은 조직이 이전에 발표한 결과물이어서, 전체 틀을 설계·가중한 쪽과 그 틀을 채운 벤치마크를 만든 쪽이 겹칩니다.
연구 개요
질문은 단순합니다. 엔터프라이즈 환경에 LLM 에이전트를 투입할 때 모델 하나의 성적표를 어떻게 한눈에 볼 것인가입니다. 기존에는 CRM 처리, 문서 검색, 개인정보 QA, 멀티턴 계획, 툴 호출, 장기 조사, 장문 코드 작업을 각각 다른 저장소·실행기·채점 방식의 벤치마크 8개(CRMArena, HERB, PersonaBench, UserBench, MCP-Universe, MCPEval, Benchforce, LoCoBench)로 따로 재야 했습니다.
저자들은 이를 CLI 하나로 묶고, 벤치마크 단위 평균이 아니라 세부 지표(sub-metric) 단위로 6개 축 — M1 과업성과, M2 툴 실행, M3 플래닝, M4 검색근거, M5 안전·거부, M6 엔지니어링 — 에 재배선했습니다. 가중치(28/22/16/14/14/6)는 전문가 판단으로 정했고, quick(180분 예산)·deep(약 12시간) 두 실행 모드를 뒀습니다. 이번 리포트는 quick 모드로 GPT·Claude·Gemini 계열 14개 모델을 비교합니다.
핵심 결과
종합 EGI 점수(0~100)는 gpt-5.5가 65.61로 1위, Claude Sonnet 4.5가 65.25로 근소하게 뒤를 이었습니다. 그러나 축별로 보면 순위가 바뀝니다.
| 모델 | EGI | M1 과업성과 | M2 툴 실행 | M3 플래닝 | M4 검색근거 | M5 안전·거부 | M6 엔지니어링 |
|---|---|---|---|---|---|---|---|
| gpt-5.5 | 65.61 | 82.95 | 79.56 | 30.89 | 54.86 | 63.47 | 56.23 |
| Claude Sonnet 4.5 | 65.25 | 69.89 | 87.17 | 27.48 | 53.04 | 80.28 | 57.34 |
| Gemini 3.1 Pro Prev. | 63.51 | 78.45 | 76.82 | 19.57 | 54.43 | 75.56 | 55.30 |
| Claude Haiku 4.5 | 59.13 | 69.02 | 73.98 | 24.05 | 48.61 | 65.69 | 61.28 |
| GPT-4o mini | 39.56 | 30.91 | 64.45 | 16.66 | 39.33 | 39.17 | 51.14 |
gpt-5.5는 과업성과·플래닝·검색근거 3개 축에서 1위지만, 안전·거부(M5)는 63.47로 Claude Sonnet 4.5의 80.28보다 약 17점 낮습니다(14개 모델 중 5위). 종합 6위인 Claude Haiku 4.5는 엔지니어링 품질(M6) 61.28로 14개 모델 중 최고치를 기록했습니다 — 종합 순위만 보면 드러나지 않는 역전입니다.
- gpt-5.5
- Claude Sonnet 4.5
- Claude Haiku 4.5
출처: 원문 Table 3
표로 보기
| 항목 | gpt-5.5 | Claude Sonnet 4.5 | Claude Haiku 4.5 |
|---|---|---|---|
| M1 과업성과 | 83.0 | 69.9 | 69.0 |
| M2 툴 실행 | 79.6 | 87.2 | 74.0 |
| M3 플래닝 | 30.9 | 27.5 | 24.1 |
| M4 검색근거 | 54.9 | 53.0 | 48.6 |
| M5 안전·거부 | 63.5 | 80.3 | 65.7 |
| M6 엔지니어링 | 56.2 | 57.3 | 61.3 |
M3(플래닝)는 14개 모델 전부 15.68~30.89 구간에 몰려 있어 가장 약한 축으로 공통됩니다. 저자들은 그 원인을 구성 벤치마크 UserBench의 채점 방식으로 지목합니다 — 최종 정답이 아니라 매 턴의 보상을 평균하므로, 잡담을 거쳐 늦게 정답에 도달한 모델이 세 턴 안에 확인 질문 하나로 끝낸 모델보다 낮게 나옵니다. 반대로 M2(툴 실행)는 프런티어 모델 대부분이 70점을 넘는, 가장 안정적인 축입니다. 가중치(0.28/0.22/0.16/0.14/0.14/0.06)로 가중합을 검산하면 gpt-5.5는 82.95×0.28+79.56×0.22+30.89×0.16+54.86×0.14+63.47×0.14+56.23×0.06=65.61로 원문 EGI와 일치하고, Claude Sonnet 4.5도 같은 식으로 65.25가 재현됩니다.
신뢰도 평가
동료심사 전 기술 리포트이며, 이해상충이 뚜렷합니다. 저자 전원이 Salesforce AI Research 소속이고, 8개 구성 벤치마크 중 CRMArena·HERB·Benchforce 등은 같은 조직이 이전에 발표한 것입니다. 평가 틀을 설계·가중한 조직과 그 틀의 상당 부분을 미리 만들어 둔 조직이 같다는 점은, 어떤 역량이 '엔터프라이즈 일반 지능'으로 정의되는지에 자사 벤치마크가 과대표될 위험을 남깁니다. 다만 평가 대상이 자사 모델이 아니라 GPT·Claude·Gemini라는 점은 결과 조작의 직접적 동기를 줄입니다.
저자들이 스스로 밝힌 한계도 분명합니다. quick 모드는 예산 때문에 여러 벤치마크를 부분집합으로 줄여 표본이 작고 신뢰구간이 넓습니다. M1~M6 가중치는 경험적으로 보정되지 않은 전문가 판단치입니다. MCP-Universe 일부 채점은 LLM 심판을 쓰므로 심판 모델이나 버전이 바뀌면 절대 점수가 흔들릴 수 있습니다. EGI는 단일 스칼라라 서로 다른 역량을 한 숫자로 압축하는 한계도 그대로 남습니다.
관련 연구
- Huang 외(2025). CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks — EGI-Bench가 M1·M2 지표의 원천으로 직접 가져다 쓴 8개 벤치마크 중 하나입니다(benchmark-origin). NAACL 2025에서 보고된 원 수치는 ReAct 프롬프팅 기준 성공률 40% 미만, 함수 호출을 더해도 55% 미만으로, EGI의 M1·M2가 왜 낮게 나오는지 설명하는 바닥값입니다.
- Patil 외(2025). The Berkeley Function Calling Leaderboard (BFCL): From Tool Use to Agentic Evaluation of LLMs — 단일·병렬·멀티턴 함수 호출을 AST·실행 기준으로 나눠 채점하는 세분화된 선행 벤치마크입니다(prior). EGI-Bench 저자들도 본문에서 "BFCL의 툴 호출 분류체계가 EGI의 MCP 기반 기여 벤치마크보다 더 정교하다"고 직접 인정합니다.
- Barres 외(2025). τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment — 에이전트와 사용자 양쪽이 동시에 환경을 조작할 수 있는 이중 제어 설정을 평가하며, 단일 제어에서 이중 제어로 바뀌면 성능이 크게 떨어진다고 보고합니다(extension). EGI-Bench에는 이런 다회 시행 신뢰도(pass@k) 신호가 없고, 저자들도 이를 "구체적인 후속 과제"로 명시했습니다.
세 편 모두 EGI-Bench가 자인한 틈을 메웁니다 — CRMArena는 EGI 점수 자체의 재료이고, BFCL과 τ²-Bench는 EGI가 아직 흡수하지 못한 분류 깊이와 다회 시행 신뢰도를 각각 보여 줍니다. 이번 리포트의 M2·M3 수치가 낮다고 해서 과소평가된 것이 아니라, 애초에 어려운 축(M3)과 아직 세분화되지 않은 축(M2 내 MCP 세부)이 섞여 있다는 뜻입니다.
리뷰어 판단
첫째, 종합 EGI 순위를 그대로 도입 기준으로 쓰면 안전성에서 손해를 볼 수 있다고 판단합니다. gpt-5.5와 Claude Sonnet 4.5의 EGI 차이는 0.36점에 불과하지만 M5(안전·거부)는 17점 가깝게 벌어집니다. 거부·탈옥 저항이 중요한 업무(상담·내부 데이터 접근)라면 종합 1위가 아니라 M5 1위를 기준으로 모델을 고르는 편이 합리적이라고 봅니다.
둘째, Claude Haiku 4.5의 M6(엔지니어링) 1위는 이 리포트에서 가장 실무적으로 유용한 신호라고 판단합니다. 종합 순위 6위인 모델이 코드 품질 축에서 14개 모델 전체를 앞선다는 것은, 비용 효율 모델을 코드 생성 보조 역할에 먼저 배치해 볼 근거가 됩니다. 다만 M6 채점이 LLM 심판 루브릭 기반이라 "정답 일치"가 아니라 "그럴듯함"에 가산점을 줄 수 있다는 저자들의 경고는 그대로 받아들여야 합니다.
실무 적용
- 단일 스칼라로 도입 결정 금지 — EGI 종합 점수가 아니라 업무에 필요한 M1~M6 개별 축으로 모델을 고릅니다.
- 안전 민감 업무는 M5 우선 — 상담·내부 데이터 접근처럼 거부·탈옥 저항이 중요한 업무는 종합 순위보다 M5 점수를 1차 기준으로 둡니다.
- 플래닝 축은 벤치마크 구조적 한계로 이해 — M3 저점을 모델 결함으로 단정하지 말고, 멀티턴 보상 평균 방식의 영향을 먼저 분리합니다.
- quick 모드 결과는 방향 신호로만 — 표본이 작아 신뢰구간이 넓으므로, 실제 배치 결정 전에는 deep 모드나 자체 과제로 재확인합니다.
- 벤치마크 출처의 조직적 중복 점검 — 평가 틀을 설계한 조직과 구성 벤치마크를 만든 조직이 같을 때는, 가중치가 특정 역량을 과대표하지 않는지 별도로 확인합니다.
결론
EGI-Bench의 기여는 새 벤치마크가 아니라 여덟 개를 하나의 실행기와 여섯 개 축으로 재배선한 정리 작업입니다. 그 결과 종합 1위만 봐서는 안전성·엔지니어링 품질에서 생기는 역전을 놓친다는 사실이 드러났습니다. 다만 평가 틀 설계자와 구성 벤치마크 제작자가 같은 조직이라는 이해상충, 그리고 quick 모드의 작은 표본 크기는 이번 수치를 최종 서열이 아니라 축별 비교의 출발점으로 읽어야 할 이유입니다. 완료율과 안전 실패가 함께 움직인다는 관찰은 자기진화 에이전트 하니스의 표면별 승격 게이트에서도 이어집니다.
참고 링크
- EGI-Bench: An Enterprise General Intelligence Benchmark Suite — arXiv 초록(원문)
- 같은 논문 HTML 전문 — 표·수치 대조에 사용
- CRMArena — arXiv:2411.02305
- τ²-Bench — arXiv:2506.07982
- 자기진화 에이전트 하니스의 표면별 승격 게이트 — sunny34.com 블로그
이 리뷰에 대해 AI와 대화하기
AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…