원문 정보
Dipin Khati, Shubham Mehrotra, Bin Bi, Zhou Yu, Denys Poshyvanyk, James Zhu, Sitaram Asur, Phil L. Mui, "AgentScript-Eval: Benchmarking LLMs and Agents for Code Generation in an Enterprise DSL", arXiv:2611.13183 [cs.SE], 2026-11-09 제출, DOI 10.48550/arXiv.2611.13183. 2nd Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks(AABA4ET), NeurIPS 2026 워크숍 논문. 소속: Salesforce(교신 저자 다수), William & Mary(제1저자 포함 2명 — 제1저자는 Salesforce 인턴십 기간 중 연구 수행).
본 학회 심사를 거친 논문이 아니라 NeurIPS 2026의 한 워크숍(AABA4ET)에 제출된 워크숍 논문이자 동료심사 전 arXiv 프리프린트입니다. 워크숍 제출물은 통상 본 트랙보다 심사가 가볍습니다. 이해상충은 뚜렷합니다 — 평가 대상 DSL(AgentScript)과 그것이 속한 플랫폼(Agentforce)이 모두 저자 대다수가 소속된 Salesforce의 자사 제품이고, 제1저자도 그 회사 인턴십 중에 연구를 수행했습니다. 다만 결과 자체는 자사에 유리한 방향이 아닙니다 — 비교한 다섯 모델 중 Salesforce가 만든 모델은 없고, 최고 성능도 pass@3 25.0%에 그쳐 자사 DSL이 현재 LLM에게 얼마나 다루기 어려운지를 드러내는 쪽입니다. 원문에서 별도의 자금 출처 공시(Acknowledgements)는 확인되지 않았습니다. 원문 전문은 docs/research-authoring/snapshots/2026-11-13 폴더의 1차 출처 HTML 사본(2026-11-12T22:07:46Z 수집)으로 대조했습니다.
연구 개요
질문은 두 갈래입니다. LLM의 코드 생성 능력이 HumanEval·SWE-bench 같은 공개 벤치마크에서 포화에 가깝다는 결과가, 사전학습 데이터에 거의 없는 엔터프라이즈 전용 DSL에도 적용되는가. 적용되지 않는다면 무엇으로 복구할 수 있는가.
저자들은 Salesforce Agentforce의 대화형 에이전트를 선언적으로 기술하는 DSL인 AgentScript를 대상으로 AgentScript-Eval을 구축했습니다. 실제 에이전트 개발 작업에서 뽑은 100개 과제로, 명세로부터 에이전트를 작성(30개)·망가진 정의를 디버깅(40개)·동작하는 에이전트를 최적화(30개)하는 세 범주로 나뉩니다. 채점은 텍스트 유사도가 아니라 실행 기반입니다 — 생성된 프로그램을 컴파일하고, 컴파일되면 멀티턴 대화 시나리오로 실제 실행해 기대한 행동·상태·응답을 모두 충족해야 통과로 집계합니다(과제 단위 전부-혹은-전무). 다섯 모델(프런티어 호스팅 3종, 소형 호스팅 1종, 오픈웨이트 1종)을 일곱 가지 생성 구성 — 직접 생성, 에이전틱 컴파일-수정 루프, 세 가지 버전의 도메인 스킬팩, 대안 플랫폼 CLI — 에 걸쳐 평가했습니다.
핵심 결과
직접 생성(zero-shot, pass@3 기준)에서는 모델 규모·가격이 성능 순서를 설명하지 못했습니다.
| 모델 | pass@3 | 컴파일률 | pass rate | 토큰/과제 |
|---|---|---|---|---|
| Claude Opus 4.8 | 25.0% | 38.0% | 31.3% | 9.9k |
| GPT-5.5 | 20.0% | 38.0% | 29.1% | 9.5k |
| Gemma-4 31B IT(오픈웨이트) | 15.0% | 48.0% | 28.1% | 7.0k |
| GPT-5 mini | 14.0% | 32.0% | 20.9% | 9.2k |
| Claude Sonnet 5 | 14.0% | 21.0% | 17.4% | 8.2k |
출처: 원문 Table 1(직접 생성, zero-shot, k=3). pass@3은 같은 생성 프로그램을 3회 실행해 하나라도 전부 통과하면 성공으로 집계한 값이고, pass rate는 과제별 체크 통과 비율의 평균(부분 점수)입니다.
31B 오픈웨이트 모델 Gemma-4가 어떤 프런티어 모델보다도 높은 컴파일률(48.0%)을 가장 낮은 토큰 비용으로 기록했고, pass rate(28.1%)도 최고치(31.3%)에 3%p차로 붙어 있습니다. 반대로 Sonnet 5는 호스팅 모델 중 컴파일률·pass rate 모두 더 작은 GPT-5 mini보다 낮습니다 — 가장 비싼 모델을 기본값으로 쓰는 선택이 이 구간에서는 근거가 약합니다.
에이전트에게 컴파일러를 쥐여주고 반복시키는 구성(k=1 기준, pass@1)에서는 스킬팩을 "어떻게 전달하느냐"가 아니라 "무엇을 담았느냐"가 성패를 갈랐습니다.
| 구성 (Claude Opus 4.8) | pass@1 | 컴파일률 | pass rate | 토큰/과제 |
|---|---|---|---|---|
| 베이스라인(스킬 없음) | 33.0% | 64.0% | 46.5% | 835k |
| 스킬 v1(정적 문서) | 28.0% | 89.0% | 51.5% | 480k |
| 스킬 v2(실행형 플러그인) | 14.0% | 86.0% | 43.6% | 389k |
| 스킬 v3(v2 + 작성 스킬 안내문만 재작성) | 37.0% | 98.0% | 61.1% | 440k |
| afcode(최소 툴셋 CLI) | 21.0% | 89.0% | 45.3% | 293k |
출처: 원문 Table 1 하단(에이전틱, Claude Opus 4.8, k=1). zero-shot 표의 pass@3과는 k가 달라 직접 비교할 수 없고(원문 Appendix D), "에이전틱 루프 도입"의 효과만 같은 k=1 안에서 비교해야 합니다.
v1(정적 문서)에서 v2(실제 작동하는 플러그인)로 바꾸면 전달 방식과 스킬 묶음 구성이 동시에 달라져 성능이 28.0%에서 14.0%로 오히려 떨어졌습니다. v3는 v2의 플러그인·40개 스킬 목록·도구 정책을 그대로 둔 채 "작성" 스킬 하나의 안내문만 830줄에서 461줄로 줄여 점진적 공개 구조로 재작성한 결과입니다 — 이 한 가지 변경으로 37.0%(+23점, 원문 최고 수치)·컴파일률 98.0%까지 올랐습니다. 저자들은 이로써 "패키징이 아니라 안내문 밀도"가 원인이라고 결론짓습니다.
다만 이 결론은 Opus 4.8에 한정됩니다. 원문 Appendix E의 Sonnet 5 결과를 보면 순서가 달라집니다.
| 구성 (Claude Sonnet 5) | pass@1 | 컴파일률 | pass rate |
|---|---|---|---|
| 베이스라인(스킬 없음) | 20.0% | 65.0% | 40.4% |
| 스킬 v1(정적 문서) | 27.0% | 79.0% | 43.7% |
| 스킬 v2(실행형 플러그인) | 16.0% | 62.0% | 29.4% |
| 스킬 v3(안내문 재작성) | 23.0% | 91.0% | 49.5% |
| afcode(최소 툴셋 CLI) | 28.0% | 79.0% | 52.7% |
출처: 원문 Table 4(Appendix E). Opus 행은 위 표와 같은 수치입니다.
범주별로는(원문 Table 5, Opus 기준) 과제 성격에 따른 격차가 가장 뚜렷합니다 — 작성(authoring) 과제는 zero-shot에서 전 모델 0.0%였고, 어떤 에이전틱 구성으로도 16.7%를 넘지 못했습니다. 반면 최적화(optimization)는 zero-shot에서도 이미 53.3%였습니다. 디버깅·최적화는 기존 프로그램을 스캐폴드로 받지만 작성은 그렇지 않다는 구조적 차이가 이 격차의 원인으로 보입니다.
신뢰도 평가
믿을 근거 — 텍스트 유사도가 아니라 컴파일·실행 기반으로 채점해 표면적 일치를 성공으로 잘못 세지 않습니다. 같은 100개 과제·같은 체크를 7개 구성·5개 모델에 동일하게 적용한 통제 비교이며, v2→v3 비교는 플러그인·스킬 목록·도구 정책을 전부 고정하고 한 스킬의 안내문만 바꿔 "패키징이 아니라 내용"이라는 인과를 좁혀서 보여줍니다. 디버깅 과제는 결함 유형·위치·의도된 수정을 미리 기록해 둔 상태에서 주입됐습니다.
감안할 점 — 워크숍 논문·동료심사 전 상태이고, 평가 대상 DSL이 저자 다수의 자사 제품이라는 이해상충이 있습니다. 직접 생성은 pass@3로 변동성을 어느 정도 반영하지만 에이전틱 구성은 과제당 1회(pass@1)만 평가돼 분산 추정치가 없고, 신뢰구간이나 유의성 검정도 보고되지 않습니다. 스킬팩 실험은 Opus 4.8을 중심으로 설계·서술되고 Sonnet 5는 부록 표로만 보조 확인되는데, 위에서 봤듯 두 모델의 결과가 서로 다른 방향을 가리킵니다 — 이 결론을 일반화하면 안 된다는 신호입니다. 벤치마크는 100개 과제로 구성이 작고(작성 30·디버깅 40·최적화 30), 단일 사설 DSL에 한정돼 다른 엔터프라이즈 DSL로의 일반화는 검증되지 않았습니다. 다만 "LLM이 공개 언어에서는 코드 생성을 잘한다"는 결과와 정면으로 상반되는 선행 연구는 확인되지 않았습니다 — 오히려 이 논문은 그 전제가 비공개 DSL에는 적용되지 않는다는 쪽을 보입니다.
관련 연구
- Yu 외(2018, EMNLP 2018). Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task — AgentScript-Eval 원문이 "공개되고 사전학습 데이터에 풍부한 DSL"의 대표 사례(text-to-SQL)로 직접 인용한 선행 벤치마크입니다. Spider는 모델이 어느 정도 익숙한 SQL을 다루지만 AgentScript-Eval은 사전학습 데이터에 전혀 없는 사설 DSL을 다룬다는 점이 대조축입니다 — 선행 연구 관계.
- Jimenez 외(2023, ICLR 2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — AgentScript-Eval 원문이 "프런티어 모델이 실제 깃허브 이슈를 상당 부분 해결한다"는 서술의 근거로 직접 인용한 범용 코드 에이전트 벤치마크입니다. 공개 언어(Python 등)에서의 성공이 비공개 엔터프라이즈 DSL로는 그대로 전이되지 않음을 보여주는 대조축으로 쓰입니다 — 선행 연구 관계.
- Chen 외(2026). SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior — AgentScript-Eval 원문이 인용하지 않은 문헌으로, WebSearch로 독립 식별·확인했습니다(세션 egress 차단으로 원문 전문 재열람은 못했고, 아래 수치는 핵심 결과에는 반영하지 않고 관계 서술에만 사용합니다). 82개 과제로 스킬 구조의 점진적 공개(root 파일을 짧게 두고 세부는 필요할 때 불러오기)가 구현·점검·수복 과제에서는 돕지만 정확한 출력 규약·수치 임계값이 성패를 가르는 과제에서는 약하다고 보고합니다. AgentScript-Eval의 v3(점진적 공개로 재작성)가 Opus에서는 최고치를 냈지만 수치·상태 정밀도가 중요한 디버깅·최적화에서는 이득이 상대적으로 작았던 양상과 같은 방향의 조건부 결론으로 읽힙니다 — 방법 확장 관계.
리뷰어 판단
첫째, 이 논문의 간판 수치(안내문 재작성으로 37.0%, +23점)는 Opus 4.8 한정 결과라고 판단합니다. 같은 변경을 Sonnet 5에 적용하면 23.0%로, 패키징만 바꾼 v1(27.0%)보다도 낮습니다. 심지어 스킬팩을 아예 쓰지 않은 afcode(28.0%)가 Sonnet 5에서는 모든 스킬팩 버전을 능가했습니다(원문 Table 4). "안내문 작성 방식이 패키징보다 중요하다"는 명제 자체는 설득력 있지만, "이렇게 재작성하면 좋아진다"는 처방을 모델 불문 일반 규칙으로 옮기면 과도한 일반화입니다.
둘째, 토큰 비용 대비 수확 관점에서 보면 v2가 가장 뼈아픈 사례입니다. 베이스라인보다 토큰을 절반 가까이(835k→389k) 줄였는데 pass@1도 33.0%에서 14.0%로 같이 떨어졌습니다 — 비용과 성능이 같은 방향으로 움직이지 않는다는 것은 알았지만, 둘 다 나빠지는 구성도 실재한다는 뜻입니다. 스킬팩을 도입할 때 컴파일률만 보고 판단하면(v2도 86.0%로 높습니다) 이런 역행을 놓칩니다.
셋째, 작성 과제가 모든 구성에서 16.7%를 넘지 못한 것은 "LLM이 코드를 잘 쓴다"는 평판이 실제로는 상당 부분 "이미 있는 코드를 고치는 능력"에 의존한다는 뜻으로 읽힙니다. 엔터프라이즈 DSL의 신규 자동화를 처음부터 맡기기보다는, 뼈대는 사람이 짜고 에이전트가 다듬는 분업이 현재 수준에서는 더 현실적이라고 판단합니다.
실무 적용
- 작성과 수정을 다른 신뢰도로 다루기 — authoring 0%대·optimization 40~60%대라는 구조적 격차를 반영해, 신규 DSL 자동화는 사람이 뼈대를 주고 에이전트가 수정·최적화하는 분업으로 설계합니다.
- 스킬팩은 배포 전 A/B로 검증 — v1→v2(패키징만 바꿔 역행)→v3(안내문 재작성으로 회복) 사례처럼, 같은 스킬 묶음도 전달 방식에 따라 성능이 뒤집힐 수 있으므로 자체 과제로 먼저 비교합니다.
- 모델별로 따로 튜닝 — Opus에서 최선이었던 v3 구성이 Sonnet에서는 오히려 더 나빴듯, 스킬팩·하니스 설계는 모델마다 독립적으로 검증합니다.
- 컴파일률과 행동 정확도를 분리 집계 — v2는 컴파일률 86.0%로 높아 보이지만 pass rate는 베이스라인보다 낮습니다. 컴파일 성공을 품질 지표로 쓰지 않습니다.
- 저비용 오픈웨이트 모델도 1차 후보에 포함 — Gemma-4 31B가 최저 비용으로 컴파일률 1위를 기록했으므로, 가장 비싼 모델을 기본값으로 두기 전에 비용 대비 성능을 실측합니다.
결론
AgentScript-Eval의 기여는 "LLM 코드 생성이 포화에 가깝다"는 통념이 사전학습 데이터가 없는 사설 엔터프라이즈 DSL에는 적용되지 않음을 실행 기반 채점으로 보인 데 있습니다. 최고 모델도 pass@3 25.0%, 작성 과제는 전원 0%였고, 에이전틱 루프와 스킬 안내문 재작성이 가장 큰 개선을 가져왔습니다. 다만 그 개선은 모델마다 다르게 작동했습니다 — Opus에서 최고치를 만든 설계가 Sonnet에서는 오히려 역행했습니다. 워크숍 논문·동료심사 전·자사 DSL 평가라는 조건은 그대로 남아 있어, 수치는 방향 신호로 받아들이고 도입 전 자체 비교가 필요합니다. 컴파일은 되지만 행동이 어긋나는 코드를 머지 전에 걸러내는 운영 설계는 코딩 에이전트 완전통과율 게이트 설계 체크리스트에서 더 다룹니다.
참고 링크
- AgentScript-Eval: Benchmarking LLMs and Agents for Code Generation in an Enterprise DSL — arXiv 초록(원문)
- 같은 논문 HTML 전문 — 표·수치 대조에 사용
- 코딩 에이전트 완전통과율 게이트 설계 체크리스트 — sunny34.com 블로그
이 리뷰에 대해 AI와 대화하기
AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…