통과율 82.8%, 결함 재현율 33.8%: Req2Test-Bench로 본 코딩 에이전트 테스트 생성 리뷰

원문 정보

Binhang Qi, Yiming Liu, Yun Lin, Yangjie Zhou, Hailong Sun, Jin Song Dong, "Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements", arXiv:2610.36584 [cs.SE], 2026-10-27 제출, DOI 10.48550/arXiv.2610.36584. 소속: 싱가포르국립대(NUS)·상하이교통대(SJTU)·베이항대(BUAA). 벤치마크 코드·데이터 공개(github.com/code-philia/Req2Test-Bench, huggingface.co/datasets/code-philia/Req2Test-Bench).

동료심사를 거치지 않은 arXiv 프리프린트로, 특정 학회·저널 채택 표기는 없습니다. 저자 전원이 대학 소속(NUS·SJTU·BUAA)이고 평가 대상도 공개 오픈소스 8개 프로젝트라, 기업 자체 시스템을 평가하는 사례에서 흔한 이해상충은 확인되지 않았습니다. 다만 실패 모드 분류에 쓴 LLM 판정자(Claude Opus 5.5)는 저자 소속과 무관한 기업의 모델입니다. 이번 실행 세션은 egress가 전면 차단된 상태였으며(대조군 example.com·arxiv.org 모두 프록시 정책에서 CONNECT 403으로 차단), 원문 전문은 2026-10-29T22:10:13Z 기준 수집된 1차 출처 스냅숏으로 대조했습니다.

연구 개요

연구 질문은 세 가지입니다. ① 에이전트 규모·비용을 늘리면 행동적 적합성(behavioral adequacy)이 비례해서 오르는가, ② 아니라면 무엇이 간극을 만드는가, ③ 그 간극을 좁힐 방향은 무엇인가입니다. 저자들은 행동적 적합성을 "테스트가 요구사항이 명시한 행동을 실제로 실행하고 그 결과를 올바르게 검사하는지"로 정의하고, 이를 킬-완전성(kill-completeness)으로 엄격하게 측정합니다 — 개발자가 작성한 정답 테스트가 잡아내는 돌연변이(코드에 주입한 결함)를 생성된 테스트도 전부 잡아내는지 보는 지표입니다.

Req2Test-Bench는 오픈소스 8개 프로젝트(5개 언어, 4개 BDD 프레임워크)에서 개발자가 작성한 Gherkin 요구사항(Given-When-Then)과 그에 대응하는 정답 테스트 코드를 실행 검증을 거쳐 5,086개 인스턴스로 복원했습니다. 에이전트에게 요구사항, 대상 인터페이스, 그리고 대상 구현부만 가린 뷰(target-hidden)나 전체 구현부를 가린 뷰(all-hidden)를 주고 완전한 테스트 코드를 생성하게 한 뒤, 생성 테스트와 정답 테스트의 API 호출·커버리지·돌연변이 킬을 비교합니다. Aider·OpenHands·Codex CLI·Claude Code에 DeepSeek-V4.1-Flash·GPT-6 계열 모델을 조합한 8개 설정을 평가했습니다.

핵심 결과

target-hidden 뷰 기준 8개 조합의 통과율(Pass@1)과 킬-완전성(KillComplete@1)은 다음과 같습니다(원문 Table 4).

최고 통과율인 Codex/DS(고추론)는 82.8%를 통과했지만 킬-완전은 33.8%에 그쳤고, 완화된 기준(정답 테스트가 잡는 돌연변이의 95% 이상만 잡아도 인정)을 적용해도 53.9%로 Pass@1보다 28.9%p 낮았습니다. 통과율이 가장 낮은 Aider(DS, 추론 off)는 9.7%만 통과했는데, 그중 테스트 파일을 아예 내지 못한 생성이 53.4%였습니다. 전체 구현부를 가린 all-hidden 뷰로 바꾸면 고성능 5개 조합의 Pass@1은 2.5~9.1%p 떨어졌지만 KillComplete@1은 0.1~3.7%p만 떨어져, 주변 구현 코드는 주로 "통과"를 돕고 "결함 재현"에는 크게 기여하지 않았습니다.

비용(원문 Table 5, target-hidden 기준 생성 1회당)은 Codex/GPT-6 Luna 0.039달러부터 Codex/GPT-6 Sol 1.16달러까지 약 30배 차이가 났지만 KillComplete@1과 비례하지 않았습니다.

비용-효과 파레토 선상에는 Codex/Luna·Claude Code/DS·Claude Code/Sonnet 세 조합만 남았고, 가장 비싼 Codex/Sol은 이 중 어느 것보다도 KillComplete@1이 낮았습니다. Codex/Luna에서 Claude Code/DS로 이동하면 비용이 4.0배 늘고 KillComplete@1은 6.1%p 오르지만, 그 이상 비용을 늘려도 측정 가능한 추가 이득은 없었습니다.

신뢰도 평가

믿을 근거는 분명합니다. 5,086개 인스턴스를 8개 프로젝트·5개 언어·4개 BDD 프레임워크에서 실행 검증을 거쳐 복원했고(Test levels C/I/S 588+2,066+2,432=5,086으로 합계가 맞습니다), 돌연변이-정답 테스트 매핑을 양성·음성 실행으로 확인했습니다. 저자 6인 전원이 대학(NUS·SJTU·BUAA) 소속이고 평가 프로젝트도 공개 오픈소스라, 기업 자체 평가에서 흔한 자금·이해상충 문제는 없습니다. 재현성도 일부 확인했습니다 — 5개 조합을 두 번씩 재생성한 결과 개별 판정이 최대 24%(통과)·17%(킬-완전) 뒤바뀌었지만 Pass@1·KillComplete@1 평균은 최대 4.5%p 안에서만 움직였습니다.

감안할 점은 동료심사 전 프리프린트라는 점과, 결함 탐지 지표인 "돌연변이 킬"이 실제 결함 탐지력의 완벽한 대리지표는 아니라는 구성 타당도 한계입니다. 저자들도 이를 인지해 체크 의존적 킬만 세는 보완 분석을 병행했고, 그래도 간극이 24~37%만 줄어 설정 경로 문제만은 아니라는 것을 보였습니다. 8개 프로젝트는 임의 추출이 아니라 목적성 선정(purposive sampling)입니다. 상반 증거로는, 아래 관련 연구의 TestGenEval이 커버리지 기준으로는 더 낙관적인 그림을 보여주는데, 이 논문은 커버리지 자카드 0.9 이상인 통과 테스트 중에서도 17.4~69.7%가 킬-불완전이라는 수치로 그 낙관을 직접 반박합니다.

관련 연구

• Jimenez et al. (2024, ICLR). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — 벤치마크 원전(benchmark-origin). GitHub 이슈 해결을 과제로 삼은 에이전트형 SW 엔지니어링 평가의 원류 벤치마크입니다. 테스트 생성이 아니라 버그 수정 자체를 평가한다는 점에서 다르며, Req2Test-Bench는 같은 "에이전트가 레포지토리를 다룬다"는 설정에서 테스트 생성 축만 분리해 특화했습니다.
• Jain, Synnaeve, Rozière (2025, ICLR). TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark — 선행(prior). SWE-bench 레포에서 테스트 생성을 다루는 가장 가까운 선행 벤치마크로, 커버리지·돌연변이 점수를 보지만 개발자가 쓴 자연어 요구사항과의 대응은 평가하지 않습니다. Req2Test-Bench는 커버리지가 높아도 실제 결함을 재현하지 못하는 테스트가 흔하다는 간극을 요구사항 단위로 드러냈습니다.
• Li et al. (2024). DevBench: A Comprehensive Benchmark for Software Development — 선행(prior, 원문 Table 1에서 직접 비교). 설계·환경설정·구현·인수·단위테스트까지 SW 생명주기 전체를 다루지만, 요구사항 각 항목과 개별 테스트를 실행 검증된 단위로 매핑하지는 않습니다. Req2Test-Bench는 이 공백을 Gherkin Scenario 단위의 매핑으로 메웁니다.

세 선행 연구 모두 "에이전트가 레포지토리 수준에서 코드·테스트를 다룬다"는 전제를 공유하지만, 요구사항과 테스트의 행동적 대응을 정량화한 것은 이번 논문이 처음입니다. TestGenEval이 보여준 커버리지 중심의 비교적 낙관적인 그림은, Req2Test-Bench의 킬-완전성 지표를 적용하면 상당 부분 꺾인다는 것이 이 논문의 핵심 주장입니다.

리뷰어 판단

첫째, 초록의 "82.8% 통과"라는 수치만 보면 코딩 에이전트가 테스트 작성에 이미 쓸 만하다는 인상을 주지만, 실무에 바로 적용하기에는 이르다고 판단합니다. 통과율과 킬-완전성의 격차(82.8% vs 33.8%)는 "테스트가 돌아간다"와 "테스트가 결함을 잡는다"가 전혀 다른 질문이라는 것을 보여주며, CI에서 녹색 체크만 보고 에이전트가 짠 테스트를 신뢰하면 실제로는 세 번에 두 번 결함을 놓칠 위험이 있다는 뜻으로 읽습니다.

둘째, 비용과 성능이 비례하지 않는다는 결과(RQ2)가 이 논문에서 가장 실무적으로 유용한 발견이라고 봅니다. 가장 비싼 조합(Codex/Sol)이 더 싼 조합들보다 오히려 KillComplete@1이 낮았다는 것은, 테스트 생성에 모델을 고를 때 "더 비싼 모델 = 더 안전한 테스트"라는 직관이 이 과제에서는 성립하지 않는다는 근거로 삼을 만합니다.

셋째, 저자들이 5.5절에서 제시한 "프로젝트 지식을 쓰라"는 프롬프트 한 줄의 개선 효과(최대 15.0%p)가 본문에서는 예비 연구로 가볍게 다뤄지는데, 비용 대비 효과가 가장 큰 개입처럼 보입니다. 모델을 바꾸는 것보다 하니스의 프롬프트·컨텍스트 설계를 먼저 손보는 쪽이 투자 대비 수익이 높다는 뜻으로 읽힙니다.

실무 적용

• 통과율과 결함 재현율 분리 집계 — CI 대시보드에 Pass rate만 두지 말고, 가능하면 돌연변이 테스트나 과거 버그로 만든 회귀 스위트로 생성 테스트의 결함 탐지율을 별도로 추적합니다.
• 요구사항에 설정·기대 결과 명시 — 이번 논문의 정보 간극(킬-불완전 테스트의 90~99%)은 요구사항이 "무엇을 어떻게 준비할지"·"무엇까지 검사할지"를 생략한 데서 생겼습니다. 리뷰 체크리스트에 "이 요구사항만 보고 제3자가 같은 테스트를 쓸 수 있는가"를 넣습니다.
• 프로젝트 고유 지식 사용 지시를 먼저 추가 — 모델 업그레이드보다 "프로젝트의 fixture·헬퍼·엔트리포인트를 통해 상태를 구성하라"는 프롬프트 지시의 비용 대비 효과가 이 논문에서는 더 컸습니다.
• 비싼 모델이 곧 안전한 테스트라고 가정하지 않기 — 모델 선택은 비용-효과 파레토 프런티어를 먼저 확인한 뒤로 미룹니다.
• 헤징 패턴 점검 — 느슨한 예외 처리나 폴백으로 "뭐든 통과하는" 테스트가 섞일 수 있어, 코드 리뷰에 이 패턴 탐지를 포함합니다.

결론

Req2Test-Bench의 기여는 "테스트가 통과한다"와 "테스트가 요구사항이 말한 결함을 실제로 잡는다"를 숫자로 분리해 보여준 것입니다. 최고 조합도 통과율의 약 41%만큼만 결함을 재현했고, 그 간극은 비용을 늘려도 거의 좁혀지지 않았습니다. 저자 전원이 대학 소속이고 평가 대상이 공개 오픈소스 프로젝트라는 점에서 이해상충 우려는 적지만, 동료심사 전 프리프린트이고 돌연변이 킬이 실제 결함 탐지력의 완벽한 대리지표는 아니라는 한계는 남습니다. 코딩 에이전트가 짠 테스트를 QA 게이트로 쓰려는 조직이라면, 통과율이 아니라 결함 재현율을 기준으로 삼고 자체 회귀 스위트로 먼저 검증하는 것이 안전합니다. 에이전트가 짠 테스트를 QA 게이트에 들여오는 절차 전반은 IDE 에이전트 테스트가 요구하는 QA 게이트 설계에서 더 다뤘습니다.

참고 링크

• Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용
• 공식 구현·데이터 저장소(GitHub)
• IDE 에이전트 테스트가 요구하는 QA 게이트 설계 — sunny34.com 블로그