요구사항 69.9% 채워도 완전 통과는 26.4% — Co-Design Bench 코딩 에이전트 리뷰

원문 정보

Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li, Ziyu Liu, Yuhang Zang, Weixiang Yu, Cheng Lu, Chonggao Sun, Tong Zhou, Dahua Lin, Hang Zhang, Shuai Bai, "Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models", arXiv:2610.35138 [cs.AI], 2026-10-26 제출. 소속: 푸단대학교, 알리바바 그룹(Alibaba Token Hub), 저장대학교, 홍콩중문대학교, 상하이교통대학교, 난양공과대학교. 프로젝트 페이지 공개(codesignbench.github.io), 라이선스 CC BY-NC-SA 4.0.

동료심사를 거치지 않은 프리프린트입니다. 교신저자 3명을 포함해 저자 다수가 알리바바 그룹 소속이라는 이해상충이 있습니다. 다만 벤치마크 종합 1위는 알리바바 모델이 아닌 OpenAI의 gpt-6-astra였고, 자사 모델(Qwen3.8-max-0902·Qwen3.8-27B)은 종합 3·4위에 머물렀습니다 — 자사 모델을 띄우려는 유인이 결과를 바꾸지는 않은 것으로 보입니다.

연구 개요

질문은 두 가지입니다. 실제 사용자가 생산 코딩 세션에서 요청한 복합 수정(멀티모달 로컬 편집 + 저장소 전반의 기능 변경)을 에이전트가 얼마나 완전하게 끝내는지, 그리고 "요구사항 일부 충족"과 "과제 완전 통과"가 실제로 얼마나 다른지입니다. 데이터는 39,325개 프로덕션 쿼리에서 중복 제거한 37,463개를 26,314개의 실제 코딩 세션에서 추출해 구성하고, 빌드·Playwright 렌더링 검증을 통과한 것만 남겨 최종 273개 과제(멀티모달 편집 ME 100개 + 저장소 편집 RE 173개)와 2,331개(ME 553개·RE 1,778개) 숨겨진 전문가 작성 채점 기준으로 압축했습니다.

평가는 "judge-then-refute" 프로토콜을 씁니다. 1차로 소스 코드·렌더링 결과·Playwright 행동 기록을 근거로 Pass/Partial/Fail을 매기고, 2차로 별도 LLM 검증자가 그 긍정 판정에 이의를 제기해 스텁·하드코딩·도달 불가능한 기능·요구사항 불일치를 점검합니다. 시각적 주장은 스크린샷, 상호작용 주장은 기록된 브라우저 행동이 반드시 뒤따라야 하며 증거가 없으면 집계 전에 평가를 중단합니다. 소스 코드에 기능이 있다는 사실만으로는 사용자가 실제로 그 기능에 도달해 올바르게 작동시킬 수 있는지 보장하지 못한다는 문제의식입니다. 프런트엔드 전문가 2명이 200개 과제-모델 출력을 추가로 재검토했습니다. 10개 모델 엔드포인트를 Claude Code 하니스로 통일해 평가했고(3시간·120턴 제한), 모델-과제 쌍은 2,730개(ME 1,000 + RE 1,730)입니다.

핵심 결과

세 지표를 구분해야 합니다. 엄격 완료율(R̄)은 과제별로 통과한 기준의 비율을 평균한 값, 그레이디드 완료율(Ḇ)은 부분 점수(Partial=0.5)를 반영한 값, 전체통과율(F)은 모든 기준을 통과한 과제의 비율입니다. 정의상 F ≤ R̄ ≤ Ḇ입니다.

최고 모델(gpt-6-astra)을 트랙별로 나누면 ME에서 R̄ 75.4%·F 41.0%, RE에서 R̄ 66.7%·F 17.9%입니다 — 273개 과제 중 73.6%에는 적어도 하나의 미해결 기준이 남는다는 뜻입니다. 종합 순위와 트랙별 순위도 엇갈립니다. Qwen3.8-27B는 종합 4위(R̄ 64.4%)지만 RE 트랙만 보면 R̄ 64.5%로 opus-5(64.2%)를 앞서 2위입니다.

편집 범위가 1~2종류에서 3~4종류로 늘면 R̄은 6.3%p 떨어지지만(65.4%→59.1%) F는 9.1%→9.7%로 거의 그대로입니다. 대신 제로통과율(한 기준도 못 맞힌 과제 비율)이 0.9%→5.8%로 치솟습니다 — 난이도가 올라가면 "완전 성공" 비율은 안정적인 대신 "완전 실패" 비율이 커지는 양극화가 나타납니다. 첨부 모달리티별로도 격차가 있습니다 — 문서 첨부 과제는 요구사항 커버리지는 모달리티 중 가장 높지만(R̄ 65.2%) 완전통과율은 18.2%로 텍스트 전용 과제의 37.0%보다 낮습니다.

저자들은 별도 보조 실험(부록 A)으로 Co-Design Bench 자체가 아니라 기존 벤치마크 WebCompass-edit의 150개 과제에서 같은 모델(qwen3.7-plus)을 단일 응답과 에이전틱 실행으로 각각 돌려 비교했습니다. 기준이 다른 수치이므로 위 표와 나란히 두지 않습니다.

같은 150개 과제에서 opus-4-8을 에이전틱으로 돌린 결과는 99.4%로 보고되지만, 이는 다른 모델의 별도 수치일 뿐 통제된 쌍대 비교가 아니라는 점을 저자들도 명시합니다 — qwen3.7-plus의 73.6%→95.1%와 같은 선상에서 비교할 수 없습니다.

신뢰도 평가

동료심사 전 프리프린트이며, 교신저자 전원과 1저자를 포함한 다수가 알리바바 그룹(Alibaba Token Hub) 소속이라는 이해상충이 있습니다. 평가 대상 10개 모델 중 2개(qwen3.8-max-0902·qwen3.8-27b)와 보조 실험에 쓰인 qwen3.7-plus도 알리바바 계열입니다. 자금 출처나 외부 후원에 대한 별도 명시는 없습니다. 다만 자사 모델이 1위를 차지하지 못했다는 점, 프런트엔드 전문가 2명이 200개 과제-모델 출력을 재검토해 판정 타당성을 점검한 점(부록 J), 평가자 교체·하니스 교체·단일-에이전틱 비교라는 세 축(부록 C·H·A)에서 모두 결과 방향이 일관됐다는 점은 신뢰도를 보강합니다. 한계도 명시적입니다 — 평가는 모델당 1회 실행이라 실행 간 변동성을 보고하지 않고, 하니스 민감도 분석(부록 H)은 하니스에 따라 모델 순위가 바뀐다고 밝혀 모델 자체의 능력과 하니스와의 상호작용을 완전히 분리하지 못합니다. 핵심 주장(69.9%/26.4%)은 요약·본문·부록에서 반복적으로 같은 값으로 확인돼 내부 일관성은 높습니다.

관련 연구

세션 egress가 전면 차단된 상태라 관련 문헌은 원문 재열람 대신 WebSearch로 독립 식별·확인했습니다. 아래 문헌 자체의 수치는 관계 서술에만 쓰고, 이번 리뷰의 "핵심 결과"에는 포함하지 않았습니다.

• Jimenez et al.(2023). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — 벤치마크 원전(benchmark-origin). 실제 GitHub 이슈 2,294개로 저장소 수준 코드 수정 평가라는 틀을 세웠고, 출시 당시 최고 모델의 해결률은 1.96%에 불과했습니다. Co-Design Bench의 Repository Editing 트랙은 이 틀을 실제 코딩 세션의 복합 요청·멀티모달 입력으로 확장합니다.
• Lei et al.(2026). WebCompass: Towards Multimodal Web Coding Evaluation for Code Language Models — 직접 연계된 선행 연구(prior). Co-Design Bench 저자들이 이 벤치마크의 편집 서브셋 150개 과제를 그대로 가져와 단일 응답 대비 에이전틱 실행의 효과를 검증했습니다(위 표). WebCompass는 사전 정의된 편집 연산으로 과제를 구성하는 반면, Co-Design Bench는 실제 사용자 세션에서 과제를 추출한다는 점이 핵심 차이입니다.
• Xiao et al.(2025). DesignBench: A Comprehensive Benchmark for MLLM-based Front-end Code Generation — 선행 연구(prior). React·Vue·Angular로 한정된 900개 웹페이지 샘플로 생성·편집·수정 3단계를 평가합니다. Co-Design Bench의 Multimodal Editing 트랙은 프레임워크를 특정하지 않고 실제 세션의 이미지·오디오·비디오·문서 첨부까지 포괄해 범위를 넓힙니다.

세 선행 연구는 "정적 재구성 → 편집 → 저장소 수준 과제"로 코딩 평가의 범위가 넓어져 온 흐름을 보여주고, Co-Design Bench는 그 흐름 끝에서 "요구사항을 많이 채우는 것"과 "과제를 완전히 끝내는 것"이 갈린다는 점을 정량화했습니다.

리뷰어 판단

첫째, 이 논문에서 가장 실무적으로 중요한 발견은 모델 순위가 아니라 요구사항 커버리지와 완전한 과제 성공이 분리된다는 사실 자체라고 판단합니다. 최고 모델이 69.9%의 요구사항을 채우고도 26.4%만 완전 통과한다는 것은, 평균 점수만 보고 자동화를 맡기면 73.6%의 과제에 미해결 요구사항이 남는다는 뜻입니다. "거의 다 됐다"는 보고를 배포 가능 신호로 착각하기 쉬운 구조입니다.

둘째, 편집 범위가 늘어날 때 전체통과율(9.1%→9.7%)은 거의 그대로인데 제로통과율만 0.9%→5.8%로 치솟는 패턴은, 난이도가 올라가도 완전 성공 과제의 비율은 잘 줄지 않고 대신 완전히 실패하는 과제가 늘어난다는 뜻으로 읽힙니다. 중간 성과를 기대하기보다 과제를 작게 쪼개는 전략이 더 안전하다는 근거로 볼 수 있습니다.

셋째, 단일 응답 대 에이전틱 실행 비교(73.6%→95.1%)는 인상적이지만 Co-Design Bench 자체 결과가 아니라 다른 벤치마크에서 가져온 보조 실험입니다. 이 수치를 Co-Design Bench의 최종 지표(69.9%/26.4%)와 같은 문장에서 인용하면 서로 다른 벤치마크·다른 모델의 수치를 섞는 오류가 됩니다. 논문도 이 구분을 명시하지만, 두 수치가 같은 Figure 1에 나란히 그려져 혼동하기 쉬운 배치입니다.

실무 적용

• 완료율과 전체통과율을 분리 모니터링 — 평균 요구사항 커버리지만 보고 배포를 결정하면 과제의 상당수에 남은 미해결 항목을 놓칩니다. 두 지표를 나란히 둡니다.
• 편집 범위를 작게 쪼갠다 — 한 번에 요청하는 변경 종류가 3~4개로 늘면 제로통과율이 급증합니다(0.9%→5.8%). 복합 요청은 1~2개 단위로 분리합니다.
• 모달리티별로 성공 기준을 분리 — 문서 첨부 과제는 커버리지(R̄ 65.2%)와 완전통과율(F 18.2%)이 반대로 움직입니다(텍스트 전용 F 37.0%). 모달리티별 별도 임계치를 둡니다.
• 하니스+모델 조합으로 결과를 귀속 — 하니스를 바꾸면 모델 순위가 흔들린다는 부록 H 결과를 감안해, 모델 단독이 아니라 하니스+모델 조합 단위로 비교·귀속합니다.
• 교차 벤치마크 수치는 섞지 않는다 — 에이전틱 실행의 효과(73.6%→95.1%)처럼 다른 벤치마크·다른 모델에서 가져온 보조 수치는 본 벤치마크의 최종 지표와 같은 비교표에 넣지 않습니다.

결론

Co-Design Bench의 결론은 "코딩 에이전트가 요구사항을 얼마나 채우는가"와 "과제를 얼마나 완전히 끝내는가"가 같은 질문이 아니라는 데 있습니다. 273개 과제·2,331개 숨겨진 채점 기준으로 10개 모델을 평가한 결과, 최고 모델도 요구사항의 69.9%만 채우고 과제의 26.4%만 완전히 통과했습니다. 더 눈여겨볼 발견은 편집 범위가 넓어질 때 중간 성과가 줄기보다 완전 실패 과제가 늘어나는 양극화 패턴입니다. 다만 평가는 모델당 1회 실행이고 저자 다수가 알리바바 소속이라는 이해상충이 있으므로, 수치는 방향 신호로 받아들이고 자체 과제로 재확인하는 것이 안전합니다. 에이전트 평가를 자체 환경에 들여오는 절차는 자체 호스팅 코딩 에이전트 평가 체크리스트에서 이어서 다룹니다.

참고 링크

• Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용
• SWE-bench(벤치마크 원전) — arXiv
• WebCompass(직접 연계 선행 연구) — arXiv
• DesignBench(선행 연구) — arXiv
• 자체 호스팅 코딩 에이전트 평가 체크리스트 — sunny34.com 블로그