요구사항은 채워져도 머지는 안 된다: 코딩 에이전트 완전통과율 게이트 설계 체크리스트

완료율과 전체통과율은 다른 숫자다

Co-Design Bench 리뷰가 확인한 수치는 단순합니다. 최고 모델 gpt-6-astra는 과제당 요구사항의 69.9%를 채우지만, 273개 과제 중 기준을 전부 통과한 비율(전체통과율 F)은 26.4%뿐입니다. 두 숫자 사이의 43.5%p 격차는 평균 점수만 보고 자동화를 맡기면 73.6%의 과제에 미해결 요구사항이 남는다는 뜻입니다. 사내 코딩 에이전트를 CI/CD 머지 파이프라인에 연결할 때도 같은 함정이 기다립니다 — 커밋 로그에 "요구사항 대부분 충족"이라고 찍혀도 그 과제가 완전히 끝났는지는 별도 지표입니다.

평균이 아니라 제로통과에 반응해야 한다

같은 리뷰는 편집 범위가 1~2종류에서 3~4종류로 늘어나는 구간에서 전체통과율은 9.1%→9.7%로 거의 그대로인데, 한 기준도 못 맞힌 제로통과율은 0.9%→5.8%로 치솟는다고 보고합니다. 난이도가 오를 때 "중간 성과"가 줄어드는 것이 아니라 "완전 실패"가 늘어나는 양극화입니다. 머지 게이트를 평균 완료율 하나로 설계하면 이 양극화를 놓칩니다 — 제로통과 과제 수를 별도 알람으로 추적해야 양극화의 꼬리를 잡을 수 있습니다.

설계에서 운영까지: 코딩 에이전트 머지 게이트 체크리스트

머지 전에 세 가지 수치를 코드로 선언합니다. 전체통과율(F) 하한 30%, 제로통과 과제 0건, 편집 범위 3종류 이상인 요청은 승격 전 별도 검수 트랙으로 분리합니다. Co-Design Bench 최고 모델조차 F 26.4%에 머문다는 사실을 기준선으로 쓰면, 사내 모델이 이보다 낮게 나왔을 때 "아직 배포 수준이 아니다"라는 판단을 숫자로 내릴 수 있습니다.

모달리티별 임계치도 따로 둡니다. 리뷰 원문은 문서 첨부 과제가 요구사항 커버리지(R̄ 65.2%)는 가장 높으면서도 완전통과율(F 18.2%)은 텍스트 전용 과제(F 37.0%)보다 낮다고 밝힙니다. 첨부 유형을 구분하지 않고 하나의 승격선을 쓰면 문서 첨부 과제가 실제보다 안전해 보이는 착시가 생깁니다.

가장 흔한 실패는 부분 통과를 완료로 착각하는 패턴입니다. 자동 머지 봇이 그레이디드 완료율(부분점수 포함)만 확인하고 승격시키면, 엄격 완료율과 전체통과율 사이에 숨은 미해결 기준이 프로덕션까지 흘러갑니다. 두 번째 실패는 편집 범위 확장 후 재시도 없이 통째로 재실행하는 패턴입니다 — 3~4종류 편집을 한 번에 재시도하면 제로통과율이 더 오릅니다.

두 실패 모두 복구 분기를 미리 정해야 막을 수 있습니다. 전체통과율이 게이트 하한을 못 넘기면 과제를 편집 종류 단위로 쪼개 재시도하고, 쪼갠 뒤에도 실패하면 사람 리뷰로 넘깁니다. 같은 과제가 2회 연속 제로통과면 하니스·모델 조합 자체를 의심 대상으로 올리고 자동 재시도를 중단합니다(서킷브레이커).

로그에는 모델 ID·하니스 버전·과제별 엄격 완료율·전체통과 여부·편집 종류 수·첨부 모달리티를 필수 필드로 남깁니다. 리뷰 원문의 부록 H가 보여주듯 하니스를 바꾸면 모델 순위가 흔들리므로, 모델 단독이 아니라 "하니스+모델" 조합 단위로 통과율을 집계해야 다음 하니스 업그레이드 때 비교가 가능합니다. 배포 전 시나리오 테스트에는 멀티모달 편집(ME)과 저장소 편집(RE)을 분리된 스위트로 두어, 어느 트랙에서 게이트가 막혔는지 구분합니다.

주간 단위로 제로통과 과제를 모아 편집 종류 조합별로 집계하고, 특정 조합의 제로통과율이 계속 높으면 그 조합을 작업 분해 규칙에 추가해 처음부터 더 작은 단위로 쪼개 요청하도록 바꿉니다. 게이트 승격선 자체도 분기마다 재검토 대상입니다 — 벤치마크 최고 모델의 F가 올라가면 사내 하한도 같이 올려야 게이트가 느슨해지는 것을 막습니다.

바로 쓰는 체크포인트

코딩 에이전트의 "요구사항 대부분 충족"이라는 보고는 머지 신호가 아닙니다. 전체통과율 하한과 제로통과 과제 수를 승격 기준에 넣고, 편집 범위가 넓어지는 요청은 재시도 전에 먼저 쪼개고, 하니스+모델 조합 단위로 통과율을 집계해야 Co-Design Bench가 드러낸 26.4%의 함정을 사내 파이프라인에서 피할 수 있습니다.

참고 링크

• Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models — arXiv
• 요구사항 69.9% 채워도 완전 통과는 26.4% — Co-Design Bench 코딩 에이전트 리뷰 (sunny34.com 리서치)