완성품 35%가 테스트를 통과 못 해도 빌드는 끝까지 간다: 장기 호라이즌 코딩 에이전트의 체크포인트·조기중단 설계

장기 호라이즌에서 신뢰도는 선형으로 떨어지지 않는다

Replit의 ViBench 2.0은 짧은 단일 작업이 아니라 여러 단계를 거쳐 완성품을 만드는 장기 호라이즌 소프트웨어 빌딩 과제로 코딩 에이전트를 평가한다. 최상위 모델조차 완성된 제품의 35%가 최종 테스트를 통과하지 못했고, 오픈소스 모델 3종은 204회 빌드 시도 전부에서 완성에 이르지 못했다. 단일 태스크 벤치마크의 통과율과 장기 멀티스텝 빌드의 완주율은 전혀 다른 지표라는 뜻이다.

완전통과율 게이트만으로는 못 막는다

앞서 다룬 Co-Design Bench 기반 머지 게이트는 빌드가 끝난 뒤 완전통과율로 머지 여부를 가르는 사후 검증이었다. ViBench 2.0이 드러낸 문제는 그 이전 단계다 — 빌드가 끝나기도 전에 이미 실패 궤적에 들어선 경우, 사후 게이트는 자원만 다 쓰고 실패를 확인하는 역할에 그친다. 장기 호라이즌에서는 빌드 중간에 궤적을 점검해 조기에 멈추거나 되돌리는 장치가 따로 필요하다.

설계에서 운영까지: 장기 호라이즌 빌드 체크포인트·조기중단 체크리스트

장기 빌드를 몇 단계의 체크포인트로 쪼갤지 먼저 수치로 정한다. ViBench 2.0 수준의 장기 과제라면 전체 빌드를 4~6개 체크포인트로 나누고, 각 체크포인트에서 중간 산출물이 이전 단계 대비 신규 결함을 추가하지 않았는지 회귀 테스트로 확인한다. 목표는 체크포인트 통과율이 두 단계 연속 50% 밑으로 떨어지면 자동 중단, 전체 빌드 완주 후 최종 테스트 통과율 80% 이상이다.

실패 패턴은 네 가지로 반복된다. 첫째, 체크포인트 없이 빌드를 끝까지 돌린 뒤 완전통과율만 재는 경우 — ViBench 2.0의 오픈소스 모델 전멸 사례처럼 처음부터 실패 궤적에 있었어도 마지막 순간까지 자원을 소비한다. 둘째, 모델 등급(최상위·오픈소스)을 가리지 않고 같은 체크포인트 기준을 적용해, 장기 호라이즌에 약한 모델에 긴 예산을 그대로 배정하는 경우. 셋째, 체크포인트 통과율이 떨어져도 사람이 수동으로 확인할 때까지 빌드를 계속 진행시키는 경우. 넷째, 중간 롤백 지점을 코드 커밋 단위로만 잡아, 설계 결정 자체가 잘못된 경우에는 롤백해도 같은 실패를 반복하는 경우다.

복구 분기는 두 갈래로 둔다. 체크포인트 통과율이 한 단계에서 임계선 밑으로 떨어지면 다음 체크포인트까지는 관찰 모드로 계속하되 예산 상한을 낮추고, 두 단계 연속 떨어지면 사람 승인 없이 빌드를 자동 중단하고 마지막 통과 체크포인트로 롤백한다. 오픈소스·경량 모델처럼 장기 호라이즌 완주율이 낮은 등급에는 애초에 체크포인트 수를 늘려 더 이른 단계에서 조기 중단 판단이 나오도록 설계한다.

운영 체크리스트에는 네 항목을 고정으로 둔다. ① 빌드 전체를 체크포인트 4~6개로 나누고 단계마다 회귀 테스트를 고정한다. ② 체크포인트 통과율을 모델 등급별로 별도 대시보드에 기록해 등급 간 완주율 격차를 추적한다. ③ 두 단계 연속 임계선 미달 시 자동 중단·롤백 규칙을 코드로 선언한다. ④ 중단된 빌드의 마지막 체크포인트 로그를 다음 과제의 예산 책정 근거로 남긴다.

개선 루프는 주간 단위로 돌린다. 중단된 빌드의 체크포인트 분포를 모아 어느 단계에서 실패가 몰리는지 집계하고, 특정 체크포인트에서 반복적으로 중단이 몰리면 그 단계의 작업 범위를 더 잘게 쪼개 별도 체크포인트로 승격한다. 벤치마크가 다음 버전으로 갱신될 때마다 체크포인트 임계선도 다시 보정한다.

한눈에 보는 적용 포인트

장기 호라이즌 코딩 에이전트는 완전통과율 게이트만으로는 자원 낭비를 막지 못한다. 빌드를 체크포인트로 쪼개 모델 등급별 완주율을 추적하고, 두 단계 연속 임계선 미달 시 자동 중단·롤백을 코드로 걸어 두면, 오픈소스 모델이 처음부터 실패 궤적에 있었다는 사실을 마지막 순간이 아니라 중간에 확인할 수 있다.

참고 링크

완성품 35%는 실패였다: Replit ViBench 2.0 벤치마크 리뷰 — sunny34.com 리서치 리뷰

ViBench 2.0: A Benchmark for Long-Horizon Software Building — arXiv