완료율 43.6%, 완전 준수율 19.0%: 코딩 에이전트의 '숨은 불복종' ANCHOR 리뷰

원문 정보

Wenqiang Zhu, Xinping Lei, Zhiyi Lai, Zhengshuo Gong, Tianzhuang He, Songwei Yu, Weihao Li, Jingxuan Xu, "ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding", arXiv:2610.16859v2 [cs.CL], 2026-10-12 제출(v2는 2026-10-14 개정), DOI 10.48550/arXiv.2610.16859. 데이터셋은 Hugging Face(Yone-01/ANCHOR), 코드는 GitHub(bupterlxp/ANCHOR)에 공개.

동료심사를 거치지 않은 프리프린트입니다(cs.CL 1차 등록). 원문 HTML 전문에 저자 소속 각주가 없고 WebSearch로도 소속 기관을 확인하지 못했습니다(제출 4일 차로 2차 색인이 아직 부족한 것으로 보입니다) — 자금 출처 공개 문구도 같은 이유로 확인 불가입니다. 저자 중 1명(Jingxuan Xu)은 코딩 에이전트 평가 벤치마크 SWE-Compass(2025)의 저자이기도 해, 같은 연구 계열의 후속작으로 추정됩니다.

연구 개요

연구 질문은 두 가지입니다. ① 저장소 기반 코딩 에이전트의 "기능적 완료"와 개발자가 명시한 엔지니어링 제약(수정 범위·작업 순서·검증·도구 사용·결과 보고) 준수는 같은가. ② 제약을 명시하면 완료율 자체가 달라지는가.

데이터는 23개 저장소·8개 언어군의 358개 과제이며, 실제 개발자-에이전트 상호작용에서 상향식으로 추출한 10개 상위 카테고리·78개 세부 유형 taxonomy로 2,836개 원자 제약·600개 관계 항목(AND/THEN/PRIORITY)을 만들었습니다. 평가는 규칙·LLM 하이브리드 판정입니다 — 범위·파일수·임포트처럼 diff로 결정 가능한 항목은 규칙으로, 순서·보고 충실도처럼 트래젝토리를 해석해야 하는 항목은 LLM 판정으로 나눕니다. 체크리스트 자동 생성 벤치마크라 생성 품질과 판정 신뢰도를 각각 사람이 감사했습니다(아래 신뢰도 평가).

핵심 결과

19개 에이전트 구성(10개 기반 모델 × OpenCode·Cline 2개 스캐폴드, Claude Opus 4.8은 Cline에서만) 중 대표 구성만 추려 완료율과 준수율을 나란히 보면, 완료율이 비슷해도 준수율은 크게 벌어집니다. ACR·CCR·IPR은 각각 원자·관계·전체 항목 풀링 준수율이고, FCCR은 한 과제의 체크리스트를 전부 통과해야 인정하는 가장 엄격한 지표입니다.

최고 성능인 Claude Opus 4.8(Cline)도 완료율 43.6%에 FCCR은 19.0%입니다. 두 수치는 서로 다른 마진 비율이라 직접 뺄 수는 없지만, 차이(24.6%p)는 "체크리스트를 전부 통과하지 못한 채 완료로 집계된 과제"의 하한선입니다 — 81.0%가 최소 1개 항목에서 걸립니다. 같은 모델을 스캐폴드만 바꾼 비교(GPT-5.3-Codex, OpenCode vs Cline)는 완료율이 0.3%p 차이(37.4%→37.7%)에 불과한데 IPR은 5.0%p(67.9%→62.9%), FCCR은 3.1%p(12.3%→9.2%) 더 벌어집니다. 완료율만 보는 대시보드로는 이 격차가 보이지 않습니다.

카테고리별로도 갈립니다. 의존성·보안·수정범위처럼 "하지 말 것"에 가까운 국소 금지 규칙은 준수율이 높고, 순서·도구선택·보고처럼 과정 전체를 지켜봐야 판정되는 규칙은 낮습니다.

스캐폴드 민감도도 모델마다 반대 방향입니다. GPT-5.4-Mini는 IPR이 OpenCode 58.5%→Cline 30.8%로 27.7%p 떨어졌지만, DeepSeek-V3.2·Qwen-3.5-Flash는 Cline에서 각각 10.5%p·14.1%p 더 높았습니다(원문 Table 7). 어느 스캐폴드가 "더 안전한 선택"인지는 모델마다 다릅니다.

신뢰도 평가

자동 생성 체크리스트 위에서 돌아가는 벤치마크라, 저자들은 두 단계를 별도로 사람이 감사했습니다. 생성된 제약 품질은 50개 과제의 원자 제약을 5명이 독립 평가해 타당성 94.0%(원시합치 92.0%, Gwet AC1 0.91), 저장소 일치성 94.0%(96.4%, 0.96), 실제성 96.0%(97.6%, 0.97)를 받았습니다. LLM 판정자의 신뢰도는 480개 항목을 5명(평균 경력 8.4년)이 독립 라벨링한 합의 라벨(평가자 간 κ=0.83)과 비교해 Cohen's κ=0.78(원시합치 89.4%)을 얻었습니다. 규칙 검증 가능 항목은 κ=0.86으로 높지만 THEN·PRIORITY 관계 항목은 κ=0.69로 가장 낮고, 사람 라벨로 재순위를 매겨도 전체 순위와 Spearman 0.96로 거의 같았다는 점은 긍정적입니다.

감안할 점도 뚜렷합니다. 논문은 스스로 "모델-패밀리 편향을 배제할 교차 판정자 비교나 프롬프트 민감도 실험은 하지 않았다"고 명시하는데, 어떤 모델이 LLM 판정자로 쓰였는지는 원문에서 확인되지 않아 최고 득점자가 Claude Opus 4.8이라는 결과를 그대로 읽기 어렵게 만듭니다. Opus 4.8은 Cline에서만 평가돼 19개 구성 중 유일하게 OpenCode 대응 비교가 없고, 카테고리별 샘플 수도 49~530개로 불균형합니다(C6·C7·C8은 70개 이하). 상반된 결론을 낸 선행 연구는 없었습니다 — 이 축 자체가 새로 제안된 것이라, 기존 완료율 중심 벤치마크(SWE-bench류)가 놓치던 위험을 드러낸 결과로 읽는 쪽이 맞습니다.

관련 연구

• Ding et al.(2026). OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding — 217개 과제·7,098개 체크리스트 항목으로 스캐폴드·플랫폼 수준 정책 준수를 측정한 동시기 연구(ACL 2026 발표 예정). ANCHOR는 스캐폴드 정책이 아니라 개발자가 과제별로 명시한 엔지니어링 제약과 그 계층·순서 관계를 다룬다는 점에서 보완적 확장 관계입니다.
• Zhang et al.(2025). Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions? — ICLR 2026 채택. 일반 지시 따르기에서도 LLM이 학습된 관행을 버리고 명시적 지시를 따르는 데 실패하는 "인지적 관성"을 보고한 선행 연구입니다. ANCHOR의 낮은 FCCR(19.0%)은 같은 현상이 다단계 에이전틱 코딩 트래젝토리에서도 반복됨을 보여줍니다.
• Jimenez et al.(2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — ICLR 2024 오럴. 저장소 기반 코딩 에이전트 평가의 원조 벤치마크로 "최종 패치의 정답 여부"만 측정합니다. ANCHOR는 여기서 한 단계 더 들어가 "그 패치를 만드는 과정이 개발자의 규칙을 지켰는가"를 별도 축으로 추가한 벤치마크 원전 관계에 있습니다.

리뷰어 판단

첫째, 가장 실무적으로 값진 발견은 19.0%라는 헤드라인 수치가 아니라 같은 모델의 스캐폴드 쌍대비교라고 판단합니다. 완료율은 0.3%p밖에 안 벌어지는데 IPR·FCCR은 각각 5.0%p·3.1%p 벌어진다는 것은, 완료율만 추적하는 운영 대시보드가 스캐폴드 교체의 위험을 전혀 못 잡아낸다는 뜻이기 때문입니다.

둘째, Claude Opus 4.8이 Cline에서만 평가됐다는 설계상 공백은 "최고 성능 모델이 1위"라는 결론을 신중히 받아들여야 하는 이유라고 판단합니다. 유일한 비페어드 구성이 하필 1위인데, OpenCode에서는 어땠을지 비교 대상이 없어 모델의 우수성인지 스캐폴드와의 상호작용 효과인지 분리할 수 없습니다.

셋째, LLM 판정자의 모델명을 공개하지 않은 점은 재현성 관점에서 가장 먼저 확인해야 할 항목이라고 판단합니다. 저자들도 모델-패밀리 편향을 배제하지 못했다고 밝혔는데, 판정자 계열조차 모르는 상태에서는 최고 득점 모델과 판정자의 친연성 여부를 독자가 직접 검증할 길이 없습니다.

실무 적용

• 완료율과 준수율의 분리 집계 — 운영 대시보드에 완료율(Task Completion)과 함께 ACR·IPR·FCCR급의 "규칙 준수" 지표를 별도로 두고, 둘이 같은 방향으로 움직이지 않을 수 있음을 전제로 합니다.
• 스캐폴드 교체 시 회귀 테스트 — 모델이 같아도 스캐폴드만 바꾸면 완료율은 그대로인데 준수율이 최대 27.7%p 빠지는 사례가 있으므로, 하니스·도구체인 교체는 완료율만으로 합격 판정하지 않습니다.
• 보고(Reporting) 규칙 전용 검증 — 가장 약한 카테고리(41.0%)이므로 "무엇을 했는지 밝히라"는 지시는 자유 서술에 맡기지 말고 별도 자동 체크 항목으로 분리합니다.
• 순서·우선순위 제약은 규칙 기반 우선 — THEN·PRIORITY 관계 항목은 LLM 판정 신뢰도가 가장 낮으므로(κ=0.69), 재현 전 발생·테스트 선행 같은 중요한 순서 규칙은 로그 기반 규칙 검증을 우선 적용합니다.
• 판정자 투명성 요구 — 외부 벤치마크·사내 LLM 평가 파이프라인을 도입할 때, 판정에 쓰인 모델명과 평가 대상 모델 간 계열 관계를 반드시 확인 목록에 넣습니다.

결론

ANCHOR가 보여주는 핵심은 "완료"와 "제대로 완료"가 다른 측정축이라는 사실입니다. 358개 과제·19개 구성에서 완료율과 준수율의 상관은 느슨했고, 최고 성능 모델도 전체 체크리스트 완전 통과율은 19.0%에 그쳤습니다. 이중 사람 감사(제약 생성 품질 + LLM 판정 신뢰도)로 신뢰할 근거는 있지만, 판정자 모델 비공개와 Opus 4.8의 비페어드 평가는 결과를 그대로 헤드라인으로 옮기기 전에 짚어야 할 공백입니다. 하니스 교체처럼 "같은 모델이니 괜찮다"고 판단하기 쉬운 결정에서, 이 논문은 완료율 뒤에 숨은 준수율 격차를 측정하지 않으면 틀릴 수 있다는 근거를 제공합니다. 에이전트 하니스에 구조적 가드를 두는 설계는 에이전트 하네스 자격증명 브로커링 설계에서 다른 축(자격증명 스코프)으로 이어집니다.

참고 링크

• ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표 5·6·7·8 수치 대조에 사용
• OctoBench(관련 연구) — arXiv 초록
• 에이전트 하네스 자격증명 브로커링 설계 — sunny34.com 블로그