정적 게이트가 실측 효과와 따로 노는 이유

에이전트 스킬은 SKILL.md 문서와 스크립트로 구성된 절차 지식 패키지로, Claude Code·Codex·OpenCode 같은 하니스가 작업 중 필요할 때 불러 쓰는 재사용 모듈입니다. 업계는 이런 스킬을 카탈로그에 올리기 전 정적 검사 두 겹을 통과 기준으로 삼아 왔습니다 — 문서 규칙을 채점하는 구조 점수(약 50개 규칙)와 명확성·트리거 적합성을 채점하는 LLM 심사 루브릭입니다. NVIDIA가 arXiv에 공개한 ACES 연구가 145개 실사 스킬에 두 검사를 돌려보니 구조 점수 70점 게이트 통과율은 94.5%, LLM 심사 통과율은 86.2%였습니다.

문제는 이 둘조차 서로 다른 결론을 냅니다. 구조 점수와 LLM 심사 점수의 상관관계는 스피어만 ρ=0.14에 그쳤고, 구조 점수 80점 이상만 추리면 48.9%로 줄었습니다. 정적 검사 방식을 바꾸는 것만으로 통과·탈락이 뒤집힐 수 있다는 뜻이라, 어느 한쪽을 배포 게이트로 쓰는 선택 자체가 이미 흔들리는 기준 위에 서 있는 셈입니다.

평균 0.2134 뒤에 숨은 87건

ACES는 같은 질문·에이전트·모델·과제·채점 정책을 고정한 채 스킬 유무만 바꾸는 쌍대 실행으로 947개 사례를 모아 Skill Lift(탑재 시 점수와 미탑재 시 점수의 차이)를 측정했습니다. 평균은 0.2134였지만 689건(72.8%)만 양의 효과였고 171건은 변화가 없었으며 87건(9.2%)은 오히려 점수가 낮아졌습니다. 결정적으로 정적 점수와 이 실측 lift의 상관관계는 구조 점수 ρ=-0.0181, LLM 심사 점수 ρ=-0.0266으로 둘 다 통계적으로 0과 구분되지 않았습니다.

세부 지표로 나누면 최종 정답 정확도 lift는 0.1431인데 스킬 실행 준수는 0.3263, 지시 행동 준수는 0.2983으로 과정 지표의 개선폭이 더 컸습니다. 결과만 채점하는 평가 체계는 스킬이 실제로 무엇을 바꿨는지 상당 부분 놓칠 수 있습니다.

설계에서 운영까지: 에이전트 스킬 카탈로그 릴리스 게이트 체크리스트

스킬을 draft에서 stable로 승급시키기 전에 수치 기준부터 코드로 선언합니다. 최소 10~15개의 쌍대 실행(스킬 유무 각 1회씩)을 확보하고, Skill Lift 신뢰구간이 0을 포함하면 승급을 보류하며, 음의 lift 비율이 10%를 넘으면 자동으로 재검토 큐에 넣습니다. 결과 지표(정답 정확도)와 과정 지표(스킬 실행 준수·행동 준수)는 반드시 분리해 채점합니다.

가장 흔한 실패는 "정적 검사를 통과했으니 배포해도 된다"는 가정입니다. 이 코퍼스에서는 그 가정의 근거가 상관계수 -0.02로 사실상 없었습니다. 복구 경로는 명확합니다 — 신규 스킬은 곧바로 기본 노출 카탈로그에 얹지 않고 파일럿 워크스페이스에서 먼저 쌍대 비교를 거치게 하고, 음의 lift가 관측되면 자동으로 격리해 이전 버전이나 미탑재 상태로 되돌립니다.

운영 단계에서는 카탈로그 규모 자체를 별도 리스크로 취급합니다. 노출 스킬이 1~20개일 때는 평균 lift가 0.133~0.149로 안정적이었지만 50개로 늘리자 통과율이 0.55로, 평균 대기시간이 258초에서 1,290초로 치솟았습니다. 이 라우팅 실험은 부가 실험이라 정확한 임계점을 못박기는 이르지만, 방향은 분명하므로 워크스페이스별 기본 노출 스킬 수에 상한을 두고 초과분은 명시적 검색으로만 접근하게 합니다. 같은 스킬도 하니스에 따라 lift가 갈렸습니다 — OpenCode 0.3611, Claude Code 0.2904인 반면 Codex 0.1264, Terminus-2 0.0896으로, 한 하니스에서 검증한 값을 다른 하니스에 그대로 적용하면 과대평가할 위험이 있습니다.

지속 개선은 모델 교체 시점에 맞춰 스케줄을 겁니다. 기반 모델이 강해지면 미탑재 상태의 baseline 점수도 함께 올라가 같은 스킬의 lift가 줄어들 수 있으므로, 주요 모델 업데이트마다 대표 스킬 표본을 재평가합니다. 카탈로그 단위로 lift 추세를 추적해 0에 가까워지는 스킬은 폐기 후보로 올리고, 카탈로그 크기 변경과 개별 스킬 콘텐츠 변경은 별도 변경 로그로 분리해 두어야 통과율 하락의 원인을 되짚을 수 있습니다.

한눈에 보는 적용 포인트

정적 구조·LLM 심사 통과는 배포 승인 근거가 아닙니다 — 이 코퍼스에서 실측 효과와의 상관관계는 사실상 0이었습니다. 쌍대 비교로 Skill Lift를 직접 재고, 결과 지표와 과정 지표를 분리 추적하며, 노출 스킬 수와 하니스별 편차를 별도 리스크로 관리하면 정적 게이트가 놓친 9.2%의 역효과 사례를 릴리스 전에 걸러낼 수 있습니다.

참고 링크

Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills — arXiv

통과율 94.5%인데 실제 효과와는 무관했다: ACES 에이전트 스킬 평가 리뷰 — sunny34.com 리서치