능력 곡선과 신뢰성 곡선은 다른 선입니다
능력 벤치를 통과한 모델은 유리한 조건에서 정답을 한 번 만들어낼 수 있음을 증명했을 뿐입니다. 그것을 반복해서, 저렴하게, 손실을 누적하지 않고 해낼 수 있음은 아직 증명하지 못했습니다. KellyBench는 이 간극을 수치로 드러냅니다. 에이전틱 코딩 평가에서 모든 프런티어 모델이 평균 적자를 기록했고, 24개 모델·설정 조합 중 파산을 피한 것은 3개뿐이었습니다. 최상위 성능을 낸 Opus조차 정교성 지표가 32.6%에 그쳤습니다. 시험 통과는 운영 트래픽 한 분기를 버틸 수 있는지에 관해 아무것도 말해주지 않습니다.
경제성 평가가 통과율이 감추는 것을 드러냅니다
단발 통과율은 최선의 경우를 보상합니다. 경제성 평가는 여러 시도에 걸친 누적 손익을 채점하므로, 모든 재시도와 잘못된 분기, 포기한 작업이 장부에 손실로 계상됩니다. 이 관점은 능력 벤치가 감추는 실패를 표면화합니다. 70% 확률로 옳은 에이전트라도 나머지 30%가 토큰을 태우고 롤백을 유발하며 사람의 검토 시간을 소모하면 순손실로 돌아섭니다. 신뢰성은 최고 정확도의 속성이 아니라 경제적 속성입니다.
위협도 같은 기울기로 커집니다
능력은 담장 양쪽에서 함께 증가합니다. UK AISI는 프런티어 사이버 공격 능력이 대략 4개월마다 두 배가 되는 것으로 추정합니다. 벤치 통과를 배포 승인으로 취급하는 운영자는, 이를 억제할 신뢰성의 개선 없이 능력과 같은 속도로 노출 위험을 키우는 셈입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획은 목표를 형용사가 아니라 수치로 적는 데서 시작합니다. 작업 성공률, p95 지연, 완료 작업당 비용 상한, 그리고 PII 유출 0건·비인가 쓰기 0건 같은 명시적 위반 예산을 정의하십시오. KellyBench의 논리를 빌려 누적 손익 목표를 추가합니다. 최근 200개 작업의 롤링 구간에서 순손익 비음수 유지를 기준으로 삼으십시오. 임계값으로 표현할 수 없는 목표는 릴리스를 게이트할 수 없는 목표입니다.
다음으로 기능보다 실패 패턴을 먼저 열거하십시오. 반복되는 유형은 비용 예산을 고갈시키는 폭주 재시도 루프, 에이전트가 덮어버리는 조용한 도구 호출 실패, 실제 시스템과 어긋나는 환각 상태, 긴 꼬리 구간의 확신에 찬 오답입니다. 각 유형을 명시적 복구 분기에 대응시킵니다. 지수 백오프와 최대 3회 하드캡을 둔 제한 재시도, 신뢰도가 임계값 아래로 떨어질 때의 사람 확인 에스컬레이션, 더 좁지만 검증된 답을 돌려주는 안전 축약 경로, 그리고 오류를 키우는 대신 중단·롤백하는 중단 조건입니다.
운영 체크리스트는 권고가 아니라 게이트로 만드십시오. 모든 실행은 표준 구조화 로그를 남깁니다. 작업 ID, 모델 버전, 토큰 비용, 지연, 도구 호출 결과, 최종 선택 분기를 포함합니다. PII는 로깅 경계에서 마스킹해 트레이스를 안전하게 저장·검토할 수 있게 합니다. 위반 건수는 실시간 대시보드로 추적하고, 0이 아닌 값은 릴리스 차단 사유로 취급하십시오. 통일된 로그 스키마가 없으면 통과율을 계산할 수 없고, 통과율이 없으면 배포 안전을 주장할 수 없습니다.
운영 데이터로 개선 루프를 닫으십시오. 실제 실패 트레이스를 매주 평가셋에 되먹여 벤치가 워크로드에서 벗어나지 않고 이를 추종하게 합니다. 모델이나 프롬프트를 바꿀 때마다 경제성 평가를 재실행하고, 단발 통과율이 올랐더라도 누적 손익이 후퇴한 후보는 기각하십시오. 적대적 능력이 4개월마다 두 배가 되는 만큼, 보안 관련 항목은 최소 월 1회 재실행하도록 예약하십시오.
끝으로 사람 검토 예산은 명시적이고 유한하게 유지하십시오. 에스컬레이션은 지연 목표 안에 실제로 사람이 대응 가능할 때만 유효한 복구 분기입니다. 그렇지 않으면 안전 축약이나 중단 분기가 자동으로 이어받아야 합니다. 대응 인력이 없는 에스컬레이션 경로는 장애를 예약해 둔 것과 같습니다.
실행 요약
능력 벤치 통과는 배포 승인이 아닙니다. 모든 프런티어 모델의 평균 적자, 24개 중 3개만의 파산 회피, Opus의 정교성 32.6%라는 KellyBench 결과는 신뢰성이 최고 점수가 아니라 다회 실행의 누적 손익으로 측정되는 경제적 속성임을 보여줍니다. 누적 손익, 실패-복구 분기, PII 마스킹된 표준 로그, 위반 0건 예산으로 릴리스를 게이트하고, 4개월마다 두 배가 되는 위협 곡선에 맞춰 경제성·보안 평가를 정해진 주기로 재실행하십시오.