릴리스 캐던스가 주 단위로 압축된 현실
오픈웨이트 진영의 출시 주기가 눈에 띄게 짧아졌습니다. GLM-5.1, MiniMax M2.7, Kimi K2.6, DeepSeek V4가 단 12일 창에 연속 공개되면서 사실상 출시 주기가 주 단위로 압축됐습니다. 운영자는 이제 새 모델이 언제 나오느냐가 아니라, 이번 주 어느 요일에 나오느냐를 전제로 스왑 정책을 세워야 합니다.
모델 핀 고정: 버전을 자산으로 관리하기
모델 핀 고정은 프로덕션 트래픽이 사용하는 모델 버전을 명시적 식별자로 고정하는 규칙입니다. latest 같은 별칭을 프로덕션에 직접 물리면, 공급자가 가중치를 교체하는 순간 코드 변경 없이 응답 분포가 바뀝니다. 버전은 설정값으로 분리하고, 승급은 사람이 승인하는 별도 배포 이벤트로만 일어나게 해야 합니다.
회귀 테스트·롤백 없는 자동 업그레이드가 대표 실패 패턴
회귀 테스트와 롤백 경로 없이 자동 업그레이드를 켜두는 것이 가장 흔한 사고 패턴입니다. 새 모델이 벤치마크 평균은 높여도, 여러분의 프롬프트와 툴 스키마, 출력 파서에서는 통과율이 떨어질 수 있습니다. 승급 전 고정된 평가셋으로 통과율을 재측정하고, 실패 시 이전 핀으로 즉시 되돌릴 수 있어야 합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 승급 판단 기준을 수치로 못 박습니다. 예를 들어 회귀 평가셋 200케이스에서 통과율 98% 이상, p95 지연 3초 이하, 스키마 위반 0건, 케이스당 비용은 기존 대비 +10% 이내를 승급 조건으로 정의합니다. 이 네 숫자를 모두 만족하지 못하면 자동 승급은 보류하고 카나리 단계에 묶어 둡니다.
실패 유형별 복구 분기를 미리 정합니다. 출력 스키마 위반은 1회 재시도 후에도 실패하면 이전 핀 응답으로 폴백합니다. 통과율이 임계 아래로 떨어지면 카나리 비중을 5%에서 0%로 낮추고 사람 확인 큐로 보냅니다. 지연이 p95 임계를 넘으면 안전 축약(툴 호출 축소, 컨텍스트 절삭)으로 응답을 유지하되, 5분 연속 위반 시 롤백을 중단 조건으로 발동합니다.
롤백은 문서가 아니라 실행 가능한 버튼이어야 합니다. 핀 되돌리기가 한 번의 설정 변경과 재배포로 60초 안에 끝나는지 릴리스 분기마다 리허설합니다. 리허설하지 않은 롤백 경로는 사고 당일 처음 눌러 보게 되고, 대개 그때 작동하지 않습니다.
운영에서는 모든 요청에 표준 로그를 남깁니다. 모델 핀 ID, 프롬프트 버전, 통과·실패 사유, 지연, 토큰과 비용을 한 줄 구조화 로그로 기록하고, 로그 적재 전 이메일·전화·주민번호 등 PII는 마스킹합니다. 카나리와 프로덕션을 같은 대시보드에서 통과율과 p95로 나란히 비교해, 승급 여부를 감으로 판단하지 않게 만듭니다.
지속 개선 루프는 프로덕션 실패 케이스를 회귀 평가셋에 다시 넣는 순환입니다. 사람 확인 큐에서 걸린 오답을 주간 단위로 회수해 평가셋을 키우면, 다음 모델이 나올 때 같은 실수를 자동으로 걸러냅니다. 평가셋은 버전 관리하고, 핀 승급 이력과 함께 감사 가능하게 보관합니다.
실행 요약
주 단위 릴리스 시대에 안전한 운영의 핵심은 세 가지입니다. 프로덕션 모델을 명시적 핀으로 고정하고, 승급은 통과율 98%·p95 3초·위반 0건 같은 수치 게이트를 통과할 때만 별도 배포로 진행하며, 실패 시 60초 내 롤백 경로를 항상 열어 두는 것입니다. 자동 업그레이드는 편의 기능이 아니라, 회귀 테스트와 롤백이 갖춰졌을 때만 켜는 기능입니다.