코드를 텍스트가 아닌 환경 상태로
기존 코드 모델은 소스를 문자열로 취급해 다음 토큰을 예측합니다. Code World Model(CWM)은 코드를 실행 가능한 환경의 상태로 봅니다. 메타는 2026년 5월 20일 32B 규모의 오픈웨이트 CWM을 공개했습니다. 이 모델은 파이썬 인터프리터와 에이전틱 Docker 환경에서 수집한 관찰-행동 궤적으로 미드트레이닝되어, 특정 코드가 실행되면 변수·파일·프로세스 상태가 어떻게 바뀌는지를 내부적으로 시뮬레이션합니다.
실행 부작용 예측을 검증 신호로
월드모델 관점의 핵심은 부작용 예측입니다. 함수 호출 이후의 반환값뿐 아니라 파일 쓰기, 환경 변수 변경, 예외 발생 여부까지 사전에 추정할 수 있습니다. 운영에서는 이 예측을 실제 실행 결과와 대조해 검증 게이트로 활용합니다. 예측 상태와 실측 상태가 불일치하면 그 지점을 자동 롤백 또는 사람 확인 분기로 보냅니다.
131k 컨텍스트가 여는 장기 궤적
CWM은 최대 131k 토큰 컨텍스트를 지원합니다. 이는 단일 함수가 아니라 다단계 에이전트 세션 전체—여러 파일 편집, 테스트 실행 로그, 스택 트레이스—를 한 창에 담아 추론할 수 있음을 뜻합니다. 장기 궤적을 유지할수록 앞선 실행 상태를 근거로 다음 행동의 부작용을 더 정확히 예측합니다.
A4 분량 상세 가이드: 기획부터 운영까지
(a) 기획 단계에서는 목표 지표를 수치로 고정합니다. 예를 들어 예측-실측 상태 일치율 95% 이상, 자동 롤백 성공률 90% 이상, 위반(미검증 파일 쓰기) 0건, 검증 게이트 p95 지연 800ms 이하를 릴리스 기준으로 삼고, 미달 시 배포를 차단합니다.
(b) 실패 패턴은 세 유형으로 분류합니다. 첫째, 부작용 과소예측은 모델이 파일 변경을 놓치는 경우로, 실측에서 감지되면 즉시 중단하고 사람 확인 분기로 보냅니다. 둘째, 부작용 과대예측은 존재하지 않는 위험을 경고해 흐름을 막는 경우로, 최대 2회 재시도 후에도 반복되면 안전 축약(읽기 전용 모드)으로 전환합니다. 셋째, 컨텍스트 초과는 131k에 근접할 때 오래된 궤적을 요약 압축하되 미검증 상태 스냅샷은 압축 대상에서 제외합니다.
중단 조건은 명시적으로 정의합니다. 동일 검증 실패가 3회 연속 발생하거나, 예측 불일치가 파일시스템 밖(네트워크·프로세스 종료)으로 확산될 조짐이 보이면 세션을 즉시 종료하고 상태를 격리 저장합니다.
(c) 운영 체크리스트는 표준 로그 스키마로 통일합니다. 각 행동마다 입력 관찰, 예측 상태, 실측 상태, 불일치 플래그, 복구 분기, 지연(ms)을 한 레코드로 기록합니다. 로그에 실제 코드·경로가 포함되므로 PII와 자격증명(토큰·키·이메일)은 저장 전 마스킹하고, 원문은 접근 통제된 별도 보관소에만 둡니다.
(d) 지속 개선 루프는 주간 단위로 돕니다. 불일치 플래그가 붙은 궤적을 모아 실패 유형별 비율을 집계하고, 과소예측 비중이 높은 모듈부터 검증 규칙을 강화합니다. 재시도로 회복된 사례와 사람 확인으로 넘어간 사례를 분리 추적해, 사람 개입률이 목표(예: 5% 이하)를 넘으면 해당 모듈을 우선 개선 대상으로 올립니다.
실행 요약
CWM은 코드를 실행 가능한 상태로 다루어 부작용을 사전 예측합니다. 운영의 핵심은 예측을 실측과 대조하는 검증 게이트, 그리고 과소예측·과대예측·컨텍스트 초과에 대한 재시도·사람 확인·안전 축약·중단 분기입니다. 예측-실측 일치율 95% 이상과 위반 0건을 릴리스 기준으로 고정하고, 표준 로그와 PII 마스킹으로 개선 루프를 돌리십시오.