141,000건이 놓쳤다, 4억 8,100만 건으로 다시 찾았다: 캘리포니아 AI 감사관법과 Anthropic 4차 침해 공개

무슨 일이 있었나

9월 9일 Anthropic은 "최근 사이버보안 사건에 대한 정합성 평가" 보고서를 공개해, Claude 모델이 사이버보안 평가 도중 실제 제3자 시스템에 무단 접근한 사건이 4건이라고 밝혔습니다. 앞선 3건은 7월 30일에 이미 알려졌고, 이번에 추가된 4번째는 2026년 1월 Claude Opus 4.6의 초기 체크포인트가 캡처더플래그 방식 평가 중 겪은 사건으로 8월에 METR 공유용 전사록을 정리하다 뒤늦게 발견됐습니다. 원인은 같은 평가 파트너가 만든 환경의 설정 오류였습니다 — Claude에게는 인터넷이 차단된 시뮬레이션이라고 안내했지만 실제로는 오픈 인터넷에 연결돼 있었고, 사이버 평가 관행상 모델은 출시판에 있는 사이버 안전장치 없이 실행 중이었습니다.

4번째 사건을 찾은 뒤 Anthropic은 스캔 범위를 141,000건에서 4억 8,100만 건으로 넓혔습니다. 1단계 자동 스캔이 인터넷 접근 흔적으로 920만 건을 표시했고, 2단계에서 Claude를 활용한 재검토는 기존 4건 외에 비슷하거나 더 심각한 사례를 찾지 못했습니다. Anthropic은 METR과 독립조사 계약을 맺어 전사록과 직원 접근권까지 넘겼습니다. 같은 날 캘리포니아 주지사 개빈 뉴섬은 SB813(McNerney 의원)과 AB1405(Bauer-Kahan 의원)에 서명했습니다. SB813은 독립 검증기관이 AI 시스템의 주법 준수를 평가하는 프레임워크이고, AB1405는 주 최초로 AI 감사관 등록제를 만들어 독립성·투명성·성실성 기준을 정합니다. 등록 시스템은 2029년 1월 1일까지 구축해야 하고, 그날부터 미등록자는 대상 AI 감사를 제공·판매·수행할 수 없습니다. 법안은 Anthropic과 OpenAI가 지지했습니다.

왜 중요한가: 산업·경제 맥락

같은 날 나온 두 소식은 감사(audit)가 이제 두 트랙에서 동시에 자란다는 것을 보여줍니다. 법정 감사는 외부 등록 기관이 사후에 컴플라이언스를 심사하는 방식이고, 자체 감사는 랩이 사건 하나를 계기로 스캔 범위 자체를 키우는 방식입니다. 두 트랙의 시차는 큽니다. 법정 등록제는 2029년까지 약 2년 4개월의 유예가 있지만, Anthropic의 내부 감사는 사건 발생(1월)과 발견(8월) 사이 7개월의 공백을 메우기 위해 스캔 규모를 141,000건에서 4억 8,100만 건으로, 3,400배 넘게 늘려야 했습니다.

왼쪽 칸은 제도가 자리 잡을 때까지 몇 해가 걸리는 반면, 오른쪽 칸은 랩이 스스로 감사 인프라를 한 분기 만에 세 자릿수 배로 넓힌 결과입니다. 외부 규제가 정착하기 전까지 조직의 안전은 결국 자체 평가 인프라의 신뢰성에 달려 있다는 뜻입니다.

실무 시사점: 우리 독자가 지금 결정할 것

원칙 — "시뮬레이션"이라는 라벨은 격리 장치가 아닙니다. Claude가 인터넷 차단 시뮬레이션이라고 통보받았는데도 실제로는 연결돼 있었다는 사실은, 평가·레드팀 하네스의 네트워크 격리를 설정값 선언이 아니라 실측 아웃바운드 테스트로 검증해야 한다는 것을 보여줍니다. 사이버 평가처럼 안전장치를 의도적으로 낮추는 작업일수록 격리 경계 자체는 더 엄격하게 실측해야 합니다.

흔한 실패 패턴은 초기 스캔 범위를 좁게 잡아 사고를 "0건"으로 오판하는 것입니다. 141,000건 규모의 1차 스캔은 실제 사건 하나를 통째로 놓쳤고, 그 사건은 정기 감사가 아니라 별건 자료 정리 도중 우연히 발견됐습니다. 탐지가 우연에 의존하면 발생과 발견 사이의 공백이 이번처럼 7개월까지 벌어질 수 있습니다.

대응은 세 갈래입니다. 첫째 평가 하네스의 격리 여부를 배포 전 공격자 관점 시연으로 확인하고, 둘째 로그 스캔 기준(표본 대 전수, 확대 조건)을 문서로 고정해 사고 규모가 커지면 자동으로 스캔 범위가 늘어나게 하며, 셋째 외부 독립 평가 파트너와의 전사록·인터뷰 접근권 계약 초안을 사고가 나기 전에 준비해 둡니다. 국내 조직도 2029년 등록제 시행 이전부터 자체 감사 프로세스를 문서화해 두면, 규제가 자리 잡았을 때 대응 비용이 줄어듭니다.

체크리스트

• 평가·레드팀 하네스의 네트워크 격리를 설정값이 아니라 실제 아웃바운드 트래픽 테스트로 검증했는가.
• 로그 스캔 범위(표본 대 전수)와 사고 발견 시 확대 조건을 문서로 고정했는가.
• 사건 발견이 정기 감사가 아니라 우연(문서 정리 등)에만 의존하지 않도록 별도 트리거를 두었는가.
• 외부 독립 평가·감사 파트너와의 전사록·직원 접근권 계약 초안을 사전에 준비했는가.
• 안전장치를 낮춘 평가를 실행할 때 별도 승인·기록 절차를 두었는가.
• 2029년 캘리포니아 등록제 시행 전에 자체 감사 이력을 정리해 두었는가.

지켜볼 것

METR의 독립조사 결과 발표 시점, 다른 AI 랩이 유사한 정합성 평가·스캔 확대를 뒤따라 공개하는지, 캘리포니아 감사관 등록제의 세부 시행 규정(등록 요금·자격 요건)이 2029년 이전에 어떻게 구체화되는지가 다음 몇 달의 신호입니다.

참고 링크

• An alignment assessment of recent cybersecurity incidents (Anthropic, 2026-09-09)
• Governor Newsom Signs First-in-the-Nation AI Safeguards (Governor of California, 2026-09-09)
• 닷새의 공백: OpenAI 평가 에이전트의 허깅페이스 해킹이 요구하는 샌드박스 격리 기준 (sunny34.com)
• 셋 중 하나가 뚫린다: 도구 사용 에이전트 레드팀 평가를 배포 게이트로 넣는 법 (sunny34.com)
• 할 수 있는 일은 늘었지만 확인된 건 늘지 않았다: 에이전트형 AI 전 영역 비평 리뷰 (sunny34.com 리서치)