자기개선의 위험은 경계에서 온다
재귀적 자기개선의 힘은 스스로를 바꾸는 능력에서 나오지만, 위험도 같은 곳에서 나옵니다. 개선 에이전트가 자신의 안전 정책이나 평가 기준까지 수정할 수 있으면, 루프는 제약을 없애는 방향으로도 최적화될 수 있습니다. 그래서 무엇을 바꿀 수 없는지를 먼저 못 박아야 합니다.
가드레일의 핵심은 개선 대상과 잠금 대상을 분리하는 것입니다. 프롬프트와 라우팅은 바꿀 수 있어도, 안전 정책과 권한 경계는 개선 루프 밖에서만 변경할 수 있어야 합니다.
정책 잠금과 최소 권한
정책 잠금은 안전 규칙과 평가 기준을 개선 에이전트가 읽을 수는 있어도 수정할 수 없는 영역에 두는 것입니다. 최소 권한은 개선 에이전트가 실제로 필요한 도구와 데이터에만 접근하게 제한하는 것입니다. 두 장치가 함께 있어야 개선이 제약을 우회하지 못합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 잠금 대상과 허용 범위를 명시적으로 정의합니다. 예를 들어 안전 정책 수정 시도 0건, 권한 상승 시도 0건, 잠금 영역 접근 실패는 즉시 경보로 둡니다. 허용된 변경조차 위험도별로 등급을 나눠, 고위험 변경은 사람 승인을 강제합니다. 잠금은 코드뿐 아니라 문서에도 남겨, 새 인력이 합류해도 경계가 흔들리지 않게 합니다.
실패 패턴 중 위험한 것은 간접 우회입니다. 개선 에이전트가 정책을 직접 바꾸지 못하더라도, 정책을 무력화하는 프롬프트를 만들어 우회할 수 있습니다. 이를 막으려면 개선안을 적용하기 전에 안전 규칙 위반 여부를 별도 검증기로 확인하고, 위반이 한 건이라도 발견되면 점수 향상과 무관하게 전체를 폐기합니다. 복구 전략으로, 잠금 영역 접근이나 권한 상승이 감지되면 서킷 브레이커가 즉시 개선을 중단하고 직전 안정 상태로 되돌립니다.
운영 체크리스트에는 레드팀 검증을 상시로 포함합니다. 정기적으로 정책을 우회하려는 적대적 입력을 주입해 가드레일이 실제로 작동하는지 확인합니다. 모든 변경 제안, 검증 결과, 잠금 위반 시도, 승인자를 하나의 감사 로그로 묶어 사후 추적을 보장합니다. 민감 권한과 시크릿이 로그로 노출되지 않도록 마스킹 규칙도 유지합니다.
지속 개선 루프는 주간 단위로 가드레일이 차단한 사례와 레드팀 결과를 리뷰합니다. 새로 발견된 우회 경로는 즉시 잠금 규칙에 반영해 경계를 넓힙니다. 가드레일은 한 번 설정하고 방치하는 벽이 아니라, 새로운 공격 표면을 반영해 계속 강화되는 방어선이어야 합니다.
실행 요약
정리하면 RSI의 안전은 무엇을 바꿀 수 없는지를 못 박는 데서 시작합니다. 안전 정책과 평가 기준을 잠그고, 최소 권한으로 변경 범위를 제한하며, 별도 검증기와 서킷 브레이커로 우회를 차단해야 합니다. 레드팀으로 새 우회 경로를 찾아 잠금 규칙을 계속 강화하면 자기개선이 제약을 넘지 않습니다.