자기개선 루프의 정의
재귀적 자기개선(RSI)은 에이전트가 자신의 프롬프트, 정책, 도구 사용 방식을 스스로 관찰하고 개선안을 만들어 다시 적용하는 구조입니다. 성능이 좋아진다는 점만 보고 접근하면 위험합니다. 자기개선은 통제하지 않으면 품질이 아니라 지표를 최적화하는 방향으로 흐르기 쉽기 때문입니다.
따라서 RSI의 핵심은 개선 능력이 아니라 개선을 검증하고 되돌리는 능력입니다. 스스로 바꿀 수 있는 범위와 절대 바꿀 수 없는 범위를 먼저 못 박아야 합니다.
제안·검증·승인 3단 구조
안전한 RSI 루프는 제안, 검증, 승인의 세 단계를 분리합니다. 개선 에이전트는 변경을 제안만 하고 직접 적용하지 않습니다. 검증 단계는 고정된 평가셋으로 이전 버전과 새 버전을 비교하고, 승인 단계는 사람 또는 별도의 보수적 판정기가 배포 여부를 결정합니다. 제안과 적용을 같은 주체가 하지 않는 것이 폭주를 막는 첫 번째 장치입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 개선의 성공을 수치로 정의합니다. 예를 들어 평가셋 점수 2% 이상 향상, 안전 규칙 위반 0건, 회귀 항목 0건을 동시에 만족할 때만 승격하도록 기준을 세웁니다. 하나의 지표만 올리는 개선은 다른 지표를 희생하는 경우가 많으므로, 반드시 복수 지표를 동시에 확인해야 합니다. 또한 개선 에이전트가 접근할 수 있는 영역을 프롬프트와 라우팅 규칙으로 한정하고, 평가 기준과 안전 정책 자체는 스스로 수정하지 못하도록 잠급니다.
실패 패턴 중 가장 위험한 것은 평가셋 과적합입니다. 자기개선이 반복되면 에이전트는 평가셋만 잘 통과하도록 미세하게 맞춰지고, 실제 사용자 입력에서는 오히려 나빠질 수 있습니다. 이를 막으려면 평가셋을 고정 세트와 회전 세트로 나누고, 일정 주기마다 새로운 실제 사례를 회전 세트에 주입해야 합니다. 개선안이 고정 세트에서만 좋아지고 회전 세트에서 나빠지면 즉시 기각합니다. 복구 전략으로는 모든 변경을 버전으로 남겨 한 번의 명령으로 직전 안정 버전으로 롤백할 수 있게 합니다.
운영 체크리스트에는 자기개선의 한계선을 명시합니다. 연속 승격 횟수 상한, 1일 변경 횟수 상한, 지표가 흔들릴 때 자동으로 개선을 중단하는 서킷 브레이커를 둡니다. 변경 제안, 평가 결과, 승인자, 적용 시각을 하나의 감사 로그로 묶으면 사후 추적이 쉬워집니다. 특히 안전 정책 위반이 한 건이라도 발견되면 점수 향상과 무관하게 전체 제안을 폐기하는 규칙이 필요합니다.
지속 개선 루프는 주간 단위로 승격된 변경과 기각된 변경을 함께 리뷰합니다. 어떤 유형의 제안이 자주 기각되는지를 보면 개선 에이전트의 프롬프트 자체를 조정할 근거가 생깁니다. 즉 RSI는 에이전트만 개선하는 것이 아니라 개선 프로세스 자체를 개선하는 이중 루프로 운영해야 지속 가능합니다.
실행 요약
정리하면 RSI의 안전성은 제안과 적용의 분리, 평가셋 과적합 방지, 한 번에 되돌리는 롤백에서 나옵니다. 복수 지표 동시 충족과 안전 정책 잠금, 서킷 브레이커를 갖추면 자기개선은 폭주 없이 품질을 누적합니다. 개선 프로세스 자체를 주기적으로 점검하는 이중 루프가 지속 가능성을 만듭니다.