캐시 재사용이 캐시 없음보다 나빠지는 지점

멀티에이전트 시스템에서 한 에이전트가 작성한 보고서를 다른 에이전트가 이어받아 KV캐시를 그대로 붙이면, 성능격차회복률(PGR)이 −.824까지 떨어집니다. 캐시를 아예 쓰지 않는 바닥선을 0으로 두면 이는 그보다도 낮은 수치로, 재사용이 오히려 손해라는 뜻입니다. 위치만 다시 맞춰 주는 무료 보정을 추가하면 PGR은 .243까지 올라오지만, 이 값도 완전 재계산 대비 절반에 못 미칩니다.

같은 재사용 기법이라도 RAG 문서 조각 트랙에서는 결과가 다릅니다. 단일 문서 질의는 위치 보정만으로 PGR .620을 얻어 준수하지만, 여러 출처를 동시에 종합해야 하는 다중홉 질의는 위치 보정 후에도 −.196로 여전히 마이너스입니다. 캐시 재사용 전략은 페이로드 종류(단일 문서·다중 소스·에이전트 보고서)별로 따로 검증해야 하는 이유입니다.

체크포인트를 바꾸면 학습 기반 재사용은 소리 없이 무너진다

재계산 없이 캐시를 압축·변환하는 학습 기반 어댑터 KVPacket은 같은 체크포인트에서는 상위권 성능을 냅니다. 그러나 서빙 체크포인트를 교체하는 순간 84개 방법-셀 조합 중 가장 크게 흔들려, 평균 PGR이 −.074 떨어지고 최악의 조합에서는 −.199까지 내려갑니다. 재계산·위치 보정 계열은 같은 교체에서 대부분 ±.02 안쪽에 머물렀습니다.

더 위험한 부분은 실패가 겉으로 드러나지 않는다는 점입니다. 답변은 유창하고 확신에 차 있지만 엉뚱한 개체를 지목합니다. 출력 로그만 보고 배포 상태를 판단하는 팀은 체크포인트를 올릴 때마다 이 하락을 놓치기 쉽습니다.

설계부터 운영까지: 멀티에이전트 캐시 재사용 안전 게이트 체크리스트

기획 단계에서는 위치 보정 이후의 PGR을 최소 합격선으로 선언합니다. 관측된 기준값(.243)을 그대로 쓰기보다 자사 페이로드로 같은 축을 재보되, 다중 소스 질의 비중이 요청의 30% 이상이면 재계산 기반 CacheBlend(재계산 약 15%, PGR +.11)나 RelayCaching(재계산 약 28%, +.08)을 저울질 대상에 올립니다.

캐시를 언제 노드에 상주시킬지도 숫자로 정합니다. 캐시 구축에 .44~.73초가 걸리므로, 같은 캐시를 2~3회 이상 재사용할 페이로드에만 상주 정책을 적용해야 구축 비용이 절감분을 넘지 않습니다. 캐시 적중 요청의 지연은 전면 재계산 대비 약 90% 줄어드는 만큼, 이 이득을 상주 판단의 상한선으로 함께 기록해 둡니다.

실패 패턴은 네 갈래로 나뉩니다. 첫째 위치 보정 없이 그대로 이어 붙이는 무보정 단순 결합, 둘째 체크포인트 교체 뒤 학습 어댑터가 소리 없이 무너지는 경우, 셋째 압축 계열이 단일 문서에서는 통과하고도 에이전트 보고서 트랙에서 유독 붕괴하는 경우, 넷째 다중 소스 질의를 위치 보정만으로 충분하다고 오판하는 경우입니다.

복구 분기는 자동화가 기본이어야 합니다. 체크포인트 교체 이벤트가 발생하면 학습 기반 어댑터 경로를 즉시 차단하고 위치 보정 경로로 강제 폴백한 뒤, 새 체크포인트에서 회귀 평가를 통과해야만 어댑터 경로를 재활성화합니다. 사람 승인을 기다리는 사이에도 조용한 오답은 계속 나갈 수 있습니다.

운영 체크리스트에는 위치 보정을 예외 없는 필수 단계로 못박습니다. 비용이 들지 않는데도 건너뛰면 캐시 없음보다 나쁜 결과를 자초하기 때문입니다. 로그 필드로는 캐시 히트 여부, 재사용 방법(무보정·위치보정·재계산·학습어댑터), 체크포인트 ID, 페이로드 트랙, 캐시 구축 시간을 필수로 남겨 사후 대조가 가능하게 합니다.

배포 전 시나리오 테스트에는 체크포인트 교체 시뮬레이션을 포함시킵니다. 신규 체크포인트로 학습 어댑터를 그대로 통과시켰을 때 84개 조합 중 몇 개가 임계선 아래로 떨어지는지 사전에 확인해야, 실제 교체 당일 조용한 정확도 하락을 배포 뒤에야 발견하는 사고를 막습니다.

지속 개선 루프는 페이로드별 표를 주 단위로 갱신하는 데서 시작합니다. 압축 설정은 단일 문서에서 통과했더라도 에이전트 간 보고서 전달처럼 페이로드 성격이 달라지면 다시 검증하고, 체크포인트가 바뀔 때마다 학습 어댑터 회귀 테스트를 별도 트랙으로 분리해 변경 이력을 남깁니다.

실행 요약

멀티에이전트·RAG 파이프라인에서 KV캐시를 재사용할 때는 위치 보정을 예외 없는 기본값으로 넣고, 다중 소스 질의 비중이 크면 재계산 기반 방법을 저울질하며, 학습 기반 어댑터는 체크포인트 교체 시 자동으로 위치 보정 경로로 되돌리는 게이트를 갖춰야 합니다. 무보정 결합이 PGR −.824로 캐시 없음보다 못하고, 학습 어댑터가 체크포인트 교체 뒤 소리 없이 −.199까지 무너진다는 두 수치가 이 게이트의 근거입니다.

참고 링크

KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints — arXiv

위치 보정만으론 부족하다: 멀티에이전트 KV캐시 재사용 KVShareArena 리뷰 — sunny34.com 리서치