무엇을 언제 하나로 합칠 것인가
스트리밍으로 쌓이는 대화·행동 기록을 4천 토큰 안팎의 예산에 맞춰 압축하려면 두 가지를 결정해야 합니다. 새로 들어온 청크를 기존 클러스터("atom")에 합칠지 새 클러스터로 둘지 정하는 병합 규칙(코사인 임계값 τ), 그리고 검색된 클러스터를 프롬프트에 어떻게 배치할지(클러스터 단위 헤더로 묶기 vs 평평하게 나열)입니다. 최근 arXiv 프리프린트(2609.04915)는 이 두 요소를 2×3 요인설계로 분리해 AMA-Bench와 RealMem 두 벤치마크에서 검증했습니다.
결과가 실무에 주는 신호는 반직관적입니다. 검색 랭킹 규칙 자체의 기여는 클러스터링·패킹을 고정하면 통계적으로 사라졌지만(p=.40), 병합 규칙은 K-Means 대비 +5.7%p, 클러스터 단위 패킹은 평평한 나열 대비 +5.02±1.00%p를 각각 설명했습니다. 검색 알고리즘을 고도화하는 데 리소스를 먼저 쓰는 흔한 순서가, 적어도 이 데이터에서는 레버가 아닌 곳에 힘을 쏟는 셈입니다.
이득에는 경계가 있다
4천 토큰 예산에서 이 방식은 Full-Context 품질의 83%를 토큰의 32%로 재현했습니다(0.311/0.373). 4개 시드 평균으로는 Online K-Means 대비 +3.5~6.0%p, Streaming-PCA(Oja) 대비 +4.6~9.5%p 우위를 보였습니다. 하지만 도메인별 분해에서는 6개 중 4개(OPENWORLD-QA·WEB·TEXT2SQL·SOFTWARE)에서 이겼을 뿐, EMBODIED-AI(-2.68%p, p=.042)와 Game(-1.58%p)에서는 오히려 K-Means에 밀리거나 차이가 없었습니다.
이 역전은 논문 부록에만 실려 있고 초록·결론에는 반영되지 않았습니다. 저자들 스스로 압축 메모리의 이득이 "충분히 반복되는 잠재 구조가 있는 스트림"에서만 난다고 설명하는데, 두 도메인의 역전이 정확히 그 조건을 벗어난 사례로 읽힙니다. 도입 여부를 벤치마크 평균 하나로 판단하면 이 경계를 놓칩니다.
설계에서 운영까지: 압축 메모리 클러스터링 도입 게이트
(a) 기획 단계에서는 도입 전 목표부터 수치로 못박습니다. 토큰 예산 2~5k 구간에서 Full-Context 대비 품질 80% 이상, 기존 검색 방식(K-Means·BM25-RAG 등) 대비 도메인별 델타 최소 +2%p, 도입 전 전체 서비스 도메인의 사전 평가 커버리지 100%를 시작선으로 둡니다. 12k 토큰 이상을 이미 쓸 수 있는 구간은 대상에서 제외해야 비교 자체가 왜곡되지 않습니다.
(b) 실패 패턴은 네 갈래로 반복됩니다. 첫째, 검색 랭킹 튜닝에 공수를 먼저 배정하고 병합 임계값·패킹 방식은 기본값으로 남기는 경우입니다. 둘째, 벤치마크 평균 점수만 보고 전 도메인에 일괄 롤아웃해 EMBODIED-AI·Game류 도메인에서 품질이 떨어지는 것을 놓치는 경우입니다. 셋째, 임베딩 모델과 판정 모델을 각 1종만 검증해 다른 스택으로 옮겼을 때 재현되지 않는 경우입니다. 넷째, LoCoMo·LongMemEval처럼 압축 메모리의 우위가 약해지는 데이터 특성을 사전에 걸러내지 못하는 경우입니다.
(b') 도메인별 사전 평가에서 델타가 음수로 나오면 해당 도메인은 압축 메모리 대신 Full-Context나 기존 K-Means 경로로 자동 폴백시킵니다. 폴백은 배포 롤백이 아니라 라우팅 분기로 처리해 도메인이 늘어날 때마다 같은 표에 항목만 추가하면 되게 만듭니다.
(c) 운영 체크리스트는 병합 임계값 튜닝을 검색 규칙보다 먼저 배정하고, 클러스터 단위 패킹과 평평한 나열을 A/B로 비교해 격차를 실측하며, 배포 전 6개 이상의 대표 도메인으로 홀드아웃 세트를 구성해 역전 여부를 확인하는 순서로 짭니다. 로그에는 도메인 태그, 토큰 사용량, 병합 임계값, 패킹 방식을 남겨야 다음 분기 비교가 가능합니다.
(d) 분기마다 도메인별 델타 표를 다시 측정하고, 폴백 목록에 새로 추가되거나 빠진 도메인이 있는지 확인합니다. 임베더나 판정 모델을 교체할 때는 반드시 이 표 전체를 재검증 대상에 넣어, 단일 스택에서만 유효했던 우위가 새 스택에서도 유지되는지 다시 확인합니다.
바로 쓰는 체크리스트
압축 메모리 클러스터링은 2~5k 토큰 구간에서 토큰 32%로 품질 83%를 낼 수 있는 기법이지만, 우위의 대부분은 검색 규칙이 아니라 병합 임계값과 클러스터 패킹에서 나옵니다. 도메인별 사전 평가와 음수 델타 자동 폴백을 게이트에 넣지 않으면 EMBODIED-AI·Game 같은 도메인에서 오히려 손해를 볼 수 있습니다.
참고 링크
Compact-Memory LLM Agents via Online Max-Member Clustering and Atom-Aware Packing — arXiv