구조는 정확도를 못 높였다, 근거 압축은 토큰 38% 줄였다 — RAGFlow 에이전틱 검색 리뷰

원문 정보

Zhichang Yu, Baining Cao, Sbaaoui Idriss, Qi Wang, Gangqiang Xu, Ling Qin, Xiaoling Jin, An Liu, Shaohao Cai, Xiaoyang Bao, Shengle Chen, Changchang Ding, Pengfei Zhu, Jingxiang Xu, Yifeng Mao, Lu Liu, Hai Jin, Yingfeng Zhang, "Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses", arXiv:2610.41172 [cs.IR], 2026-10-30 제출. 소속: InfiniFlow Inc.(상하이), 화동사범대학교(ECNU). 라이선스 CC BY-NC-SA 4.0. 설명한 시스템은 오픈소스 RAGFlow 프로젝트(github.com/infiniflow/ragflow)로 공개돼 있습니다.

동료심사를 거치지 않은 프리프린트입니다. 교신저자를 포함한 저자 18명 중 16명이 RAGFlow를 만드는 회사 InfiniFlow 소속이고, 논문이 측정한 기본 서빙 모드(E2: 근거 치환)는 그 회사가 실제로 배포 중인 기본값과 같습니다 — 자사 제품의 설계 선택을 벤치마크로 정당화하는 구조라는 이해상충이 있습니다. 외부 자금 출처 표기는 없습니다.

연구 개요

질문은 두 가지입니다. 검색 하니스(LLM이 직접 질의를 쓰고 결과를 읽고 재질의하는 루프)가 이미 정확도를 상당 부분 해결했다면, 사전에 LLM으로 문서를 가공해 두는 "지식 컴파일"(요약 트리·지식그래프·온톨로지·위키 등)이 여전히 추가 가치를 주는지, 준다면 어떤 축에서인지입니다. 실험은 벡터 인덱스 없이 BM25와 grep만 쓰는 하니스에 MiniMax M3를 답변 모델로 고정하고, FRAMES(다중 문서 사실 결합이 필요한 멀티홉 QA, 위키백과 기반)와 BrowseComp-Plus(단일 질의형, 토큰 소모가 큰 탐색)에서 측정합니다. 밀집 검색(벡터)은 모든 조건에서 제외했는데, 저자들은 하니스가 질의를 재구성하는 과정이 이미 의미적 역할을 하기 때문에 밀집 레그를 더하면 오히려 정확도가 떨어졌다고 밝힙니다. 구조화 아티팩트(요약 트리·개체관계 그래프·LLM 위키)와, 저자들이 직접 측정 가능하다고 못박은 메커니즘인 "클레임-증거 쌍"(원문에서 그대로 복사한 근거 문장과 그 요약을 짝지어 저장) 두 갈래로 비교합니다.

핵심 결과

먼저 구조 자체의 효과입니다. 경쟁력 있는 하니스 위에서는 RAPTOR식 요약 트리, PageIndex식 목차 트리, 개체관계 그래프, LLM 위키 모두 FRAMES 정확도를 유의하게 올리지 못했습니다. PageIndex식 트리는 대규모에서는 오히려 손실(negative)로 나타났습니다.

두 번째는 토큰 경제성입니다. 같은 클레임-증거 트리를 "근거 치환"(E2) 방식으로 서빙하면 — 하니스가 찾은 청크를 원문 대신 근거 요약으로 바꿔 제공 — 근거가 충분할 때 쿼리당 토큰이 91% 줄고, 부족해 원문을 다시 읽어야 할 때는 1.9% 늘어 평균 38% 절감됩니다(N=200 질문, 미확정 조건 제외분 제외). 이 비대칭에서 손익분기 충분율은 2.0%로 계산되고, 실측 평균(−38%)이 함의하는 충분율은 약 43%입니다(원문 수식 5·6, 산술 재검산 완료 — 0.019/0.929=2.0%, (0.38+0.019)/0.929=43%).

주의할 점은 위 −52%·140→30초(결정 게이트 포함, 그룹 평균)와 −38%(조건별 분할 평균)가 서로 다른 집계 기준이라는 사실입니다. 같은 표의 "FRAMES 평균" 행은 충분/부족 두 조건을 가중 평균한 값이고, "결정 게이트" 행은 게이트가 있는 그룹 전체의 평균이라 직접 비교할 수 없습니다. 별도로, 게이트 없이 근거 치환만 켠 7개 질문짜리 대조(두 조건 모두 답한 질문만)에서는 토큰이 절반으로 줄되 지연시간은 3배로 늘었습니다 — 치환이 원문 한 번 읽기를 여러 번의 검색 왕복으로 바꾸기 때문입니다. 즉 토큰 절감은 지연시간을 사들여서 얻은 것이고, 결정 게이트는 그 지연시간을 다시 줄이는 별도 장치입니다.

세 번째는 게이트의 신뢰성입니다. 게이트의 "수락률"(43%)은 수락한 근거가 실제로 충분했는지(정확도)와 같은 값이 아닙니다. 저자들은 이 둘을 분리하는 추정식(원문 식 10·11)을 제시하지만, 100~400건 표본의 라벨링 감사가 설계만 돼 있고 아직 실행되지 않았다고 명시합니다 — "정확도 손실 없음"이라는 결론은 이 감사가 끝나기 전까지는 유보적으로 읽어야 합니다.

신뢰도 평가

동료심사 전 단계이며, 위에서 밝힌 대로 저자 대다수가 평가 대상 시스템(RAGFlow)의 제작사 소속이라는 이해상충이 뚜렷합니다. 저자들 스스로도 §8.8에서 한계를 명확히 적어 뒀습니다 — 신뢰구간과 반복 시드 없이 단일 실행으로 측정했고, 91%/1.9%라는 핵심 수치는 모집단 추정치가 아니라 "측정된 운영 지점"이라고 못박습니다. FRAMES는 영어·위키백과 기반이라 표·스캔본·전문용어가 많은 기업 코퍼스에서는 추출 품질이 낮아져 결과가 달라질 수 있다는 점도 저자들이 직접 언급합니다. 상반 증거로는 RAPTOR 원 논문이 QuALITY 벤치마크에서 GPT-4와 결합해 20%p 수준의 절대 정확도 향상을 보고한 사례가 있습니다 — 이번 논문은 다른 벤치마크(FRAMES)·다른 하니스(반복 검색형) 위에서 같은 구조(RAPTOR식 트리)가 "중립"이라고 보고하므로, 두 결과가 직접 충돌한다기보다 "하니스가 약할 때는 구조가 돕고, 하니스가 이미 강할 때는 구조의 몫이 줄어든다"는 조건부 결론으로 읽는 것이 안전합니다.

관련 연구

세션 egress가 전면 차단된 상태라 관련 문헌은 원문 재열람 대신 WebSearch로 독립 식별·확인했습니다. 아래 문헌 자체의 수치는 관계 서술에만 쓰고, 이번 리뷰의 "핵심 결과"에는 포함하지 않았습니다.

• Sarthi et al.(2024, ICLR). RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval — 선행 연구(prior)이자 이번 논문의 구조적 베이스라인. QuALITY 벤치마크에서 GPT-4와 결합해 절대 정확도 20%p 개선을 보고했습니다. 이번 논문은 같은 방식의 트리를 FRAMES에서 "정확도 중립"으로 보고해, 구조의 효과가 벤치마크·하니스 강도에 따라 달라질 수 있음을 보여줍니다.
• Sen et al.(2026). Is Grep All You Need? How Agent Harnesses Reshape Agentic Search — 선행 연구(prior). LongMemEval 기반 비교에서 인라인 전달 시 grep 검색이 93.1%로 높았지만, 파일 기반 전달에서는 벡터 검색이 10쌍 중 5쌍에서 더 높게 나와 "렉시컬 검색이 항상 우월하다"고는 명시적으로 주장하지 않습니다. 이번 논문의 "BM25/grep만으로 91%" 주장과 방향은 같지만 보편성은 제한적이라는 점을 보완합니다.
• Li et al.(2026, NeurIPS). Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction — 선행 연구(prior)이자 이번 논문이 §1·§2.1에서 직접 인용하는 전제. 임베딩·인덱스 없이 grep·파일 읽기만으로 BRIGHT·BEIR·BrowseComp-Plus·멀티홉 QA에서 희소·밀집·재랭킹 기준선과 경쟁력 있거나 우월하다고 보고해, 이번 논문이 밀집 레그를 배제한 설계 근거가 됩니다.

세 선행 연구를 종합하면 "하니스가 충분히 좋아지면 검색 구조의 몫이 줄어든다"는 흐름이 일관되게 나타나지만, RAPTOR 원 논문처럼 하니스가 약한 조건에서는 구조가 실제로 정확도를 끌어올린 사례도 있어 이번 논문의 결론을 일반 법칙이 아니라 "강한 하니스 전제" 조건부 결론으로 읽어야 합니다.

리뷰어 판단

첫째, 이 논문의 가장 실무적인 기여는 "구조가 정확도를 높인다"는 통념을 뒤집은 것이 아니라, 구조의 가치를 정확도 축과 비용·거버넌스 축으로 분리해 각각 다른 지표로 평가하라고 요구한 점이라고 판단합니다. 표 2의 "두 원장" 설계 — 벤치마크 정확도와 배포 지표를 별도로 관리하라는 제안 — 는 사내에서 RAG 투자를 정당화할 때 "정확도가 안 올랐으니 실패"라고 섣불리 결론 내리는 오류를 막아줍니다.

둘째, 토큰 절감(최대 91%)이 헤드라인이지만 실무적으로는 지연시간 트레이드오프가 더 중요한 수치라고 판단합니다. 근거 치환만 켜면 같은 7개 질문 기준으로 지연시간이 3배로 늘었고, 이를 결정 게이트로 140초에서 30초로 되돌리는 구조입니다. 게이트 없이 치환만 들여오는 팀은 토큰 비용은 줄이고도 응답 속도가 느려지는 역설에 빠질 수 있습니다.

셋째, 벤더 자체 평가라는 한계를 감안하면 "정확도 손실 없음"이라는 결론은 신뢰도 평가에서 밝힌 대로 아직 미실행 상태인 100~400건 감사 전까지는 가설로 다루는 것이 맞다고 판단합니다. 수락률(43%)과 실제 충분율이 다를 수 있다는 점을 저자들이 스스로 수식으로 지적한 것은 투명하지만, 그 간극의 크기를 아직 아무도 모른다는 뜻이기도 합니다.

실무 적용

• 구조화 투자는 하니스 성능부터 확인 후 결정 — BM25·grep에 반복 탐색 루프를 얹은 하니스가 이미 목표 정확도에 가깝다면, 요약 트리·그래프 구축에 선투자하지 않습니다.
• 토큰 절감과 지연시간을 분리 관리 — 근거 치환(E2)만 넣으면 지연시간이 늘 수 있습니다. 응답 속도가 중요한 서비스라면 결정 게이트(E3)를 먼저 넣고, 토큰 비용은 그다음 최적화 대상으로 둡니다.
• 손익분기 공식을 자사 코퍼스로 역산 — 유한 쿼리 수 기준 손익분기(원문 식 9)는 코퍼스별 충분율에 따라 2%보다 훨씬 높아질 수 있습니다. 파일럿 전에 자사 질의의 충분율을 추정해 컴파일 투자 여부를 가늠합니다.
• 게이트 수락률과 정답률을 별도로 감사 — "게이트가 받아들였다"와 "근거가 실제로 충분했다"는 다른 질문입니다. 라벨링 표본(100건 이상)으로 거짓 수락률을 주기적으로 측정합니다.
• 온톨로지·그래프·위키는 정확도가 아니라 운영 지표로 평가 — 어휘 통제, 온보딩 시간, 감사 추적성처럼 벤치마크가 보지 못하는 지표로 별도 채점합니다.

결론

이 논문의 핵심은 "검색 하니스가 이미 강력해지면, 사전 구조화는 더 찾아내는 데는 쓸모가 없고 더 적게 읽히는 데만 쓸모가 있다"는 조건부 결론입니다. 근거만 압축해 제공하는 방식은 평균 토큰을 38% 줄이면서 정확도 손실 없이 작동했지만, 그 절감은 지연시간 증가와 맞바꾼 것이고 결정 게이트라는 별도 장치로 다시 되돌려야 합니다. 저자 다수가 평가 대상 시스템의 제작사 소속이라는 이해상충과, 단일 실행·미실행 감사라는 한계를 감안하면 수치는 방향 신호로 받아들이고 자체 코퍼스에서 재확인하는 것이 안전합니다. RAG를 컴파일형 지식 계층으로 재구성하는 운영 절차는 RAG를 컴파일형 지식 계층으로 옮기는 운영 기준에서 이어서 다룹니다.

참고 링크

• Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용
• RAPTOR(선행 연구) — arXiv
• Is Grep All You Need?(선행 연구) — arXiv
• Beyond Semantic Similarity(선행 연구) — arXiv
• RAG를 컴파일형 지식 계층으로 옮기는 운영 기준 — sunny34.com 블로그