행동을 쪼개면 보상도 쪼개야 한다

AgenticRag-R1은 <think>·<search>·<plan>·<summary>·<backtrack>·<conclusion> 여섯 행동을 계층적으로 나누고, 궤적 전체에 하나의 보상을 주던 기존 RL 기반 에이전틱 RAG와 달리 행동별로 다른 보상을 부여합니다. Qwen2.5 1.5B·3B·7B 세 백본에 GRPO 계열 강화학습으로 학습시킨 뒤 7개 멀티홉 QA 벤치마크로 평가한 결과, 세 백본 모두에서 평균 F1이 최강 베이스라인 대비 3.27~5.58%p 높았습니다. 정보 획득량이 낮은 궤적을 걸러내는 별도 필터까지 결합했다는 점에서 단순한 보상 세분화 이상의 설계입니다.

평균 표 한 장으로는 배포 여부를 못 정한다

문제는 이 우위가 스텝 예산과 무관하지 않다는 점입니다. Bamboogle 벤치마크에서 최대 스텝을 10으로 제한하면 AgenticRag-R1은 10.03%에 그쳐 베이스라인 Search-R1의 37.05%에 크게 못 미쳤습니다. 같은 조합을 30스텝까지 늘리면 AgenticRag-R1이 35.47%로 올라서고 Search-R1은 오히려 28.19%로 내려앉아 순위가 뒤바뀝니다. 평균 성능표만 보고 채택하면, 지연시간 제약으로 스텝 수를 낮게 묶어야 하는 서비스에서는 오히려 손해를 볼 수 있습니다.

현장 적용 가이드: 메모리형 에이전틱 RAG 스텝 예산·보상 분리 체크리스트

도입을 검토하는 팀이 먼저 할 일은 벤치마크 재현이 아니라 서비스가 감당할 스텝 상한을 정하는 것입니다. p95 응답 시간 목표를 스텝당 평균 소요 시간으로 나누면 실서비스에서 쓸 수 있는 최대 스텝 수가 나옵니다. 이 값이 20 아래면 이런 프레임워크의 이점이 줄어들 가능성이 높으므로, 목표 F1 델타를 최강 베이스라인 대비 +3%p 이상으로 잡고 그 상한 안에서 채택 여부를 재평가해야 합니다. 백본 크기에 따라 개선폭도 갈립니다 — 1.5B의 +3.27%p가 7B에서는 +5.58%p로 커지므로, 소형 백본으로 비용을 낮추는 팀은 기대 이득을 보수적으로 잡아야 합니다.

보상 설계를 하나로 뭉치는 것도 흔한 실패 경로입니다. 메모리 관련 보상을 제거하면 도메인 밖 벤치마크인 MusiQue 성능이 16.48%에서 7.63%로 절반 이하로 줄었지만, RAG 보상은 2Wiki·HotpotQA 같은 도메인 내 벤치마크에 더 크게 기여했습니다. 두 보상이 서로 다른 실패 모드를 담당하므로 운영 중 하나만 튜닝하면 나머지 지표가 조용히 나빠집니다. 개별 행동 중에서는 Backtrack 제거 손실이 가장 컸습니다(평균 F1 -3.85%p, Plan 제거는 -1.95%p) — 되짚는 행동이 로그에서 누락되면 파이프라인 품질이 가장 먼저 흔들린다는 뜻이므로 관측 우선순위를 여기 둡니다.

배포 전 검증에서는 논문이 보고한 벤치마크 수치를 그대로 신뢰하지 말아야 합니다. 표에 인용된 베이스라인 값 상당수가 저자 자체 재현치일 뿐 외부 검증을 거친 값이 아니므로, 사내 데이터셋과 실제 스텝 상한으로 최소 1회는 직접 재현합니다. 서비스 상한과 그 두 배 지점 두 군데에서 함께 측정해 역전 여부를 확인하고, 운영 로그에는 스텝별 행동 타입·행동별 보상 값·궤적 종료 시점의 정보 획득량을 필수 필드로 남겨 저하 원인을 가려냅니다.

학습 방식도 개선 여지가 있습니다. RL만 썼을 때 평균 F1은 33.55%였지만 SFT로 초기화한 뒤 RL을 얹으면 35.20%까지 올랐으므로 콜드 스타트 SFT 데이터를 확보해 두는 편이 유리합니다. 릴리스마다 스텝 예산별 성능을 별도 표로 남겨 두면 다음 모델 교체 때도 같은 표에 숫자만 채우면 되는 재현 가능한 절차가 됩니다.

한눈에 보는 적용 포인트

메모리형 에이전틱 RAG는 평균적으로 강한 베이스라인을 앞서지만 그 우위는 스텝 예산에 강하게 좌우됩니다. 서비스가 감당할 스텝 상한을 먼저 정하고 그 안에서 재평가하며, 메모리 보상과 RAG 보상을 분리해 모니터링하고 Backtrack 손실을 우선 관측하면 표 한 장으로는 보이지 않는 배포 리스크를 줄일 수 있습니다.

참고 링크

AgenticRag-R1: Agentic Reinforcement Learning with Stack Memory for Multi-Step Reasoning, Retrieval and Memorizing — arXiv

짧은 스텝 예산에서는 밀린다: 스택 메모리 에이전틱 RAG(AgenticRag-R1) 리뷰 — sunny34.com 리서치