토큰 87% 줄여 정확도는 2배로: CORAL 장기 실행 에이전트 작업기억 리뷰

원문 정보

Zheng Zhu, Xiaozhuan Liang, Xi Chen, Bei Yu, Jiaya Jia, "Don't Lose the Thread: Empowering Long-Horizon LLM Agents with Cognitive Resource Self-Allocation", arXiv:2610.40350 [cs.CL], 2026-10-29 제출, DOI 10.48550/arXiv.2610.40350. 소속: 홍콩중문대(CUHK)·텐센트·홍콩과학기술대(HKUST). 연구비: 홍콩 연구지원위원회(RGC) Areas of Excellence 과제(AoE/E-601/22-R).

동료심사를 거치지 않은 arXiv 프리프린트입니다. 저자 다수가 텐센트 소속을 함께 표기하고 있어 산업계 이해상충이 있고, 반면 연구비 출처는 홍콩 정부의 학술 지원 과제로 기업 자금과는 별개입니다. 평가에 쓰인 주 백본 중 하나(Qwen3-8B)는 저자 소속 기업과 무관한 오픈웨이트 모델이고, 데이터 합성에는 Claude Sonnet 4와 자체 백본 모두가 쓰여 특정 벤더 편향을 줄이려는 설계로 보입니다. 이번 실행 세션은 egress가 전면 차단된 상태였으며(대조군 example.com·arxiv.org 모두 프록시 정책에서 CONNECT 403으로 차단), GitHub Actions 수집 워크플로를 수동 발화해 확보한 원문 전문을 2026-10-30T22:09:15Z 기준 1차 출처 스냅숏으로 대조했습니다.

연구 개요

장기 실행 LLM 에이전트는 사고-행동-관찰 루프를 반복할수록 컨텍스트에 실패한 시도의 로그와 장황한 환경 피드백이 쌓여, 계획·추론 능력이 점차 저하되는 "인지 과부하"를 겪습니다. 저자들은 이를 인간의 작업기억 과부하에 대한 처방인 "인지적 외부화(cognitive offloading)"에서 착안해 해법을 제시합니다.

COgnitive Resource Self-ALlocation(CORAL)은 에이전트가 직접 호출하는 두 개의 도구로 구성됩니다. Memory Management(MM)는 작업 진행 상황과 확인된 사실을 체크포인트로 기록하고, Context Optimization(CO)은 에이전트가 컨텍스트가 과도하게 어지럽혀졌다고 판단할 때 대화 이력을 비우고 체크포인트만 남긴 새 에피소드를 시작합니다. 두 도구 모두 고정 주기나 외부 제어기가 아니라 에이전트 자신의 판단으로 호출된다는 점이 핵심 설계입니다. 학습은 2단계로, 지도미세조정(SFT)으로 체크포인팅 능력을 심은 뒤, 트라젝토리 보상을 에피소드 경계를 넘어 전파하는 Multi-episode ARPO(DAPO의 확장)로 체크포인팅 전략 자체를 강화학습합니다. 평가는 GAIA(103문항 검증셋), 5종 멀티홉 지식QA, BrowseComp에서 이뤄졌습니다.

핵심 결과

GAIA에서 Qwen3-8B 기준 CORAL의 단계별 성능은 다음과 같습니다(원문 Table 1, Pass@1/Avg@8). 평균은 39/52/12문항 가중 평균으로 직접 검산해 원문 표기와 일치함을 확인했습니다.

평균만 보면 CK-Pro-8B(43.7%)가 CORAL(42.8%)보다 높지만, 그 우위는 Level 1에만 몰려 있습니다(56.4% vs 46.2%). CORAL은 Level 2(45.7% vs 42.3%)에서 앞서고 Level 3(19.8% vs 8.3%)에서는 2배 넘게 차이가 납니다 — 컨텍스트가 길어질수록 효과가 커지는 설계 의도와 일치합니다. Claude Sonnet 4에 CORAL을 프롬프팅만으로 얹으면 평균 65.0%로, OpenAI Deep Research(67.4%)에 근접합니다(ReAct 기준선 60.2%).

비용 측면은 Qwen3-8B의 GAIA 824개 평가 트라젝토리(103문항×8회) 전수 계측 결과입니다(원문 Table 2). 총 토큰 기준 ReAct 1,078K에서 CORAL RL 136K로 줄어든 비율을 직접 계산하면 (1078−136)/1078=87.4%로, 원문이 표 설명에 명시한 수치와 일치합니다.

학습된 모델일수록 CO(컨텍스트 리셋) 호출은 오히려 줄어듭니다(프롬프팅만 4.3회 → SFT+RL 0.21회). 학습이 가르치는 것은 "더 자주 리셋"이 아니라 "더 잘 체크포인트"하는 능력이라, 상태를 제대로 기록해 둔 에이전트는 리셋이 필요할 만큼 어지러워지지 않는다는 뜻입니다. 학습 없이 프롬프팅만 적용한 BrowseComp(150문항, Claude Sonnet 4) 비교에서는 CORAL이 30.7%로 ReAct의 22.7%보다 8.0%p 높았는데, 이것이 저자들이 측정한 벤치마크 중 가장 큰 격차입니다. 다만 백본별 재현에서 Qwen2.5-7B-Instruct는 도구 4개를 JSON으로 안정적으로 호출하지 못해 프롬프팅만으로는 오히려 3.9%p 떨어졌고(SFT 적용 시 17.5%→34.4%로 역전), 약한 백본에는 프롬프팅만으로 CORAL을 얹는 것이 오히려 해가 될 수 있음을 보여줍니다.

신뢰도 평가

믿을 근거는 세 가지입니다. 첫째, GAIA의 평균-급간 분해가 수치적으로 일관됩니다(가중 평균 직접 검산 일치). 둘째, GAIA·5종 지식QA·BrowseComp라는 성격이 다른 세 평가 모두에서 CORAL이 기준선을 앞섰습니다. 셋째, 비용 비교가 같은 Qwen3-8B 백본·같은 824개 트라젝토리에서 이뤄져 모델 효과와 방법 효과가 섞이지 않습니다.

감안할 점도 명확합니다. BrowseComp 비교는 "계산 비용이 과도해" 전체가 아니라 첫 150문항만 평가했고 학습 없이 Claude Sonnet 4라는 단일 백본에서만 확인됐습니다. GAIA Level 3는 전체 12문항뿐이라 표본이 작습니다. 본문은 RL이 실행 간 표준편차를 3.5%에서 1.9%로 줄였다고 밝히지만 이는 부록(Appendix B)의 수치를 본문에서 인용한 것으로, 이번 대조에서는 부록 표 자체를 확인하지 못했습니다. 이해상충(텐센트 공동저자)은 있으나 벤치마크 자체는 저자 소속과 무관한 공개 데이터셋(GAIA, HotpotQA 등)입니다. 상반된 시각으로는, 아래 관련 연구의 MEM1이 고정 주기 압축만으로도 효율 개선이 가능하다고 주장합니다 — CORAL의 "에이전트 자율 판단이 필요하다"는 전제와 정면으로 배치되지는 않지만, 규칙 기반 압축의 한계를 CORAL만큼 명확히 긋지는 않습니다.

관련 연구

• Zhou et al. (2025). MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents — 선행(prior)이자 대조. 매 함수 호출 뒤 고정 일정으로 압축하는 end-to-end RL 프레임워크로, CORAL이 본문 §5에서 "고정 일정은 유용한 정보를 버리고 상위 계획을 흐트러뜨릴 수 있다"고 직접 대조한 선행 연구입니다. CORAL은 압축 시점을 에이전트 판단에 맡긴다는 점에서 다릅니다.
• Yu et al. (2025). MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent — 선행(prior). 고정된 긴 문서를 구간별로 읽으며 고정 크기 메모리를 덮어쓰는 방식으로, CORAL 본문이 "정적 입력을 겨냥한다"고 구분한 연구입니다. CORAL은 상호작용으로 동적으로 늘어나는 컨텍스트를 다룬다는 점에서 적용 대상이 다릅니다.
• Wei et al. (2025). BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents — 벤치마크 원전(benchmark-origin). CORAL이 일반화 검증에 쓴 BrowseComp의 원 논문으로, 다수 홉 웹 탐색을 요구해 컨텍스트 관리 실패가 가장 뚜렷이 드러나는 평가셋입니다.

세 선행 연구는 모두 "컨텍스트 비대화를 어떻게 다스리는가"라는 같은 문제를 겨냥하지만 해법이 다릅니다 — MEM1·MemAgent는 규칙·구조로 압축 시점과 크기를 고정하고, CORAL은 그 판단 자체를 에이전트에게 맡깁니다. 이번 대조에서는 세 선행 연구의 자체 수치는 WebSearch로 저자·연도·주장만 독립 확인했을 뿐 원문 표를 직접 열어 검증하지는 못했으므로, 위 서술은 관계 설명에만 한정했습니다.

리뷰어 판단

첫째, "CK-Pro-8B가 평균에서 CORAL을 앞선다(43.7% vs 42.8%)"는 문구만 보면 CORAL이 열세로 읽히지만, 이는 오독이라고 판단합니다. 격차가 전부 Level 1에 몰려 있고 CORAL은 가장 어려운 Level 3에서 2배 넘게 앞섭니다. 실제 운영에서 과제 난이도가 혼재한 워크로드라면, 단일 평균이 아니라 난이도별 분해를 보고 도입 여부를 판단해야 합니다.

둘째, BrowseComp의 8.0%p 우위를 "가장 큰 격차"로 강조하는 초록의 서술은 신중하게 받아들여야 한다고 봅니다. 150문항·단일 백본(Claude Sonnet 4)·무학습 조건이라는 세 겹의 제약이 있어, 이 수치가 다른 백본이나 전체 문항에서도 재현될지는 이 논문만으로 확인할 수 없습니다. 가장 인상적인 숫자가 가장 검증이 얕은 숫자이기도 합니다.

셋째, Qwen2.5-7B-Instruct의 프롬프팅 단독 성능 하락(-3.9%p)은 논문이 부록으로 돌린 결과지만 실무적으로는 본문 결과보다 중요하다고 판단합니다. "에이전트가 직접 도구를 호출해 자기 컨텍스트를 관리한다"는 설계는 도구를 안정적으로 다룰 능력이 없는 백본에서는 오히려 역효과를 낼 수 있다는 경계 조건을 보여주기 때문입니다.

실무 적용

• 에이전트 호출형 체크포인트 도구 검토 — 고정 주기 압축 대신, 진행 상황·확인된 사실을 에이전트가 스스로 기록·리셋하게 하는 도구를 백본이 충분히 강할 때 우선 검토합니다.
• 트라젝토리당 토큰·호출 수 계측 — 하니스 변경 평가에 정확도만이 아니라 입력 토큰·LLM 호출 수·최대 컨텍스트 길이를 함께 추적합니다. 이 논문에서는 토큰 절감이 비용 문제가 아니라 정확도 신호였습니다.
• 약한 백본에는 학습 없이 도구만 얹지 않기 — JSON 도구 호출이 불안정한 모델에 프롬프팅만으로 다중 도구를 추가하면 오히려 성능이 떨어질 수 있습니다(Qwen2.5-7B-Instruct 사례).
• 난이도별 분해 평가 — 단일 평균 지표로 하니스 교체를 결정하지 말고, 과제 난이도·horizon 길이별로 나눠 어디서 이득이 나는지 확인합니다.
• 대규모 일반화 주장은 축소 검증으로 다시 확인 — 소규모 서브셋·단일 백본으로 얻은 일반화 수치는 자체 파이프라인에서 더 넓은 샘플로 재확인한 뒤 의사결정에 반영합니다.

결론

CORAL의 기여는 컨텍스트 관리를 규칙이 아니라 에이전트 자신의 판단에 맡기면서도, 토큰 절감과 정확도 향상을 동시에 얻어낸 데 있습니다. GAIA에서 ReAct 대비 토큰을 87.4% 줄이면서 정확도를 2배 이상으로 끌어올렸고, 그 이득은 가장 어려운 장기 과제에 집중됐습니다. 다만 BrowseComp 일반화 증거는 작은 표본·단일 백본에 기댔고, 약한 백본에서는 학습 없이는 역효과가 날 수 있다는 경계 조건도 함께 남습니다. 텐센트 공동저자로 인한 이해상충은 있지만 평가 자체는 공개 벤치마크로 이뤄졌습니다. 에이전트가 자체적으로 컨텍스트를 편집·관리하게 하는 설계를 운영에 들여오려는 조직은 에이전트 컨텍스트 편집 도입 운영 가이드를 함께 참고할 만합니다.

참고 링크

• Don't Lose the Thread: Empowering Long-Horizon LLM Agents with Cognitive Resource Self-Allocation — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용
• 에이전트 컨텍스트 편집 도입 운영 가이드 — sunny34.com 블로그