같은 편집도 툴콜이면 손해: 토큰 36% 줄인 네이티브 컨텍스트 편집 NCE 리뷰

원문 정보

Yunlong Deng, Yan Li, Xing Hu, Yida Zhu, Sean Du, Weiyang Liu, Guangyi Chen, "Editing as Language: Teaching LLM Agents a Grammar for Native Context Editing", arXiv:2610.25550 [cs.AI], 2026-10-18 제출, DOI 10.48550/arXiv.2610.25550. 소속: 香港中文大学(CUHK)·난양공대(NTU)·메이투안 LongCat팀·무함마드 빈 자이드 AI대(MBZUAI)·카네기멜런대(CMU). 코드·프로젝트 페이지 공개, CC BY 4.0 라이선스.

동료심사를 거치지 않은 프리프린트입니다(cs.AI). 원문 전문은 세션 egress 차단으로 직접 열람하지 못해 GitHub Actions가 2026-10-20T22:07:58Z에 수집한 1차 출처 HTML 스냅숏으로 대조했습니다. 이해상충이 뚜렷합니다 — 1저자(Y. Deng)는 메이투안 인턴 재직 중 이 연구를 수행했고, 공동저자 소속에 "메이투안 LongCat팀"이 포함되며, 주 실험 모델 두 개 중 하나(LongCat-Flash-Lite-Sparse)가 메이투안 자사 모델입니다. 다만 두 번째 기반 모델로 오픈웨이트인 Qwen3.6-35B-A3B를 교차 검증에 썼다는 점은 자사 모델 편향을 줄이는 쪽으로 평가할 요소입니다.

연구 개요

질문은 하나입니다 — 에이전트의 컨텍스트 편집(요약·삭제·갱신)을 프롬프트 규칙이나 외부 툴콜이 아니라 모델 자신의 어휘로 내재화할 수 있는가. 저자들은 Native Context Editing(NCE)을 제안합니다. 컨텍스트를 주소가 붙은 블록으로 쪼개고, 모델 어휘에 전용 토큰 70개(주소 64개·연산자 3개·봉투 구분자 2개·잠금 표시 1개)를 추가해 제거·교체·추가 세 연산을 모델이 직접 생성하게 합니다.

학습 데이터는 기록된 궤적에 편집이 없다는 문제에서 출발합니다. 오프라인 교사가 전체 궤적을 사후에 읽고 각 블록이 "더 쓰이지 않는" 시점(해제 시점)을 사건을 인용해 판정하고, 온라인 교사는 해제된 블록만 보고 실제 편집을 생성합니다. 학습은 편집이 실행된 뒤의 컨텍스트 위에서 다음 구간을 구성하는 방식(진화하는 컨텍스트)으로 진행되며, 두 교사 모두 GLM 5.3이 맡아 약 18만 개 궤적에 주석을 달았습니다. 평가 모델은 LongCat-Flash-Lite-Sparse(69B-A3B)와 Qwen3.6-35B-A3B, 벤치마크는 Terminal-Bench 2.0(89과제, Terminus-2 하니스)과 SWE-bench Verified·Multilingual·Pro(각 500·300·731과제, Claude Code 하니스)입니다. 핵심 설계는 하니스가 NCE의 존재를 모른다는 점 — 런타임이 모델 서버와 하니스 사이에서 편집을 실행하므로 전용 인터페이스 없이도 동작합니다.

핵심 결과

256K 토큰 예산에서 베이스 모델에 하니스 자체 압축(Comp.)을 쓴 경우, 같은 편집을 툴콜로 실행하도록 학습한 비교군(Tools), NCE를 나란히 비교했습니다. 성공률의 작은 숫자는 NCE가 하니스 압축 대비 올린 포인트, 토큰의 작은 숫자는 하니스 압축 대비 변화율입니다.

주목할 대목은 툴콜 비교군입니다. 같은 편집 내용을 학습했는데도 평균 성공률이 47.3%로 압축(48.3%)보다 낮고, 토큰은 6%만 줄었습니다. NCE가 아끼는 토큰(36%)의 상당 부분은 편집을 "어떻게 하느냐"가 아니라 "모델 자신의 어휘로 표현하느냐"에서 나온다는 뜻입니다. 예산을 256K에서 48K까지 좁혀도 순위는 유지됩니다(Terminal-Bench 2.0, LongCat 기준) — 압축 대비 성공률 격차는 128K에서 +9.0%p, 64K에서 +5.6%p, 48K에서 +10.1%p로 벌어지고, 토큰은 26~39% 줄었습니다. 128K 예산에서 다섯 가지 방식(압축·슬라이딩 윈도·고정 메모리·프롬프트 압축·NCE)을 직접 겨룬 실험에서도 NCE가 성공률 34.8%·토큰 370만·평균 컨텍스트 3만500으로 전부 최상위였고, 나머지 네 방식은 25.8~32.6%·460만~610만·3만8000~4만4000 구간에 머물렀습니다.

신뢰도 평가

믿을 근거는 세 가지입니다. 첫째, 툴콜 비교군이 같은 학습 데이터·같은 편집 내용으로 통제돼 있어 "편집 자체의 효과"와 "네이티브 표현의 효과"가 분리됩니다. 둘째, 기반 모델을 메이투안 자사(LongCat)와 오픈웨이트(Qwen3.6)로 교차 검증해 효과가 한 회사 모델에 갇히지 않음을 보였습니다. 셋째, 학습 데이터 생성 과정 자체를 정량 감사했습니다 — 교사 한 명이 단독 판정하면 30.0%의 궤적에서 미래 정보가 새고, 원본 궤적 그대로 라벨링하면 95.0%가 이미 사라진 블록을 가리키는데, NCE의 2단계 교사·진화 컨텍스트 방식은 이 결함률을 각각 5.0%·0.0%로, 전체 결함 궤적 비율을 80.0%(1교사)·100.0%(원본 궤적) 대비 37.5%로 낮췄습니다.

감안할 점도 뚜렷합니다. 평가는 코드·터미널 과제에만 걸쳐 있어 GUI나 멀티모달 과제로의 전이는 이 논문만으로 판단할 수 없습니다. 결함률 감사는 40개 궤적이라는 작은 표본에 의존하고, 두 교사 역할을 모두 같은 모델(GLM 5.3)에 맡겨 그 모델의 판단 오류가 그대로 라벨에 섞일 위험을 완전히 배제하지 못합니다. 원문에서 반복 실행 횟수나 분산·신뢰구간 보고는 찾지 못했습니다 — 표의 차이가 실행 간 변동을 얼마나 웃도는지는 알 수 없습니다. 자금 출처를 명시한 절은 없었고, Meituan 인턴십이라는 이해상충은 저자 소개에서만 확인됩니다.

관련 연구

• Zhang et al.(2025). Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks — NCE가 직접 구현한 툴콜 비교군(Tools)의 원형인 MemAct 그 자체입니다. 같은 편집을 툴콜로 학습시킨 결과가 NCE보다 낮다는 이번 결과는, 메모리 조작을 행동 공간에 넣는 아이디어는 공유하되 "모델 어휘로 표현하느냐"가 추가 이득의 원천임을 보여줍니다.
• Sun et al.(2025). Scaling Long-Horizon LLM Agent via Context-Folding — branch/return 구조와 강화학습(FoldGRPO)으로 완료된 하위 궤적을 요약에 접어 넣는 선행 연구입니다. NCE처럼 토큰 단위로 블록을 직접 편집하지 않고 하위 궤적 전체를 접는 방식이라, 두 접근은 같은 문제를 다른 단위에서 푸는 병렬 노선으로 볼 수 있습니다.
• Li et al.(2025). Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management — 분할·요약·숨김·복원 툴을 제공하는 선행 연구로, NCE가 "하니스가 정의한 툴에 정책이 묶인다"고 지적하는 바로 그 툴 기반 계열의 대표 사례입니다.

세 선행 연구 모두 "에이전트가 자기 컨텍스트를 능동적으로 관리해야 한다"는 전제는 공유하지만, 구현 단위(툴콜/하위궤적 접기/모델 어휘)가 다릅니다. NCE의 핵심 주장 — 같은 편집이라도 네이티브 토큰으로 표현해야 이득이 난다 — 은 자신이 재구현한 MemAct 비교군 안에서만 검증됐고, Context-Folding·Sculptor와의 직접 수치 대조는 이 논문에 없습니다.

리뷰어 판단

첫째, 이 논문에서 실무적으로 가장 중요한 숫자는 36%가 아니라 "툴콜 비교군이 압축보다도 못하다"는 결과라고 판단합니다. 에이전트 프레임워크에 메모리 관리 툴 몇 개를 추가하는 흔한 접근이 투자만큼의 보상을 주지 않을 수 있다는 뜻이며, 토큰 절감은 모델을 다시 학습시켜 편집을 네이티브 어휘로 내재화하는 비용을 치러야 열린다는 신호로 읽습니다.

둘째, 결함률 감사(1교사 80.0%, 원본 라벨링 100.0%, NCE 37.5%)는 NCE 토큰 체계를 채택하지 않더라도 재사용 가치가 있는 진단 틀이라고 봅니다. 메모리 편집용 학습 데이터를 만드는 어떤 파이프라인이든 "미래 정보 누출"과 "이미 사라진 대상 지시"라는 두 결함 유형을 같은 방식으로 셀 수 있습니다.

셋째, 두 기반 모델 모두 활성 파라미터 3B 안팎의 MoE 모델이라는 공통점이 있어, 36%·15% 같은 구체적 절감률을 더 큰 밀집 모델이나 GUI·멀티모달 과제로 그대로 확장해 예상하는 것은 과도하다고 판단합니다. 방향성은 신뢰할 만하지만 수치는 이 모델군·과제군의 결과로 한정해 읽어야 합니다.

실무 적용

• 툴콜 먼저 통제 비교 — 네이티브 토큰 학습에 투자하기 전, 같은 편집 내용을 툴콜로만 노출했을 때 압축 대비 실제로 이득이 있는지 먼저 확인합니다. 이번 논문의 Tools 비교군처럼 오히려 손해일 수 있습니다.
• 두 교사 역할 분리 — 메모리 편집 학습 데이터를 만들 때 "언제 해제할지(사후 판단)"와 "어떻게 편집할지(실시간 판단)"를 분리하고, 평가 단계에서만 전체 궤적을 보게 합니다.
• 결함률을 품질 지표로 채택 — 미래 정보 누출 비율·이미 삭제된 대상 지시 비율을 메모리 학습 데이터의 정량 QA 지표로 상시 측정합니다.
• 예산 스윕으로 순위 확인 — 한 예산에서만 비교하지 말고 256K→48K처럼 예산을 좁혀 가며 성공률·토큰 곡선을 함께 그려 순위가 유지되는지 봅니다.
• 자사 모델 교차검증 필수 — 자사 모델로만 평가해 발표하지 말고, 오픈웨이트 모델에서도 같은 비교를 반복해 이해상충 리스크를 줄입니다.

결론

NCE의 기여는 컨텍스트 편집을 모델의 어휘 자체로 끌어들인 것입니다. 같은 편집을 툴콜로 노출한 비교군이 하니스 기본 압축보다도 낮은 성적을 받았다는 사실이, "무엇을 편집하느냐"보다 "어떻게 표현하느냐"가 결과를 가른다는 이 논문의 핵심 주장을 뒷받침합니다. 다만 평가가 코드·터미널 과제와 3B급 활성 파라미터 모델 두 종에 한정돼 있고, 반복 실행·분산 보고가 없으며 저자 소속에 이해상충이 있다는 점은 그대로 남습니다. 메모리 편집을 운영 체계로 가져가려는 쪽은 메모리 툴 + 컨텍스트 편집으로 작업기억 관리에서 실무 체크리스트를 함께 볼 수 있습니다.

참고 링크

• Editing as Language: Teaching LLM Agents a Grammar for Native Context Editing — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표 1·2·5 대조에 사용(세션 egress 차단으로 2026-10-20T22:07:58Z 스냅숏 경유)
• 메모리 툴 + 컨텍스트 편집으로 작업기억 관리 — sunny34.com 블로그