왜 멀티에이전트 시스템은 이력 전체를 넘기면 비용이 뛰는가
멀티에이전트 오케스트레이션은 다음 역할과 백본을 정할 때 두 극단 사이에서 선택해야 합니다. 질의만 보고 미리 정하면 진행 상황과 오류에 반응하지 못해 정확도가 떨어지고, 실행 이력 전체를 매번 넘기면 매 결정이 불필요한 중간 내용까지 처리하느라 비용이 커집니다. University of Central Florida 연구진이 arXiv 2609.00237에서 제안한 Gated-Memory Routing은 이 사이에 학습된 메모리 게이트 하나를 끼워 넣습니다. 검색 게이트가 관련 부분만 꺼내고, 쓰기 게이트가 새 추론 단계를 남길지 결정합니다.
정확도와 비용, 책임지는 부품이 서로 다릅니다
라우팅 로직은 그대로 두고 메모리 처리 방식만 바꾼 대조 실험에서 GSM-Hard 정확도는 70.27점과 70.55점으로 사실상 같았지만 비용은 40% 낮아졌습니다(0.985→0.587). HumanEval에서도 정확도가 89.06점에서 89.84점으로 오히려 오르면서 비용은 52.9% 줄었습니다. 그런데 리브원아웃 어블레이션을 보면 정확도 하락의 원인은 게이트가 아닙니다. LLM Router를 제거하면 GSM-Hard 정확도가 14.0점 급락하는 반면, 메모리 게이트를 둘 다 없애도 하락 폭은 2.56~6.25점에 그칩니다. 비용 절감의 원인도 게이트가 아니라 조기 종료(Adaptive Halting)입니다. halting을 제거하면 정확도는 거의 그대로인데 비용은 GSM-Hard에서 43%, HumanEval에서는 0.032에서 0.086으로 168.8% 뛰어오릅니다 — halting 하나가 아끼고 있던 비용이 최대 63%에 이른다는 뜻입니다.
합성 비용 지표와 과제 편향이라는 전제
이 수치는 실제 API 요금이 아니라 파라미터 수에 비례한 합성 단가(입력 0.003N, 출력 0.010N)로 계산됐습니다. 방향 신호로는 유효하지만 43.9%·31.9% 같은 퍼센트를 청구서 절감액으로 곧바로 옮겨 적을 근거는 아닙니다. MBPP처럼 짧고 균일한 과제에서는 고정 파이프라인(MacNet-Chain, 82.66점)이 제안 방식보다 높은 점수를 냈습니다. 오케스트레이션 이득이 작은 과제에 게이팅을 얹으면 순이익이 오히려 줄어들 수 있습니다.
설계에서 운영까지: 메모리 게이팅·조기 종료 도입 로드맵
목표부터 분리해 세워야 합니다. 비용 절감이 목표라면 조기 종료 임계값과 게이트 재현율을, 정확도가 목표라면 백본 라우터의 선택 정확도를 먼저 점검합니다. 도입 기준은 정확도 델타 ±2점 이내, 스텝당 비용 30% 이상 절감, 학습 시드 3개 재현 시 표준편차 1점 이내로 잡는 편이 안전합니다.
halting 임계값을 지나치게 낮게 잡으면 다단계 추론 과제에서 답이 완성되기 전에 멈춰 정확도가 무너집니다. 벤치마크별로 임계값을 따로 두고, 카나리 구간에서 정확도 델타가 기준선을 넘는 순간 임계값을 자동으로 되돌리는 경로를 마련해야 합니다.
짧고 균일한 태스크에 게이트 라우팅을 일괄 적용하면 오버헤드만 남습니다. 과제 난이도와 의존성을 먼저 분류하는 라우터를 앞단에 두고, 기준 미만 과제는 고정 파이프라인으로 우회시키는 편이 낫습니다.
쓰기 게이트가 이후 단계에 필요한 중간 추론을 버리면 같은 하위 작업을 반복 재계산하게 됩니다. 쓰기 게이트의 기각 결정을 로그로 남기고, 재작업이 반복되는 세션을 주간 실패 유형에 다시 넣어 게이트를 재학습해야 합니다.
로그에는 역할 배정, 백본 선택, 게이트 통과 여부, halting 시점, 스텝당 토큰을 모두 남깁니다. 배포 전에는 학습 시드 3개 이상으로 순위가 뒤집히지 않는지 확인하고, 역할 카탈로그는 정확도 손실이 1점 이내임을 확인한 뒤에만 줄입니다. 원 실험에서는 26개 역할을 13개로 줄여도 손실이 1점 미만이었습니다.
합성 비용 지표는 분기마다 실제 청구서와 대조해 계수를 다시 맞춰야 합니다. 새 과제 유형이 들어올 때마다 고정 파이프라인과 게이트 라우팅 중 어느 쪽이 나은지 다시 나눠보고, halting 임계값은 정확도 델타와 비용 절감폭을 함께 보여주는 대시보드 하나로 관리하는 편이 좋습니다.
바로 쓰는 체크리스트
메모리 게이트보다 조기 종료 규칙을 먼저 넣는 편이 구현 난이도 대비 효과가 큽니다. 정확도는 백본 라우터가, 비용은 halting이 대부분을 책임진다는 어블레이션 결과를 그대로 우선순위로 삼고, 합성 비용 지표는 실제 요금제로 재검증한 뒤에만 예산 계획에 반영해야 합니다.