라운드는 0.7회만 줄었는데 정확도는 11.7%p 빠졌다: 멀티에이전트 숙의 게이트 설계

합의됐다는 신호와 맞다는 신호는 다르다

멀티에이전트 LLM 파이프라인에서 가장 흔한 종료 조건은 "에이전트들이 같은 답에 모였다"입니다. 문제는 합의가 정답의 증거가 아니라는 점입니다. 같은 추론 경로를 공유하는 에이전트들은 겹치는 근거로 서로를 확인해 주는 허위 합의에 빠지기 쉽습니다. 2026년 10월 18일 리뷰한 ECMR 논문은 이 문제를 "답이 집중됐는가"와 "그 답을 지지하는 근거가 서로 독립적인가"라는 두 신호로 분리해, 9,000건 held-out 평가에서 허위합의율(FCR)을 40.7%에서 17.0%로, 근거지지율(ESR)을 58.0%에서 88.7%로 함께 개선했습니다.

운영 관점에서 중요한 것은 두 지표가 같은 방향으로 움직였다는 사실입니다 — 정확도 상승이 "근거 없는 합의"를 더 많이 사는 거래가 아니었다는 뜻입니다. 합의율 하나만 대시보드에 올리는 멀티에이전트 시스템은 이 구분 자체를 못 봅니다.

라운드를 줄여도 상태를 보면 정확도가 오른다

어느 정도가 "더 많은 토론" 덕이고 어느 정도가 "증거 상태에 맞춘 선택" 덕인지는 통제 실험으로 갈렸습니다. 컨트롤러에 들어가는 상태 특징을 무작위로 섞은 State-Shuffled 조건은 라운드 수를 5.7회에서 5.0회로, 겨우 0.7회만 줄였는데도 정확도가 11.7%p, 근거지지율이 18.0%p 떨어지고 허위합의율은 14.0%p 올라갔습니다. 토론 횟수는 거의 그대로 두고 "증거 상태에 따라 다르게 행동한다"는 조건 하나만 없앴을 뿐인데 품질이 무너진 것입니다.

운영 중인 멀티에이전트 파이프라인이 라운드 수나 참여 에이전트 수만 늘려 품질을 올리려 한다면 이 결과가 경고가 됩니다 — 게이트가 봐야 할 것은 상호작용의 양이 아니라, 누적된 증거 상태에 따라 다음 행동(제안·반박·검증·중재)을 바꾸는 조건부 정책입니다.

추가 연산은 어려운 요청에만 써야 한다

난이도 3분위 기준 정확도 이득은 쉬운 문항 +1.3%p, 중간 +29.95%p, 어려운 문항 +37.11%p로 갈립니다. 같은 구간에서 검증 호출 비율은 쉬움 0.992, 어려움 0.967로 거의 차이가 없는 반면, 조기종료 비중은 쉬움 0.65에서 어려움 0.10으로 떨어지고 중재 비중은 0.35에서 0.90으로 뒤집힙니다 — "검증을 더 한다"가 아니라 "검증 뒤 어떻게 끝낼지"가 난이도에 따라 달라지는 것이 이득의 원천입니다. 토큰 효율로 보면 AutoGen은 추가 1,000토큰당 정확도 7.3%p를 얻어 가장 효율적이고, ECMR급 설계는 3.3%p로 가장 낮습니다 — 최고 신뢰도를 최저 효율로 사는 구조이므로, 틀렸을 때 손실이 큰 영역에만 선택적으로 투입해야 합니다.

설계에서 운영까지: 멀티에이전트 숙의 게이트 체크리스트

(a) 기획·목표 수치: 합의 집중도와 근거 독립성 점수를 별도 필드로 로깅하고, 독립성 점수가 임계선 아래인 응답의 자동 재토론 비율 100%, 쉬운 난이도 구간의 추가 연산(검증·중재) 사용률 20% 이하, 허위합의 의심 사례의 주간 표본 감사 적중률 80% 이상을 출발선으로 둡니다.

(b) 실패 패턴 네 가지: 합의율만 보고 근거 독립성은 재지 않아 겹치는 근거를 "검증됐다"로 오인하는 경우, 모든 요청에 같은 토론 깊이를 걸어 쉬운 요청(이득 1.3%p뿐)까지 비용을 낭비하는 경우, 역할 기억 없이 역할을 매 라운드 재배정해 같은 근거가 다른 역할 탈을 쓰고 재등장하는 역할 드리프트, 단일 모델 패밀리에서만 검증하고 다른 모델로 교체할 때도 같은 효과를 가정하는 경우입니다.

(b') 복구 분기: 근거 독립성 점수가 임계선 아래면 자동으로 중재 단계로 전환합니다. 점수는 통과했는데 답이 안 모이면 조기종료 대신 역할 교정을 1회만 추가하고, 그래도 수렴하지 않으면 사람에게 넘깁니다. 라운드당 최대 횟수를 제한하는 서킷 브레이커를 둬 비용 폭주를 막습니다.

(c) 운영 체크리스트: 배포 전 시나리오 테스트는 난이도(쉬움·중간·어려움) × 근거 독립성(높음·낮음) 조합을 모두 돌립니다. 로그 필수 필드는 합의 집중도, 근거 독립성 점수, 역할별 근거 지문(중복 탐지용), 종료 방식(조기종료·중재·타임아웃), 토큰 사용량, 최종 판정 신뢰도입니다. 도메인 특화 held-out 세트로 분기마다 재평가합니다.

(d) 개선 루프: 확신했지만 틀린 사례를 매주 모아 위험 판정·역할 기억 정책의 재학습 후보로 쌓고, 토큰당 수익률이 낮은 영역(숫자 중심 과제 등)은 컨트롤러 대신 계산기·코드 실행 같은 도구 보강을 먼저 검토합니다. 다른 모델 패밀리로 바꿀 때는 소규모 진단 세트로 재현 여부부터 확인한 뒤 전면 적용합니다.

바로 쓰는 체크리스트

합의 집중도와 근거 독립성을 분리해 로깅하고, 추가 연산은 난이도가 높은 구간에만 배정하며, 독립성 점수가 낮을 때만 중재로 전환하는 게이트를 두면, 더 많이 토론해서가 아니라 증거 상태에 맞게 행동해서 좋아지는 멀티에이전트 파이프라인을 운영할 수 있습니다.

참고 링크

ECMR: Evidence-Aware Deliberation Control for Multi-Agent LLM Reasoning — arXiv:2610.17869