장애 원인 진단이 별도 레이어가 되어야 하는 이유
멀티에이전트 파이프라인이 여러 노드로 늘어나면 실패가 발생했을 때 어떤 에이전트, 어떤 턴에서 원인이 시작됐는지 사람이 로그를 훑어 찾는 방식은 확장되지 않습니다. AFANet 연구는 이 판별 작업을 별도의 지도학습 문제로 떼어내, 에이전트 간 호출 관계를 그래프로 표현한 뒤 그래프신경망(GNN)으로 원인 노드를 직접 분류합니다. LLM에게 트레이스 전체를 읽혀 판정을 맡기는 방식과 달리 그래프 구조 자체가 신호이므로, 모델 크기를 극단적으로 줄일 수 있다는 것이 핵심 전제입니다.
작아도 이기는 조건, 그리고 사라지는 조건
논문의 재구현 조건에서 6.5만 파라미터 AFANet은 140억 파라미터 Qwen2.5-14B를 SFT로 미세조정한 기준선을 agent µF1 74.16 대 41.04, pair MF1 16.35 대 2.02로 크게 앞섰습니다. 학습 시간은 1.1시간으로 GRPO 강화학습 기준선의 74시간보다 약 67배, 추론은 1.16초로 367초보다 약 316배 빨랐습니다. 그러나 이 우위는 학습 분포 안에서만 확인된 결과입니다. 도메인 밖 벤치마크 Who&When에서는 AFANet의 pair µF1이 6.90%로, LLM 기반 판정기 o3의 7.41%에 근소하게 뒤졌습니다. 구조화된 신호를 학습한 소형 모델이 치르는 대가가 일반화 폭이라는 뜻입니다.
설계에서 운영까지: 에이전트 실패 원인 진단 파이프라인 체크리스트
도입 전에 정할 목표 수치는 두 갈래로 나눕니다. 도메인 내 벤치마크에서는 agent-level µF1과 pair-level MF1을 각각 70·15 이상으로 잡고, 도메인 밖 벤치마크에서는 LLM 판정기 대비 격차 1%포인트 이내를 합격선으로 둡니다. 추론 지연은 태스크당 1.2초 이내로 예산을 잡아야 실시간 원인 태깅에 쓸 수 있고, 이 값을 넘기면 배치 처리로 전환하는 임계값도 함께 정의합니다.
실패 패턴은 도메인 드리프트 하나로 요약됩니다. 신규 에이전트 조합이나 새 툴 체인이 투입되면 소형 모델의 학습 분포를 벗어나 판정 신뢰도가 조용히 떨어집니다. 복구 전략은 소형 모델의 출력 신뢰도가 임계값 아래로 내려가는 사례를 LLM 판정기로 넘기는 이중 게이트입니다. 6.90%와 7.41% 같은 1%포인트 미만 격차는 우열로 단정하지 않고 두 판정을 병기해 사람 검토 대기열로 넘기는 규칙도 필요합니다.
로그 스키마에는 에이전트 ID, 턴 인덱스, 원인 노드 추정치, 신뢰도 점수, 판정 모델(소형·LLM) 구분을 필수 필드로 남깁니다. 배포 전 검증은 도메인 내부 평가셋과 별도로 확보한 도메인 밖 평가셋 두 벌로 나눠 돌리고, 학습에 쓰는 트레이스는 호출 인자에 섞여 들어간 개인정보를 마스킹한 뒤에만 반영합니다.
스팬 트레이스로 실패 지점을 좁히던 관측 체계가 이미 있다면, AFANet류 분류기는 그 위에 얹는 자동 태깅 계층으로 붙이는 편이 낫습니다. 수집·저장 파이프라인은 그대로 두고 원인 노드 추정 결과만 필드 하나로 추가하면 기존 대시보드를 뜯어고치지 않아도 됩니다.
주 단위로는 소형 모델과 LLM 판정이 갈린 사례를 모아 다음 재학습 데이터셋 후보로 쌓습니다. 두 판정기의 불일치율이 5% 같은 기준선을 넘는 주가 이어지면 소형 모델의 자동 확정 범위를 좁히고 에스컬레이션 비중을 늘리는 방향으로 게이트 임계값을 조정합니다.
바로 쓰는 체크리스트
6.5만 파라미터 GNN은 학습 67배, 추론 316배 빠르고 도메인 내 정확도도 크게 앞서지만 도메인 밖에서는 근소하게 뒤집니다. 목표 수치를 도메인 내·외로 나눠 잡고, 신뢰도 낮은 판정만 LLM으로 넘기는 이중 게이트를 두고, 주간 불일치율로 그 게이트의 임계값을 조정하는 것이 이 조합을 실무에 들이는 핵심입니다.
참고 링크
Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution — arXiv
6.5만 파라미터가 140억을 이겼다: 에이전트 장애 원인 진단 AFANet 리뷰 — sunny34.com 리서치