온도 하나로 40%p가 무너진다: 엣지 소형 모델 MCP 툴콜링 하네스의 복구·사이징 게이트 설계

엣지 하네스가 실제로 통과해야 하는 하한선

최근 공개된 arXiv 프리프린트는 20억 파라미터 미만 오픈웨이트 모델 5종(Phi-1.5, Pythia-1.4B, TinyLlama-1.1B-Chat, Qwen2.5-0.5B, Qwen2.5-1.5B)에 날씨·검색·계산·이메일·할일 5개 도구로 MCP 스타일 JSON 툴 호출을 시켰습니다. 모든 프롬프트가 정답 도구명·인자값을 그대로 노출해, 의도 파악이 아니라 "지시를 그대로 베껴 직렬화하는" 하한선 테스트에 가깝습니다. CPU FP32로 greedy·온도 0.7 샘플링 두 조건을 돌린 결과, 복구 파서를 거친 성공률은 조합에 따라 0%에서 79%까지 갈렸습니다.

복구 계층 없이는 0.5%만 기계가 그대로 읽는다

더 눈에 띄는 숫자는 최고 조건의 79%가 아닙니다. 마크다운 펜스 제거·중괄호 추출 같은 복구 절차 없이 전체 응답을 그대로 파싱하는 "엄격 JSON" 기준으로는, 실험 전체 1,000회 생성 중 유효한 JSON으로 바로 읽힌 것이 5건, 0.5%뿐입니다. 복구 파서는 선택적 후처리가 아니라 툴콜링 파이프라인의 핵심 구성 요소라는 뜻입니다. Qwen2.5-1.5B greedy는 계산·할일·이메일에서 100%를 기록하고도 날씨 도구에서만 정확히 0%였는데(샘플링에서는 70%로 회복), 집계 성공률 하나만 보면 이런 결정론적 실패를 놓칩니다.

설계에서 운영까지: 엣지 하네스 복구·사이징 게이트 체크리스트

목표 지표부터 코드보다 먼저 선언합니다. 복구 파서를 통과한 성공률을 (모델, 디코딩) 조합별 정규 지표로 삼고, Qwen2.5-1.5B 샘플링의 79%(95% 신뢰구간 70.0~85.8%)처럼 신뢰구간까지 함께 기록합니다. 엄격 JSON 비율이 한 자릿수%에 머무는 조합은 복구 계층 없이는 자동 실행 후보에서 제외하는 것이 출발선입니다.

디코딩 전략 하나로 성공률이 뒤집힐 수 있다는 것이 가장 흔히 걸리는 실패 지점입니다. Qwen2.5-0.5B는 greedy 72%에서 샘플링 32%로 40%p 떨어졌고(McNemar 검정 p=1.62×10⁻⁷), 같은 실험의 Qwen2.5-1.5B는 75%에서 79%로 유의한 차이가 없었습니다(p=.608). "온도 0.7이 대체로 안전하다"는 통념을 체크포인트 하나에 그대로 적용하면 정반대 결과를 얻을 수 있어, 모델·디코딩 조합마다 별도 회귀 테스트가 필요합니다. 같은 실험에서 LangGraph 연동은 10회 시도 전부 "Agent error: 'id'"로 실패했는데, 이는 모델 출력 품질과 무관한 통합 계층 결함이므로 회귀 스위트도 모델 품질 테스트와 프레임워크 연동 테스트를 분리해서 돌려야 합니다.

운영 체크리스트는 세 겹입니다. 복구 파서(펜스 제거·중괄호 추출·재시도)를 파이프라인의 명시적 단계로 코드화해 복구 전·후 성공률을 각각 배포 지표로 남기고, 도구별·인자 유형별 성공률을 대시보드에 따로 올려 날씨 도구 같은 결정론적 실패를 조기에 찾습니다. 이 벤치마크는 도구를 실제로 호출하지 않은 시뮬레이션이므로, 소형 모델이 만든 호출은 스키마 검증·권한 검사를 통과한 뒤에만 실행하고 승인 없는 즉시 실행은 금지합니다.

사이징 결정은 지연·메모리와 성공률을 함께 놓고 봅니다. CPU 자원 측정에서 Qwen2.5-0.5B는 1.5B보다 성공률이 3%p 낮은 대신(72% 대 75%, greedy 기준) 평균 지연시간이 약 65% 낮고(10.6초 대 30.8초) 메모리(RSS)는 약 54% 낮습니다(3,637MiB 대 7,960MiB). 지연에 민감한 저위험 라우팅 구간이라면 0.5B로 내려가는 절충이 합리적이지만, greedy로 고정했을 때만 유효하다는 전제를 회귀 테스트에 명시해야 합니다.

개선 루프는 체크포인트·디코딩 조합 단위로 돌립니다. 같은 "패밀리" 모델도 디코딩 민감도가 정반대로 나타났으므로 주간 회귀는 조합별로 쪼개 실행합니다. 다만 이 논문은 동료심사 이전 프리프린트이고 저자 스스로도 4.4절 실패 건수(658건)가 표에서 역산한 값(732건)과 74건 어긋난다고 인정한 만큼, 세부 실패 분해까지 그대로 인용하기보다 핵심 수치(0.5%, 79%, 40%p)만 자체 파이프라인에서 재검증하는 편이 안전합니다.

바로 쓰는 체크리스트

엣지 배포용 소형 모델에 MCP 툴콜링을 맡길 때는 복구 파서를 파이프라인 필수 단계로 못 박고, (모델, 디코딩) 조합별 성공률과 신뢰구간을 배포 지표로 삼으며, 도구별 성공률을 따로 감시해 결정론적 실패를 조기에 걸러내야 합니다. 0.5B로 내려가는 지연·메모리 절충은 greedy 고정이 깨지면 성립하지 않는다는 점도 회귀 스위트에 못 박습니다.

참고 링크

Beyond Fluent Generation: A CPU Reliability Benchmark for MCP-Style Tool Calling in Sub-2B Small Language Models for Edge Deployment — arXiv

Tools — Model Context Protocol 공식 스펙

1,000번 중 5번만 진짜 JSON이었다: 소형 모델 MCP 툴콜링 신뢰도 리뷰 — sunny34.com 리서치