사고를 늘리면 정확도가 오른다는 전제가 깨지는 지점
"생각을 더 시키면 더 정확해진다"는 직관은 정형 문제에서는 맞았지만 다단계 실세계 과제에서는 뒤집혔습니다. Florida International University 연구진이 MATH-500과 GAIA 검증셋에서 Qwen3.5-4B·Llama-3.1-8B-Instruct·Phi-4-reasoning을 최종 응답 모델로 교체하며 비교한 결과, MATH-500에서는 추론량이 많을수록 정확도가 올랐지만(Phi-4-reasoning 92.40% vs Qwen3.5-4B 87.60%), GAIA에서는 추론을 거의 3배 늘린 모델의 정확도가 오히려 더 낮았습니다(11.52% vs 12.12%).
사고 예산 확장의 대가는 벤치마크마다 다르게 쌓인다
MATH-500에서 4.8%p의 정확도 차이를 얻는 대가로 Phi-4-reasoning의 최종응답 시간은 2.6배(180.80초 vs 70.21초)로 늘었고, 출력 토큰은 1.6배, 토큰 한도 도달 건수는 190건에서 482건(96.4%)으로 뛰었습니다. GAIA에서는 같은 크기의 사고 확장이 정확도 개선 없이 지연시간만 태워, 사고 예산을 늘리는 처방이 과제 유형을 가리지 않고 통하지는 않는다는 점을 수치로 보여줍니다.
설계에서 운영까지: 과제 유형별 사고 예산 체크리스트
기획 단계에서는 배포 대상 과제를 정형 단일 정답형과 다단계 실세계형으로 먼저 분리하고, 유형마다 다른 합격선을 코드로 선언합니다. 정형 과제는 사고 확장으로 얻는 정확도 개선폭(예: +3%p 이상)을 합격 조건으로 삼고, 다단계 과제는 정확도 대신 도구 호출 빈도(GAIA 평균 표본당 0.93회, MATH-500 0.39회)와 과소추론 비율을 목표 지표로 둡니다.
사고 예산 상한을 유형별로 분리하지 않으면 정형 과제에 맞춘 값이 다단계 과제의 지연시간과 비용까지 함께 끌어올립니다. 배포 전 두 유형의 대표 샘플을 각각 100건 이상 확보해, 예산을 올렸을 때 정확도와 지연시간이 어떻게 갈리는지 먼저 실측해야 합니다.
실패 유형은 벤치마크마다 정반대로 나타났습니다. MATH-500에서는 과다추론이 지배적이었고(Qwen3.5-4B 68.00%, Phi-4-reasoning 89.40%), GAIA에서는 과소추론이 지배적이었습니다(Llama-3.1-8B-Instruct 71.52%, Phi-4-reasoning 62.42%). 과소추론으로 조기 종료된 응답에는 재시도 대신 증거 수집 단계를 강제로 재실행하는 복구 분기를 붙이고, 과다추론으로 토큰 한도에 도달한 응답에는 프롬프트 길이나 최대 토큰을 줄이는 안전 축약을 우선 적용합니다.
중단 조건도 유형별로 다르게 둡니다. 정형 과제는 토큰 한도 도달 시 정확도가 미도달 대비 뚜렷이 낮아(73.68% vs 96.13%) "예산 소진 = 실패"로 볼 수 있지만, 다단계 과제는 한도 도달 시 정확도가 오히려 더 높은 구간도 있어(13.33% vs 11.11%) 한도 도달만으로 자동 재시도를 걸면 과제 난이도를 실패 신호로 오판합니다.
운영 체크리스트에는 모델별 토큰 한도 도달률을 경보 지표로 넣습니다. 특정 모델의 한도 도달률이 90%를 넘으면(Phi-4-reasoning의 GAIA 99.4%처럼) 최대 길이나 프롬프트 구조를 조정하라는 신호로 다룹니다. 표준 로그 필드로 모델 ID, 과제 유형, 최종응답 시간, 출력 토큰, 한도 도달 여부, 도구 호출 횟수를 남겨야 유형별 비교가 가능합니다.
정확도 수치만 보고 모델을 교체하면 다단계 과제에서 지연시간만 2배 이상 늘어난 채 정확도는 그대로인 스와핑을 반복하게 됩니다. 모델 교체 전에는 유형별 정확도-지연 곡선을 반드시 실측하고, 다단계 과제에는 사고 예산 확장보다 별도 검증·감사 단계를 추가하는 편이 우선순위가 높습니다.
지속 개선 루프에서는 과소추론·과다추론 비율을 정확도와 분리해 계측합니다. 비용 절감을 위해 사고 예산을 줄였을 때 정확도는 그대로여도 과소추론 비율만 조용히 오르는 부작용을 조기에 잡을 수 있습니다. 변경 로그도 사고 예산 조정과 프롬프트 변경을 별도 항목으로 남겨야 다음 주 정확도 변동의 원인을 예산과 프롬프트 중 어느 쪽인지 구분할 수 있습니다.
바로 쓰는 체크리스트
사고를 더 시키는 처방은 정형 단일 정답형 과제에는 유효하지만 다단계 실세계 과제에는 통하지 않습니다. 과제 유형별로 사고 예산과 목표 지표를 분리해 선언하고, 토큰 한도 도달률과 과소추론 비율을 서로 다른 경보로 감시하며, 모델 교체 전에는 정확도-지연 곡선을 실측하는 순서를 지키면 사고 예산 확장이 비용만 태우는 실패를 줄일 수 있습니다.
참고 링크
Don't Overthink, Don't Underthink: Toward Adaptive Reasoning in Agentic AI — arXiv