수식화는 되는데 코드가 깨진다: MCP 문서 서버로 생산 스케줄링 에이전트 실행률 4배 리뷰

원문 정보

Ángel Sánchez-Fernández, Javier Pernas-Álvarez, Diego Crespo-Pereira, "Agentic AI-Assisted Modeling for Production Scheduling: Assessment in Constraint Programming", arXiv:2610.10184 [cs.AI, cs.SE], 2026-10-07 제출, DOI 10.48550/arXiv.2610.10184. 소속: 코루냐 대학교 페롤 산업캠퍼스 CITENI. 프롬프트·벤치마크 데이터·생성 스크립트 전체를 GitHub(angelsnfn/AgenticProductionScheduling)에 공개.

동료심사를 거치지 않은 프리프린트이며 단일 기관 연구입니다. 평가 대상 LLM(Gemini 2.5 Pro, GPT-5, DeepSeek V4 Pro) 모두 외부 상용 모델이라 자사 모델 편향은 없고, 저자는 "이해상충 없음", "특정 자금 지원 없음"을 공개 선언에 명시했습니다. 세션 이그레스 장애(대조군 example.com도 403)로 10분 간격 3회 재시도 후, GitHub Actions가 2026-10-11T22:12:17Z에 수집한 1차 출처 HTML 전문 스냅숏으로 원문을 대조했습니다.

연구 개요

질문: 별도 파인튜닝 없는 범용 LLM을 에이전트로만 묶어, 자연어 설명만으로 제약계획(CP) 생산 스케줄링 모델을 수식화→코드 구현→실행까지 만들 수 있는가. 기존 LLM 최적화 모델링 연구는 혼합정수계획(MILP)에 몰려 있고 CP 선행 연구는 대개 전용 파인튜닝에 의존한다는 공백을 겨냅니다.

세 워크플로를 통제 비교합니다 — (a) 수식화·구현을 역할 분리한 멀티에이전트, (b) 한 에이전트가 둘 다 맡는 싱글에이전트, (c) 도구 없이 한 번에 답하는 직접 LLM. (a)·(b)는 CP Optimizer 파이썬 인터페이스(docplex.cp) 문서를 심볼 단위로 검색·검증하는 MCP 서버에 연결됩니다 — 전체 문서(약 7.7만 토큰)를 통째로 넣지 않고 "탐색→정밀" 2단계 도구로 필요한 심볼(보통 333개 중 20개 안팎)만 불러옵니다. Gemini 2.5 Pro·GPT-5·DeepSeek V4 Pro 3개 모델 × 플로우숍·잡숍·유연잡숍·자원제약 창고 6문제(PC1~PC6, 난이도 상승) × 복제 3회 = 162회 실행입니다. 생성 스크립트를 그대로 1회 실행해 기준 최적값과 일치하는지(형식화+코딩 정확도 Acc_F+C)와, 구현 오류만 최소 교정 후 일치하는지(형식화 정확도 Acc_F)로 나눠 평가합니다.

핵심 결과

두 지표가 갈라집니다. 형식화 정확도(Acc_F)는 워크플로에 거의 영향받지 않지만, 형식화+코딩 정확도(Acc_F+C)는 에이전트 구조에 따라 크게 달라집니다 — 병목은 수식 자체가 아니라 그 수식을 코드로 옮기는 구현 단계입니다.

자원제약 창고 문제(PC5·PC6, 제약 2,000개 이상)에서는 양상이 다릅니다. 형식화 정확도 자체가 44.4%(PC5)→14.8%(PC6)로 떨어져, 워크플로를 바꿔도 거의 개선되지 않는 수식화 자체의 한계로 나타납니다.

생성 스크립트 162개 중 그 자리에서 정답에 도달한 것은 58개, 실행 오류로 멈춘 것은 81개입니다. 구현 오류만 최소 수정하면 121개가 정답에 도달합니다. 159개 개별 구현 오류 중 존재하지 않는 함수를 부른 "환각"은 43개(약 27%)뿐이고, 나머지 다수(78개)는 실제 존재하는 API를 잘못 쓴 경우(가장 흔히는 변수 생성자를 다른 모듈에서 불러옴)입니다.

신뢰도 평가

믿을 근거: 같은 LLM·프롬프트로 워크플로만 바꾼 통제 설계, 난이도가 다른 6문제·162회라는 실행 수, 기준 모델을 솔버와 독립적으로 제약 대조 검증, 프롬프트·데이터·코드 전체 공개. 감안할 점: 동료심사 전 단일 기관 연구이며 토큰·시간 표준편차가 평균에 근접한 셀이 여럭 있어 셀 단위 수치 변동이 큽니다. 세 LLM은 OpenRouter로 접근한 상용 블랙박스라 공급자 업데이트에 결과가 달라질 수 있고, "모델당 US$0.3~1" 비용 추정도 "현재 공시 가격 기준"이라는 단서가 붙습니다. 대조 중 본문 548번째 문단 부근에서 "멀티에이전트가 PC1–PC4에서 67.7%"라는 서술을 발견했는데, 같은 수치를 요약·결론·Table 8 개별 값으로 재계산하면 80.6%만 확인됩니다(두 서술과 산술 검산이 모두 일치) — 67.7%는 원문 자체의 표기 오류로 보여 이 리뷰는 80.6%만 인용합니다.

관련 연구(학술 문헌 대조)

• Szeider et al.(2025). CP-Agent(arXiv:2508.07468) — 선행 연구. ReAct 코딩 에이전트가 정제된 CP-Bench 101문제 전부(101/101)를 해결했다고 보고. 이 논문이 직접 인용한 수치로, 깨끗한 학술 벤치마크의 완벽한 점수와 산업형 6문제의 59.3% 사이 간극이 "벤치마크와 산업 배포는 다르다"는 이번 논문 동기와 맞물립니다.
• Shi et al.(2025). ConstraintLLM(arXiv:2510.05774, EMNLP 2025) — 선행 연구(대조적 접근). 전용 파인튜닝+Tree-of-Thought+제약 인지 검색으로 자체 산업 벤치마크(140문제)에서 기존 대비 약 2배 성능. 이 논문은 반대로 파인튜닝 없이 문서 검색만으로 보강 — 특화 정확도 vs 범용성의 트레이드오프가 대비됩니다.
• AhmadiTeshnizi et al.(2024). OptiMUS-0.3(arXiv:2407.19633) — 선행 연구(다른 패러다임). RAG로 유사 제약 예시를 검색·삽입하는 모듈형 에이전트로 MILP 모델 생성, NLP4LP에서 쉬운 문제 22%대·어려운 문제 24%대 보고. CP 대신 MILP지만 "검색으로 환각을 줄인다"는 설계 원리는 이 논문의 MCP 서버와 같은 방향입니다.

리뷰어 판단

첫째, 가장 값진 결론은 59.3%라는 숫자가 아니라 "형식화와 구현은 서로 다른 역량"이라는 분리라고 판단합니다. 형식화 정확도가 워크플로와 무관하게 77~78%대로 비슷하다는 것은 범용 LLM이 수식화 추론 자체는 이미 상당히 잘한다는 뜻이며, 투자할 지점은 모델 교체가 아니라 구현 단계의 API 보강 장치라고 봅니다.

둘째, PC5·PC6에서 형식화 정확도 자체가 무너지는 지점이 80.6%보다 더 중요한 운영 신호라고 판단합니다. 제약 2,000개 이상·선택형 구간변수·정수 배정이 섞이면 지금 구조로는 수식 자체가 틀리기 쉬워, "자동 생성 후 검토"가 아니라 "전문가가 수식화부터 같이 본다"는 원칙이 필요합니다.

셋째, 본문에서 발견한 67.7%/80.6% 불일치를 굳이 공개하는 이유는 공개 코드·데이터를 갖춘 꼼꼼한 논문에도 표 서술 오류가 남을 수 있다는 경고가 되기 때문입니다. 2차 인용으로 이 논문을 접하는 독자는 재검산할 방법이 없습니다.

실무 적용

• 2단계 검색형 MCP 서버 — 문서 전체 대신 "탐색→정밀" 도구로 필요한 심볼만 불러와 토큰 낭비와 환각을 함께 줄인다.
• 수식화·구현 분리 에이전트 — 형식화 전담과 구현 전담을 나누면 싱글 에이전트보다 비용은 더 들어도(토큰 66%↑) 정확도 이득(26%p)이 더 크다.
• 제약 복잡도 기준 자동화 경계선 — 변수·제약 수백 개 이하는 자동 생성 신뢰 영역, 2,000개 이상·정수 배정 혼재는 전문가 필수 검토 영역으로 구분한다.
• 자동 재수정 루프 — 실행 오류의 대부분이 조용히 틀리지 않고 명시적으로 멈추는 특성을 활용해, 오류 로그 기반 1회 자동 패치를 파이프라인에 넣는다.
• 모델 선택은 정확도+토큰 효율 — 같은 워크플로에서 모델 간 토큰 소비가 최대 7배 차이 날 수 있어, 교체 전 같은 문제로 함께 측정한다.

결론

이 논문의 기여는 "에이전트가 최적화 모델을 더 잘 만든다"는 뭉뚱그린 주장이 아니라, 그 능력을 형식화와 구현으로 쪼개 보여준 데 있습니다. 범용 LLM은 이미 수식화를 제법 잘하고, 병목은 솔버 API를 정확히 호출하는 구현 단계이며, 필요한 만큼만 검색하는 MCP 서버와 역할 분리가 그 병목을 상당히 줄입니다. 다만 개선은 제약 수백 개 수준까지만 뚜렷하고, 창고형 자원제약 문제처럼 수식화 자체가 어려운 영역에는 거의 미치지 못합니다. 동료심사 전 단일 기관 연구라는 한계와 본문 자체의 수치 불일치를 함께 고려하면, 이 결과는 "지금 당장 완전 자동화해도 된다"는 근거가 아니라 "어디까지 자동화하고 어디서 전문가를 남길지" 가르는 경계선 데이터로 읽는 것이 맞습니다. MCP로 도구 신뢰도를 설계하는 쪽은 로컬 배포 MCP 툴콜링 에이전트 신뢰도 설계에서 이어집니다.

참고 링크

• Agentic AI-Assisted Modeling for Production Scheduling: Assessment in Constraint Programming — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용(2026-10-11T22:12:17Z 수집 스냅숏과 대조)
• 모델을 못 바꿀 때 설정을 바꾼다: 로컬 배포 MCP 툴콜링 에이전트 신뢰도 설계 — sunny34.com 블로그