제약 2,000개를 넘으면 수식조차 틀린다: 에이전트 생산 스케줄링 모델링의 자동화 경계선 게이트 설계

제약계획(CP) 스케줄링, 에이전트가 쪼개 보여준 두 역량

코루냐 대학교 CITENI 연구팀이 Gemini 2.5 Pro·GPT-5·DeepSeek V4 Pro로 162회 실행을 돌린 결과, CP 모델 수식화 능력(Acc_F)은 워크플로와 무관하게 77~78%대로 비슷했습니다. 반면 수식화를 실제 코드로 옮기는 능력(Acc_F+C)은 직접 LLM 14.8%, 싱글 에이전트+MCP 33.3%, 역할 분리 멀티 에이전트+MCP 59.3%로 4배 가까이 벌어졌습니다.

투자할 지점은 더 똑똑한 모델이 아니라 구현을 돕는 장치입니다. 모델을 상위 버전으로 바꿔도 수식화 성능은 크게 오르지 않지만, 구현 단계 설계는 전체 성공률을 좌우합니다.

MCP 문서 서버가 환각을 줄이는 방식

멀티 에이전트는 CP Optimizer 파이썬 인터페이스(docplex.cp) 문서 전체(약 7.7만 토큰, 심볼 333개)를 프롬프트에 밀어 넣지 않고, "탐색→정밀" 2단계 MCP 서버로 필요한 심볼 20개 안팎만 불러옵니다. 실행 오류 81건 중 58건은 구현만 최소 교정하면 정답에 도달했고, 159개 개별 오류 중 환각(존재하지 않는 함수 호출)은 43건(27%)뿐이었습니다. 나머지 78건(49%)은 실재 API를 다른 모듈에서 잘못 불러온 오용이었습니다.

오용이 환각보다 흔하다는 결과는 설계 방향을 바꿉니다. 환각 필터보다 올바른 심볼 위치를 짚어주는 검색 도구가 오류를 더 많이 걷어냅니다.

온톨로지 관점: 제약과 자원을 무엇에 연결하는가

스케줄링 모델의 변수·제약은 설비·작업·시간창·자원이라는 공장의 실제 개체를 코드로 번역한 결과물입니다. ISO 15926이나 Asset Administration Shell(IEC 63278) 같은 자산·공정 의미 계층 없이 이 매핑을 구조화하지 않으면 에이전트는 제약마다 새로 추론해야 하고, 추론 부담은 제약 수와 함께 커집니다. 자원제약 창고 문제(PC5·PC6)에서 제약이 2,000개를 넘자 형식화 정확도가 44.4%에서 14.8%로 무너진 것이 그 증거입니다. MCP 서버가 필요한 심볼만 연결하는 방식도 작은 의미 계층 역할이며, 이 탐색 계층을 전사 자산 온톨로지와 얼마나 맞물리게 짜느냐가 자동화 범위를 가릅니다.

도입에서 운영까지: 생산 스케줄링 에이전트 자동화 경계선 체크리스트

자동화 승인 기준은 코드로 먼저 선언합니다. 제약 수백 개 이하 소규모 문제는 Acc_F+C 60% 이상을 통과선으로 두고, 역할 분리형 멀티 에이전트 비용(약 73만 토큰·370초, 싱글 에이전트 대비 각각 66%·43% 증가)을 예산에 반영합니다. 쉬운 4문제는 80.6%까지 오르므로 난이도별 목표선을 따로 둡니다.

문서 전체를 밀어 넣는 설계가 첫 실패 패턴입니다. 7.7만 토큰을 통째로 주면 환각과 토큰 낭비가 늘어나므로 "탐색→정밀" 2단계 검색으로 바꿔야 합니다. 수식화·구현을 한 에이전트에 맡기는 설계가 두 번째 패턴으로, 싱글 에이전트는 33.3%에 머물지만 역할 분리 멀티 에이전트는 59.3%까지 오르며 26%p 이득이 추가 비용을 상쇄합니다.

제약 2,000개 이상·정수 배정이 섞인 구간은 세 번째 패턴이자 가장 조심할 지점입니다. 워크플로를 바꿔도 형식화 정확도 자체가 44.4%에서 14.8%로 떨어지므로, 자동 재시도 대신 사람이 수식화 단계부터 맡는 중단 조건을 둡니다.

오류 로그에는 오류 유형(환각 vs 오용)·멈춘 지점(수식화/구현)·제약 수·모델 ID를 필수 필드로 남깁니다. 오용이 환각보다 1.8배(78건 대 43건) 흔하므로 자동 재패치는 1회로 제한해 먼저 걸어 둡니다. 모델 교체 전에는 같은 문제로 토큰 소비를 함께 측정합니다 — 같은 워크플로에서도 모델 간 토큰 차이가 최대 7배까지 벌어지며, 배포 전에는 PC1~PC6 같은 난이도별 문제를 골든셋으로 돌려 둡니다.

주마다 오류를 환각·오용·형식화 실패로 나눠 집계하고 임계값·통과선을 그 비율에 맞춰 손봅니다. CP-Agent 같은 선행 연구의 정제된 벤치마크 101/101과 이번 산업형 6문제의 59.3% 사이 격차도 변경 로그에 남겨, 벤치마크 점수만으로 자동화 범위를 넓히지 않도록 막아 둡니다.

바로 쓰는 체크리스트

생산 스케줄링에 에이전트를 붙일 때 바꿔야 할 것은 모델이 아니라 구현 단계 설계입니다. MCP 탐색→정밀 서버로 환각과 오용을 줄이고, 수식화·구현 역할을 분리해 정확도를 끌어올리되, 제약 2,000개를 넘는 구간은 전문가 검토로 넘기는 경계선을 코드로 그어 둡니다.

참고 링크

Agentic AI-Assisted Modeling for Production Scheduling: Assessment in Constraint Programming — arXiv

같은 논문 HTML 전문

수식화는 되는데 코드가 깨진다: MCP 문서 서버로 생산 스케줄링 에이전트 실행률 4배 리뷰 — sunny34.com 리서치