메달률 37.9%→72.7%, 35B를 대형 모델급으로: 자율 ML 엔지니어링 에이전트 MLExpert 리뷰

원문 정보

Shangheng Du, Jinxin Shi, Shuaiyu Zhang, Yiming Wu, Junpeng Zhao, Shiyang Feng, Xin Li, Liang He, Xiangchao Yan, Bo Zhang, "MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering", arXiv:2610.22344 [cs.AI], 2026-10-15 제출, DOI 10.48550/arXiv.2610.22344. 소속: 상하이 AI연구소(Shanghai Artificial Intelligence Laboratory)·화동사범대학(East China Normal University). 코드·모델 가중치 공개(github.com/InternScience/MLExpert, huggingface.co/InternScience/MLExpert).

동료심사를 거치지 않은 프리프린트입니다. 공동 저자 다수가 상하이 AI연구소 소속이고, 비교 대상 중 경쟁 관계인 Kimi-K3·GPT-5.6 Sol 수치는 저자들이 직접 측정하지 않고 다른 논문(Frontis-MA1)에서 그대로 가져온 2차 인용임이 명시돼 있어 이 점을 염두에 두고 읽어야 합니다. 원문 전문은 GitHub Actions가 2026-10-18T22:08:40Z에 수집한 스냅숏으로 대조했습니다(세션 egress 차단으로 WebFetch 직접 열람 불가).

연구 개요

질문은 단순합니다 — 장기 수행(long-horizon) 머신러닝 엔지니어링을 사람 설계 워크플로 없이 모델이 직접 실험을 조직하게 만들면, 어느 수준까지 갈 수 있는가. 기존 MLE 자동화 시스템은 대개 정해진 탐색 규칙이 실험 순서를 결정하고 LLM은 지정된 단계에서 코드만 생성·수정합니다. 저자들은 이 역할을 뒤집어, 모델이 언제 분석하고 언제 되돌아갈지까지 스스로 결정하는 '모델 주도 상호작용' 구조를 택했습니다.

방법은 세 부분입니다. 과거 Kaggle 대회를 실행 가능한 과제로 자동 변환하는 Kaggle-MLE Factory, 코드·실행 로그·후보 제출물을 트리 구조로 보존하는 상호작용 하니스, 그리고 포스트트레이닝(범용 에이전트 SFT → MLE 도메인 SFT → Windowed Interaction RL, WIRL)입니다. WIRL의 핵심은 보상 지연 문제의 해결책입니다 — 실험 하나의 결과가 나오기까지 여러 번의 결정이 누적되므로, 연속된 결정 구간을 '실행창'으로 묶어 그 구간 전체에 하나의 검증 가능한 보상(메달 등급 기준)을 공유시킵니다. 평가는 MLE-Bench Lite(Kaggle 대회 22개), NatureBench Lite(10개), AIME 스캐폴드 최적화에서 이뤄졌습니다.

핵심 결과

주 실험은 같은 MLExpert 하니스에서 35B 기반 모델(Qwen3.6-35B-A3B)과 MLExpert를 비교하는 통제 구조입니다. Any Medal(메달 획득 과제 비율)이 핵심 지표이며, 22개 과제 기준입니다.

등급별 합(Gold+Silver+Bronze)이 Any Medal과 일치함을 확인했습니다(MLExpert 50.0+16.7+6.1=72.8≈72.7, 반올림 오차). 범용 하니스(Claude Code)로 바꿔도 격차는 유지됩니다 — MLExpert 69.7% vs 기반 모델 42.4%(+27.3%p). 부록 Table 9는 3회 평가의 평균±표준오차를 보고합니다 — MLExpert의 Any Medal은 72.73%±2.62%p로, 과제 수(22개)가 작아 오차 구간이 적지 않다는 점을 함께 읽어야 합니다.

단계별 분해(위 차트, 원문 Table 3)를 보면 세 단계가 각각 독립적으로 기여합니다 — 범용 에이전트 SFT가 37.9%→47.0%, MLE 도메인 SFT가 47.0%→62.1%, WIRL이 62.1%→72.7%. 같은 MLE-SFT 체크포인트에서 출발한 RL 방식 비교(원문 Table 4)에서는 WIRL(72.7%)이 GRPO(56.1%)·PPO식 최적화(60.6%)를 크게 앞섰고, WIRL에서 추세 보상이나 정책 보정 중 하나만 제거해도 각각 66.7%·65.2%로 떨어져 두 설계 요소 모두가 기여함을 보였습니다. NatureBench Lite(과학 재현 과제)에서도 Surpass-SOTA 비율이 0.0%→50.0%로 올랐습니다.

신뢰도 평가

믿을 근거는 셋입니다. 첫째, 핵심 비교가 같은 기반 모델·같은 하니스를 쓰는 통제 구조라 학습 효과와 모델 효과가 섞이지 않습니다. 둘째, 학습 데이터에서 MLE-Bench·NatureBench와 겹치는 과제를 사전 제외해 오염 가능성을 명시적으로 통제했습니다. 셋째, 3회 반복 평가의 평균·표준오차를 보고해(Table 9) 수치의 변동 폭을 투명하게 드러냈고, 범용 하니스(Claude Code)로 바꿔도 같은 방향이 유지됐습니다.

감안할 점도 뚜렷합니다. 동료심사 전 프리프린트이고, Kimi-K3·GPT-5.6 Sol 수치는 2차 인용이라 평가 조건(하니스 종류·시도 횟수)이 다를 수 있습니다. 어블레이션(Table 3·4)은 Any Medal 단일 지표로만 보고돼 등급별 내역이 없고, 과제 수가 22개로 작아 모델 간 표준오차가 1.5~7%p대로 넓습니다. 실험 예산도 GPU 1대·12시간으로 제한돼 있어, 더 큰 컴퓨트에서도 격차가 유지되는지는 이 논문만으로 알 수 없습니다.

관련 연구(학술 문헌 대조)

• Chan 외(2024). MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering — benchmark-origin. OpenAI가 만든 Kaggle 기반 75개 과제 벤치마크이고 MLExpert가 쓰는 22과제 'Lite' 부분집합의 원전입니다. 2024년 공개 당시 최고 성능(o1-preview+AIDE)은 브론즈 수준 16.9%에 그쳤습니다.
• Liu 외(2025). ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering — prior. 같은 상하이 AI연구소 계열 선행 연구로, 7B 모델을 9개 과제만으로 강화학습해 훨씬 큰 모델을 능가했다고 보고했습니다(WebSearch로 독립 확인, 원문 재열람은 못함 — 수치는 관계 서술에만 사용). MLExpert는 규모·과제 폭을 크게 늘린 후속으로 읽힙니다.
• Yang 외(2026). Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering — contradiction/parallel. 강화학습이 아닌 진화적 탐색(연산자 학습)으로 메달률을 39.4%→60.6%·71.2%까지 올렸다고 보고합니다(WebSearch로 독립 확인, 수치는 관계 서술에만 사용). MLExpert 논문도 Kimi-K3·GPT-5.6 Sol 비교 수치를 이 논문에서 가져왔습니다.

세 문헌을 겹쳐 보면, MLE-Bench Lite의 난이도 상한이 2024년 16.9%(브론즈 수준)에서 2026년 다수 방법이 60~77%대에 도달하는 수준으로 빠르게 이동했습니다. 전혀 다른 방법(강화학습 대 진화적 탐색)이 비슷한 구간에 도달했다는 사실은, MLExpert의 성과를 방법 자체의 독보적 우수성이 아니라 세대 전환의 일부로 읽는 것이 더 균형 잡힌 해석일 수 있음을 시사합니다.

리뷰어 판단

첫째, 이 논문이 강조하지 않지만 중요한 것은 72.7%라는 숫자 자체가 아니라 그 안의 등급 구성이라고 판단합니다. Table 9로 분해하면 MLExpert의 메달 72.7%p 중 50.0%p가 골드인데, 기반 모델은 메달 37.9%p 중 22.7%p만 골드였습니다. 격차의 핵심은 "메달을 더 많이 땄다"보다 "땄다면 더 높은 등급을 땄다"는 쪽에 가깝다고 봅니다.

둘째, GRPO·PPO 대비 WIRL의 우위(72.7% vs 56.1%·60.6%)는 저자가 제안한 방법이 저자 자신이 튜닝한 비교군이라는 점에서, 10%p 이상의 격차를 액면 그대로 받아들이기보다 보수적으로 할인해서 읽는 편이 안전하다고 판단합니다. 비교 대상 알고리즘에 들인 튜닝 노력이 WIRL과 동등했는지는 논문이 밝히지 않습니다.

실무 적용

• 실행창 단위 보상 설계 — 결과 확인까지 여러 결정이 누적되는 장기 과제라면, 전체 궤적이 아니라 '결과 경계' 단위로 보상을 묶어 지연 피드백 문제를 완화합니다.
• 단계별 SFT로 역할 분리 — 범용 툴 사용 능력과 도메인 특화 판단을 분리 학습시켜 각 단계의 기여를 독립적으로 측정합니다.
• 오염 통제를 기본값으로 — 학습 데이터와 평가 벤치마크 간 과제 중복을 사전 제외하는 절차를 도입 체크리스트에 넣습니다.
• 집계 지표 아래 등급 분해 공개 — 단일 지표만 보고하지 말고 세부 등급 분해를 함께 공개해 개선이 "성공률 확대"인지 "성공의 질 향상"인지 드러냅니다.
• 반복 평가·표준오차 보고 — 과제 수가 적을수록 1회 평가로 결론 내지 않고 평균·표준오차를 함께 보고합니다.

결론

MLExpert의 기여는 새 모델 자체보다 장기 수행 MLE를 '작업 상태 관리 + 검증 가능한 보상 설계' 문제로 재정의한 학습 레시피에 있습니다. SFT→RL 단계별 분해와 GRPO·PPO 대비 WIRL의 우위는 설계 요소 각각이 독립적으로 기여함을 보여주지만, 프리프린트 단계이고 비교 수치 일부는 2차 인용이며 어블레이션이 단일 지표로만 보고된다는 한계가 있습니다. 비슷한 시기 전혀 다른 방법(Frontis-MA1)도 비슷한 최종 수준에 도달했다는 점을 함께 보면, 수치는 방법의 절대적 우수성보다 방향 신호로 받아들이는 편이 안전합니다. 검증 가능한 신호를 보상으로 쓰는 설계를 자체 파이프라인에 들일 때는, RLVR 검증기 설계에서 다룬 보상 해킹 방지 원칙부터 먼저 점검하는 것이 순서라고 봅니다.

참고 링크

• MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·학습 단계 수치 대조에 사용(세션 egress 차단으로 2026-10-18T22:08:40Z 스냅숏 경유)
• MLE-bench (Chan 외, 2024) — 벤치마크 원전
• Frontis-MA1 (Yang 외, 2026) — 비교 대상 선행 연구
• RLVR 검증기 설계와 리워드 해킹 — sunny34.com 블로그