최고 점수는 50.6%뿐: 전문 물리공학 업무에 도전한 AI 에이전트 벤치마크 PLE 리뷰

원문 정보

Rujun Han, Yufan Zhuang, Arijit Ray, Han Yu, Zoey CuiZhu, George Lee, Yifei Ming, Binz Roy, Varun Sakalkar, Vishy Tirumalashetty, Burak Gokturk, Tomas Pfister, Chen-Yu Lee(전원 구글 클라우드 AI 리서치 또는 구글 소속), "PLE: Physical-Engineering's Last Exam", arXiv:2610.30537 [cs.AI], 2026-10-21 제출, CC BY 4.0. 원문 전문은 2026-10-24T22:08:22Z 기준 1차 출처 스냅숏(세션 egress 전면 차단에 따른 폴백)으로 대조했습니다.

동료심사를 거치지 않은 프리프린트입니다. 저자 13명 전원이 구글 클라우드 AI 리서치 또는 구글 소속이며, 과제 제작·검증 비용은 데이터 벤더 Mercor를 통해 지급했습니다(전문가 작성 과제 평균 4,663달러, 공동 제작 과제 검증·난이도 조정 평균 3,157달러 — 논문이 자체 공개). 다만 결과에서 1위를 차지한 모델은 구글의 제미니 계열이 아니라 Anthropic의 Claude Opus 5.5였고, 채점에 쓰인 LLM 심사위원 역시 바로 이 Claude Opus 5.5라는 점은 아래 신뢰도 평가에서 따로 짚습니다.

연구 개요

질문은 단순합니다. 프런티어 언어모델이 지식 벤치마크는 90% 넘게 풀면서, 실제로 돈이 되는 물리공학 업무 — 전기·토목·구조·기계설계 — 를 현장 엔지니어처럼 수행할 수 있는가. 기존 공학 벤치마크(EngiBench, Frontier-Eng 등)는 교과서형 문제나 프롬프트 안에 다 들어가는 토이 설계 문제라 이미 포화 상태입니다. PLE는 그 대신 실제 프로젝트 파일시스템(평균 61개 파일, PDF·엑셀·CAD/BIM 도면 등 다중 포맷)을 주고, 서명 가능한 결과물(메모·계산서·장비 스케줄·2D/3D 도면)을 요구합니다.

과제는 두 경로로 모읍니다. 전문가 작성(44개) 과제는 현직 엔지니어가 처음부터 끝까지 직접 쓰고 가중 루브릭(이분법 체크리스트)으로 채점합니다. 공동 제작(41개) 과제는 엔지니어가 브리프만 쓰고 에이전트 파이프라인(Creator-Solver 루프)이 환경·채점기를 구축한 뒤 전문가가 다시 검증·난도를 높입니다. 공동 제작 과제는 규정 준수율(p)과 비용 최적화 점수(O′)를 0.4:0.6으로 섞은 혼합 점수를 쓰는데, 안전·적법성을 만족하지 못하면 아무리 저렴해도 0점 처리하는 하드 게이트(G)를 둔 점이 특징입니다.

핵심 결과

14개 프런티어 모델을 7개 공개 에이전트 하니스(Claude Code·Antigravity·Codex·Hermes·OpenCode·OpenHands·Pi)에 태워 85개 과제 전체를 평균 3회씩 돌렸습니다. GPT 6 Astra는 Codex, Grok 4.7은 자체 하니스(Grok Build)에서만 평가해 전체 모델×하니스 조합은 86개입니다(12개 모델×7개 하니스 + 2개 모델×1개 하니스).

최고 조합은 Claude Code에서 돌린 Claude Opus 5.5로 평균 50.6%, 과제당 17.18달러였습니다. OpenHands에서도 49.9%(14.82달러)로 근접했고, GPT 6 Astra는 Codex에서 절반 가까운 비용(9.15달러)으로 48.3%를 냈습니다. 같은 모델이 하니스를 바꿀 때 생기는 격차는 중앙값 3.0%p(Claude Opus 5.5는 7개 하니스 전체에서 47.3~50.6%)에 그쳐, 모델 간 격차(위 차트의 50.6%~14.2%, 이보다 더 낮은 모델 4개는 전부 7% 미만)가 하니스 간 격차보다 훨씬 크다는 점을 보여줍니다.

분야별로는 토목(69.9%)이 가장 쉬웠고 기계(40.5%)·구조(46.6%)가 가장 어려웠습니다(전기 분야의 종합 수치는 원문에 따로 제시되지 않았습니다). 공동 제작 과제가 전문가 작성 과제보다 어려웠습니다 — Claude Code 기준 48.0% 대 53.1%. 과제 하나를 푸는 데 평균 27.0M 토큰·63분이 들었는데, 공동 제작 과제는 39.3M 토큰·97분, 전문가 작성 과제는 15.6M 토큰·31분으로 나뉘어 가중평균이 전체 평균과 정확히 일치합니다.

실패 양상도 뚜렷합니다. 86개 모델×하니스 조합의 전체 실행 중 23.2%가 0점을 받았는데, 그중 70.4%는 결과물은 냈지만 채점기가 0점을 준 경우(안전·적법성 게이트 불충족이 다수)였고, 25.3%는 채점 가능한 결과물 자체를 못 냈으며, 4.3%는 시간 예산 초과나 에이전트 쪽 오류였습니다(합 100%). 최고 조합(Claude Opus 5.5·Claude Code)은 255회 실행 중 0점이 11회뿐으로 드물었지만, 공동 제작 과제에서 제약의 91%를 평균적으로 만족하면서도 안전·적법성 하드 제약을 전부 만족한 비율은 41.3%에 그쳤습니다 — "대체로 맞는 설계"와 "서명 가능한 설계"의 격차가 이 벤치마크의 핵심 난제입니다.

신뢰도 평가

동료심사 전 프리프린트이며, 평가 설계·채점·논문 작성 모두 구글 소속 저자들이 수행했습니다. 이해상충 측면에서 특히 짚을 점은, 전문가 작성 과제의 루브릭 채점을 맡은 LLM 심사위원이 다름 아닌 1위 모델 Claude Opus 5.5라는 사실입니다. 저자들은 이를 숨기지 않고 자체 재검증했습니다 — 같은 1,159개 LLM 채점 실행을 Claude Opus 5·제미니 4 아르곤으로 다시 채점한 결과, 2차 Opus 5.5 재채점은 98.7% 일치(코헨 카파 0.97)로 사실상 동일했고, Opus 5·제미니 4 아르곤은 각각 95.8%·95.5% 일치(카파 0.90)하며 전체 점수를 2.1점·0.9점 올렸습니다. 루브릭 과제 44개로 좁히면 제미니 4 아르곤 재채점이 Opus 5.5 자체 재채점보다 2.3점 더 높게 나와, 자기선호 편향이 존재하지만 모델 간 50점대 격차에 비하면 작은 폭입니다. 하니스 순위도 심사위원을 바꿔도 거의 그대로였습니다(켄달 타우 0.90~1.0).

자금 출처는 투명합니다 — Mercor를 통한 전문가 보상액을 과제당 단가까지 공개했습니다. 상반된 증거로는, 같은 저자들이 인용한 EngiBench(2025)·Frontier-Eng(2026) 같은 기존 공학 벤치마크에서 선두 모델이 이미 80~97.9%를 받는다는 점이 있습니다. 이는 PLE가 틀렸다는 뜻이 아니라, "교과서형·단일 과제" 벤치마크와 "실제 프로젝트 전체를 완결하는" 벤치마크가 전혀 다른 그림을 보여준다는 뜻이며, 벤치마크 설계 자체가 역량 평가의 결론을 좌우한다는 교훈을 남깁니다. 개별 과제 단위의 변동성도 큽니다 — 85과제×7하니스 595개 셀 중 105개가 3회 실행 사이에 30점 이상 흔들렸습니다.

관련 연구

• Patwardhan 외(2025). GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks — 선행 연구(benchmark-origin). 44개 직종의 실제 결과물 생성 과제를 전문가 블라인드 비교로 채점하는 틀을 먼저 세웠고, PLE는 이를 물리공학이라는 단일 고가치 영역에 깊게 적용했습니다.
• Vidgen 외(2026). APEX-Agents — 확장(extension) 관계. PLE의 샌드박스 환경은 APEX-Agents가 공개한 Archipelago 하니스(MCP 기반 다중 애플리케이션 컨테이너)를 그대로 가져다 썼습니다. APEX-Agents 자체 결과도 최고 점수가 24.0%(제미니 3 플래시)에 그쳐, 장기 실행 전문직 과제에서 에이전트가 낮은 점수를 받는 패턴이 금융·컨설팅·법률(APEX-Agents)과 물리공학(PLE) 양쪽에서 반복됩니다.
• Zhou 외(2025, ACL 2026 채택). EngiBench — 상반(contradiction) 관계. 교과서형 공학 문제 1,760개 중 143개를 다루는 이 벤치마크에서는 선두 모델이 레벨2 기준 80%를 넘습니다. PLE가 같은 "공학" 영역에서 정반대 그림(50.6%)을 보이는 것은, 실제 프로젝트 결과물 완결과 교과서형 문제풀이 사이의 난이도 격차가 매우 크다는 뜻입니다.

리뷰어 판단

첫째, 이 벤치마크에서 가장 중요한 실무 신호는 50.6%라는 숫자 자체가 아니라 "제약의 91% 충족 대 하드 제약 41.3% 전부 충족"의 격차라고 판단합니다. 엔지니어링에서는 거의 맞는 설계가 별 소용이 없습니다 — 한 군데라도 안전 기준을 어기면 서명이 나지 않습니다. 현재 에이전트는 "대체로 맞다"에는 가깝지만 "완전히 맞다"에는 멀다고 읽는 편이 안전합니다.

둘째, 하니스 효과가 작다는 결과(중앙값 3.0%p)는 하니스 선택에 공을 지나치게 들이는 조직에 경고가 됩니다. 이 논문을 기준으로는 하니스를 고도화하기보다 모델을 교체하는 쪽이 투자 대비 효과가 훨씬 큽니다. 다만 이는 저자들이 평가한 공개 하니스 7개 범위 안에서의 결론이고, 사내 커스텀 하니스까지 그대로 일반화할 근거는 아닙니다.

셋째, LLM 심사위원이 1위 모델과 같은 계열이라는 사실을 저자들이 스스로 드러내고 재검증한 점은 높이 평가하지만, 2.3점의 자기선호 편향이 "작다"는 판단은 저자들의 해석일 뿐 절대적 기준은 아닙니다. 50점 안팎을 다투는 벤치마크에서 2~3점은 순위를 바꿀 수 있는 크기이므로, 상위 3~4개 모델 사이의 세부 순위는 참고치로만 보는 편이 맞다고 봅니다.

실무 적용

• 서명 전 전수 검증 유지 — 하드 제약 완전 충족률이 41.3%에 불과하므로, 엔지니어링 결과물은 사람의 최종 승인 없이 자동 발행하지 않습니다.
• 모델 선택에 먼저 투자 — 하니스 간 격차(중앙값 3.0%p)보다 모델 간 격차(수십 %p)가 훨씬 크므로, 하니스 고도화보다 최신 모델 벤치마킹을 우선합니다.
• 비용·점수 프런티어로 하니스를 고릅니다 — 같은 모델도 하니스에 따라 과제당 비용이 2~3배(Claude Opus 5.5 기준 12.53~35.15달러) 벌어지므로, 점수 대비 비용이 낮은 조합을 먼저 확인합니다.
• LLM 심사위원 편향을 자체 점검 — 자사 평가 파이프라인에서도 채점 모델과 피채점 모델이 같은 계열이면, 다른 모델로 재채점해 편향 크기를 먼저 측정합니다.
• 벤치마크 성격을 구분해서 읽습니다 — "교과서형" 벤치마크의 고득점과 "실제 업무 완결형" 벤치마크의 저득점이 공존할 수 있으므로, 도입 판단에는 실제 업무와 가장 가까운 벤치마크를 우선 참고합니다.

결론

PLE의 기여는 "공학 지식 문제"가 아니라 "서명 가능한 공학 결과물"을 기준으로 삼은 데 있습니다. 14개 프런티어 모델·7개 하니스의 조합 86개 중 50%를 넘긴 것은 단 하나였고, 그마저도 하드 제약을 전부 충족한 비율은 41.3%에 그쳤습니다. 모델 선택이 하니스 선택보다 훨씬 큰 변수였고, 저자들이 스스로 드러낸 LLM 심사위원 자기선호 편향(2.3점)은 50점대 모델 격차에 비하면 작지만 상위권 순위를 흔들 수는 있는 크기입니다. 실제 업무를 흉내 낸 벤치마크일수록 점수가 낮아지는 경향은, 생산 스케줄링처럼 수식 하나로 자동화 경계가 갈리는 다른 산업 과제에서도 반복해서 관찰됩니다 — 관련 논의는 에이전트 생산 스케줄링 모델링의 자동화 경계선 게이트 설계에서 이어집니다.

참고 링크

• PLE: Physical-Engineering's Last Exam — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 수치 대조에 사용(세션 egress 차단으로 스냅숏 사본 대조)
• GDPval — arXiv:2510.04374
• APEX-Agents — arXiv:2601.14242
• EngiBench — arXiv:2509.17677
• 에이전트 생산 스케줄링 모델링의 자동화 경계선 게이트 설계 — sunny34.com 블로그