원문 정보
Nova-Silicon Team, "AnalogLayoutWorld: An Open Benchmark for Agentic Analog Layout Design", arXiv:2611.16991v1 [cs.AI], 2026-11-12 제출. 소속: Nova-Silicon(아날로그 반도체 설계자동화 기업, 교신 이메일 [email protected]). 벤치마크 저장소는 "곧 오픈소스로 공개할 예정"이라고만 밝혀 두었습니다(원문 각주 1).
동료심사를 거치지 않은 프리프린트이며, 저자 전원이 벤치마크를 설계한 기업 자체 팀입니다. 이 구조가 중요한 이유는 본문에서 바로 드러납니다 — 같은 팀이 과제·채점 기준(가중치 수식)을 정하고, 자사의 비공개 에이전트 Novara도 같은 벤치마크로 평가해 1위로 보고합니다. 사사(Acknowledgments)에는 상하이인공지능연구원·푸단대 연구자의 자문 제공만 언급돼 있고, 외부 연구비 지원처는 명시돼 있지 않습니다.
연구 개요
질문은 "코딩 에이전트가 소프트웨어를 넘어 물리적 제약이 있는 장기 공학 과제도 처리할 수 있는가"입니다. 저자들은 이를 아날로그 집적회로(IC) 레이아웃 설계로 시험합니다 — 고정된 트랜지스터 단위 넷리스트를 받아 실제로 제작 가능한 레이아웃(GDS 파일)을 만들어내는 과제입니다. 40개 전문가 검토 과제(증폭기·레퍼런스·전력관리·샘플링·오실레이터, SKY130 공정)를 구성하고, 에이전트에게는 gdsfactory·KLayout·Magic·ngspice 등 오픈소스 EDA 툴과 문서만 제공한 뒤(벤치마크 전용 도구·MCP 인터페이스는 없음) 3시간 벽시계 예산 안에서 설계·검증·수정을 스스로 반복하게 했습니다. 평가는 에이전트 종료 후 별도 환경에서 DRC(설계 규칙)·LVS(배선-회로 일치)·PEX 기반 전기 시뮬레이션·레이아웃 면적 효율·엔지니어링 품질을 독립적으로 채점하며, 과제당 3회 반복해 평균을 냅니다.
핵심 결과
13개 모델-하니스 조합(별도 평가한 자사 에이전트 Novara는 제외)에서 91.1%의 시도가 GDS 레이아웃을 산출했지만, DRC·LVS·전체 시뮬레이션을 모두 통과하는 벤치마크 승인 기준(Acc.)을 만족한 비율은 21.3%였습니다. 이 수치는 원문 초록·서론에 두 차례 명시돼 있고, 원문 Table 1의 13개 조합 Acc.(%) 열(3.3·8.3·9.2·0.0·35.0·27.5·14.2·12.5·0.0·20.0·14.2·70.8·62.5)을 직접 산술평균해 21.3%로 재확인했습니다.
| 모델 / 시스템 | 하니스 | DRC(%) | LVS(%) | SIM(%) | Acc.(%) | 평균 점수 |
|---|---|---|---|---|---|---|
| Novara(자체 개발, 비공개) | — | 97.5 | 100.0 | 75.0 | 72.5 | 0.8154 |
| GPT-6 Astra | Codex | 99.2 | 98.3 | 82.5 | 70.8 | 0.7483 |
| GPT-6.1 Sol | Codex | 92.5 | 91.7 | 80.0 | 62.5 | 0.7023 |
| GLM-5.3 | OpenCode | 80.0 | 69.2 | 42.5 | 35.0 | 0.4779 |
| Kimi-K3 | Kimi Code | 50.0 | 40.0 | 30.0 | 20.0 | 0.2900 |
| DeepSeek V4.1 Flash | DSH | 37.5 | 30.0 | 17.5 | 9.2 | 0.2246 |
| GLM-5.2 FP8 | OpenCode | 10.0 | 10.0 | 5.0 | 0.0 | 0.1075 |
출처: 원문 Table 1(13개 모델-하니스 평가, 과제당 3회 반복 평균). Novara는 벤치마크 제작사가 자체 클러스터에 배포한 비공개 시스템으로, 공개 API 모델과 직접 비교 가능한 하니스 정보가 없습니다. GPT 계열은 물리·전기 검증(DRC·LVS·SIM)에서 가장 높은 통과율을 보였고, 나머지 구성은 회로와 전기적으로 동등한 레이아웃을 만드는 단계에서부터 어려움을 겪었습니다. 케이스 스터디도 그 이유를 구체적으로 보여줍니다. 전류제한형 링 발진기(Task 9)에서 GPT-6 Astra의 세 시도 모두 DRC·LVS·시뮬레이션을 통과했지만 가로세로비가 22.63~26.31로 허용 기준(4 이하)을 넘어 형상 불합격 처리됐습니다. 같은 과제에서 Novara의 첫 시도는 비율 1.24로 통과해 0.9015점을 받았습니다. 30mA급 LDO 과제(Task 17)에서는 GPT-6 Astra와 DeepSeek V4.1 Flash 둘 다 전기 검증을 통과했지만, 전력 전달 서브점수는 0.748 대 0.199로 갈렸습니다(원문 Table 2 및 본문 서술) — DeepSeek 레이아웃의 출력 배선이 SkyWater 공정 기준 필요한 비아 63개 중 10개만 사용해 전류 용량이 부족했기 때문입니다. 두 레이아웃 모두 "전기적으로는 합격"이었지만 엔지니어링 품질은 전혀 달랐다는 뜻입니다.
신뢰도 평가
믿을 근거는 두 가지입니다. 첫째, 채점이 에이전트 자가 보고가 아니라 별도 환경에서 독립적으로 재실행됩니다. 둘째, 회로 데이터 일부를 외부 공개 데이터셋(Analog Design Bench, LOADBench)에서 가져와 벤치마크 제작사가 과제 전부를 임의로 설계하지는 않았습니다.
감안할 점은 더 많습니다. 가장 큰 것은 이해상충입니다 — 벤치마크 제작사가 채점 기준(수식의 가중치, 품질 지표 정의)을 정하고 자사의 비공개 에이전트 Novara를 같은 벤치마크로 평가해 1위로 보고합니다. Novara는 외부 API 호출 없이 자체 클러스터에서만 구동되는 "내부 시스템"이라 동일한 조건(3시간 예산, 동일 하니스 제약)인지 외부에서 검증할 방법이 없고, 저장소도 아직 공개되지 않았습니다. 그 다음은 재현성입니다 — 13개 공개 모델-하니스 조합은 각 최대 3회 반복이고, 분산·신뢰구간은 보고되지 않습니다. 과제 수(40개)도 좁은 범주(아날로그 증폭기류 중심)에 집중돼 있어, 디지털 IC나 혼합신호 설계로 결론을 일반화하기는 어렵습니다. 동료심사 전 초고라는 점도 그대로입니다. 이 논문이 다루는 범주에서 반대 결론을 보이는 선행 연구는 확인되지 않았습니다 — 다만 아래 관련 연구에서 보듯, "코딩 에이전트가 산출물은 만들어도 품질 기준은 통과하지 못한다"는 패턴은 소프트웨어 중심 에이전트 벤치마크에서도 반복적으로 보고되는 현상입니다.
관련 연구
- Leibl et al.(2026). LOADBench: A Large Open Analog Dataset and Benchmark for Machine Learning in IC Design — 벤치마크 원전/선행 연구. AnalogLayoutWorld가 과제 구성에 직접 가져다 쓴 공개 아날로그 회로 데이터셋(SKY130 기반 오피앰프 100여 종)의 원 저자입니다. WebSearch로 저자·제목·초록 내용을 독립 확인했습니다(제목·저자진·데이터 규모 일치).
- Analog Design Bench Team(2026). Long-horizon analog design bench: benchmarking agents on hours-long analog and mixed-signal circuit design tasks — 벤치마크 원전/선행 연구. 역시 AnalogLayoutWorld 과제 구성에 회로 데이터를 제공한 선행 벤치마크입니다. 세션 egress 제약으로 WebSearch 독립 확인에는 실패해, 이 항목은 AnalogLayoutWorld 원문의 참고문헌 서술에만 근거합니다.
- Simra AI(2026). TapeoutBench v0.1: coding agents on thirteen steps of a chip tapeout — 방법 확장(병행 연구). 레이아웃 한 단계가 아니라 칩 테이프아웃 13단계 전체에 에이전트를 투입하는 더 넓은 범위의 기술 리포트입니다. 이 항목도 WebSearch 독립 확인에는 실패해, AnalogLayoutWorld 원문의 서술에만 근거합니다.
세 문헌을 겹쳐 보면, 아날로그 레이아웃 자동화는 회로 데이터·시뮬레이션 인프라(LOADBench·Analog Design Bench)가 먼저 갖춰지고 그 위에 에이전트 평가(AnalogLayoutWorld)가 올라선 단계이며, TapeoutBench 같은 후속 시도는 평가 범위를 레이아웃 이후 단계(라우팅·테이프아웃)까지 넓히는 방향으로 가고 있습니다. 다만 두 번째·세 번째 문헌은 egress 제약으로 독립 재확인하지 못했으므로 그 문헌 자체의 수치는 본 리뷰에 인용하지 않았습니다.
리뷰어 판단
첫째, 이 논문에서 실무적으로 가장 중요한 숫자는 0.8154(Novara 1위)가 아니라 91.1%와 21.3%의 격차라고 판단합니다. "에이전트가 GDS 파일을 만들어냈다"는 것과 "그 레이아웃이 실제로 쓸 수 있다"는 것 사이에 70%포인트 가까운 간극이 있다는 사실은, 물리적 제약이 있는 공학 도메인에 에이전트를 투입할 때 산출물 존재 여부만으로 성공을 판단하면 안 된다는 경고로 읽어야 합니다. GPT-6 Astra의 링 발진기 사례(전기적으로는 전부 합격, 형상 기준에서 전부 불합격)가 그 간극이 "아직 못 만든다"가 아니라 "만들긴 하는데 다른 기준에서 자꾸 걸린다"는 성격임을 보여줍니다.
둘째, Novara의 1위를 독립 검증된 최고 성능으로 읽는 것은 시기상조라고 판단합니다. 벤치마크 제작사가 채점 기준을 설계하고 자사 비공개 시스템을 같은 벤치마크로 평가해 1위로 보고하는 구조는, 저장소가 실제로 공개되고 제3자가 재현하기 전까지는 벤더의 주장(vendor claim)으로 다뤄야 합니다. 특히 Novara 행에는 하니스·톡 수·툴콜 수 등 다른 행과 비교할 수 있는 리소스 정보가 비어 있어("—"), 같은 조건에서 싸웠는지조차 독자가 확인할 수 없습니다.
셋째, 논문이 헤드라인에서 강조하지 않은 숫자 중에는 예산 소진 비율이 있습니다 — GLM-5.3 Flash는 120회 시도 중 51회(42.5%)가 3시간 예산을 전부 소진했지만 GPT-6 Astra는 0건입니다. 점수표만 보면 드러나지 않는 이 운영상의 "예측 가능성" 차이는, 실제 파이프라인에 투입할 모델을 고를 때 평균 점수보다 먼저 봐야 할 지표라고 봅니다.
실무 적용
- 산출률과 승인률 분리 집계 — 장기 과제형 에이전트를 평가할 때 "결과물이 나왔는가"와 "품질 기준을 통과했는가"를 반드시 별도 지표로 보고한다. 이 논문처럼 70%포인트 가까운 격차가 흔하다.
- 벤더 자체 벤치마크의 1위 주장 재검증 — 벤치마크 제작사가 채점 기준을 정하고 자사 시스템을 같은 벤치마크로 평가해 1위라고 보고하면, 저장소 공개·제3자 재현 전까지는 참고 자료로만 다룬다.
- 예산 소진율을 선정 기준에 포함 — 평균 점수가 비슷해도 타임아웃 비율이 모델마다 크게 다를 수 있다(이번 사례 0%~42.5%). 운영 안정성 관점에서는 평균 점수보다 먼저 확인할 지표다.
- 검증-설계 반복 루프의 예산 설계 — 전기적 검증은 통과해도 형상·전류용량 같은 2차 기준에서 떨어지는 사례가 반복되므로, 1차 통과 이후에도 추가 검증 라운드를 예산에 포함해야 한다.
- 공개 검증 도구로 자가 점검 루프 구성 — 벤치마크 전용 도구 없이도 공개 EDA 체인(DRC·LVS·시뮬레이션)만으로 에이전트가 자체 검증할 수 있다는 점은, 사람 개입을 줄이면서도 품질 보증 루프를 돌릴 수 있는 설계 방향을 보여준다.
결론
AnalogLayoutWorld는 코딩 에이전트가 물리적 제약이 있는 장기 공학 과제(아날로그 IC 레이아웃)까지 확장될 수 있는지를 독립 검증 체계로 시험합니다. 결과는 분명한 간극을 보여줍니다 — 13개 공개 모델-하니스 조합에서 91.1%가 레이아웃을 만들어내지만 21.3%만 승인 기준을 통과하고, 전기적으로 합격한 레이아웃도 형상·전류용량 같은 2차 기준에서 자주 걸립니다. 다만 벤치마크 제작사의 비공개 시스템이 같은 벤치마크에서 1위를 차지했다는 결과는, 저장소 공개와 제3자 재현 전까지 독립적으로 확정된 사실이 아니라 벤더 주장으로 다뤄야 합니다. 산출물과 승인 기준을 분리해 보고해야 한다는 교훈은 소프트웨어 영역에서도 같은 결론에 도달한 코딩 에이전트 완전통과율 게이트 설계 체크리스트와도 일치합니다.
참고 링크
- AnalogLayoutWorld: An Open Benchmark for Agentic Analog Layout Design — arXiv 초록(원문)
- 같은 논문 HTML 전문 — Table 1·2 대조에 사용
- LOADBench(Leibl et al., 2026) — 관련 연구 원문
- 코딩 에이전트 완전통과율 게이트 설계 체크리스트 — sunny34.com 블로그
이 리뷰에 대해 AI와 대화하기
AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.
대화창을 불러오는 중…