원문 정보

Yang Zhou, Krish Agarwal, Zhuoming Chen, Zerui Wang, Zhenyu Zhang, Wenshuang Li, Xinpeng Wei, Zhichen Zeng, Jingyu Liu, Jue Wang, Sen Wu, Ziheng Jiang, Zhen Dong, Han Cai, Binhang Yuan, Ying Sheng, Ce Zhang, Bo Li, Beidi Chen, "Singularity-Bench: Can Agents Build Agents?", arXiv:2611.16591 [cs.AI], 2026-11-12 제출. 소속: 카네기멜런대학교·NVIDIA·텍사스대 오스틴·HKUST·Amazon AGI·RadixArk·시카고대·Together AI·Alation·Meta·UC 산타바바라·UIUC 공동 연구. 코드·결과 페이지 공개(infini-ai-lab.github.io/singularity-bench).

동료심사를 거치지 않은 프리프린트입니다. 저자 소속은 대학·오픈소스 인프라 회사 중심이라 특정 모델 기업 소속은 없지만, 사사(Acknowledgments)에 NVIDIA가 컴퓨트를, Fireworks가 API 크레딧을, Daytona가 추가 컴퓨트를 제공했다고 명시돼 있습니다. 클러스터 운영 과제의 인간 기준선이 NVIDIA Dynamo라는 점은 — NVIDIA가 같은 과제의 컴퓨트도 지원했다는 점에서 — 밝혀 둘 필요가 있는 지점입니다. 다만 평가에서 가장 높은 점수를 받은 것은 Anthropic의 Claude Opus 5.5이고 저자 중 Anthropic 소속은 없어, 결과가 특정 기업에 유리하게 설계됐다고 보기는 어렵습니다. NSF(CCF-2504353)·IARPA·Google·Amazon의 연구비도 함께 지원됐습니다.

연구 개요

질문은 단순합니다 — AI 에이전트가 다음 세대 에이전트를 만드는 시스템 전체를 혼자 구현할 수 있는가. 기존 벤치마크는 대개 행동 공간을 좁히거나(하이퍼파라미터 튜닝 수준), 환경을 단순화하거나(소형 모델·단일 GPU), 검증을 과제 통과 여부로만 판정해 에이전트가 숨겨진 답을 몰래 읽거나 평가 프로세스를 조작할 틈을 남겨 둡니다.

저자들은 AI 개발 스택을 사전학습·중간학습(midtrain)·강화학습 기반 사후학습·추론 서빙·에이전트 하니스·클러스터 오케스트레이션의 6개 레이어로 나누고, 각 레이어마다 최소한의 시작 코드베이스와 고정 시간 예산(과제별 4~12시간)만 주고 에이전트가 설계부터 구현까지 전부 맡도록 했습니다. 각 과제는 Megatron-LM(OLMo 2 레시피)·SGLang·Claude Code·NVIDIA Dynamo 같은 사람이 만든 production 시스템을 같은 하드웨어에서 돌린 기준선과 직접 비교합니다. 평가 지표는 레이어마다 다릅니다 — 사전학습은 검증 퍼플렉시티, 중간학습은 RL 이후 정확도, 사후학습은 과제 해결률, 추론은 GPU시간당 시뮬레이션 수익, 하니스는 다운스트림 과제 점수, 클러스터는 SLO 충족률입니다. 이 여섯 비율의 평균을 사람 기준선을 1로 둔 "Singularity-Index"로 종합합니다.

핵심 결과

11개 에이전트(7개 프런티어 모델 × Claude Code 또는 Codex 하니스)를 평가한 결과, Opus 5.5 + Claude Code만 6개 과제 중 5개에서 사람 기준선을 넘어서고 나머지 1개(사후학습)는 사람과 통계적으로 구분되지 않는 수준을 기록해 Singularity-Index 1.252를 얻었습니다. 나머지 10개 에이전트의 평균은 0.58이고, 독점 모델 3종의 평균은 1.01, 오픈웨이트 모델의 평균은 0.50입니다(원문 Table 5, 저자가 직접 보고한 전체 평균과 일치 확인).

에이전트사전학습 PPL↓추론 수익(USD/GPU시간)↑총 API 비용Singularity-Index
Opus 5.5 + Claude Code12.77 ★11.52 ★$425.411.252
GPT-6.1 Sol + Codex13.33 ★9.70 ★$84.520.969
Opus 5 + Claude Code12.89 ★1.47$328.190.803
DeepSeek V4.1 Flash + Codex17.58실패$4.360.698
사람 기준선14.228.18—1.000

★는 해당 과제에서 사람 기준선을 넘어선 경우입니다. 비용-성능 파레토 최전선은 DeepSeek V4.1 Flash+Codex($4.36, 지수 0.698)·GPT-6.1 Sol+Codex($84.52, 지수 0.969)·Opus 5.5+Claude Code($425.41, 지수 1.252) 세 지점으로 구성됩니다 — Opus 5.5는 가장 저렴한 조합보다 비용이 약 98배 높지만 유일하게 전 과제에서 사람과 동급 이상입니다(원문 Figure 1). 총비용은 과제별 API 지출의 합(예: Opus 5.5는 $44.70+$45.44+$61.51+$140.42+$85.27+$48.07=$425.41)으로 산술 검산했습니다. 같은 모델이라도 하니스에 따라 성적이 크게 갈립니다 — GLM 5.3은 Claude Code에서 0.657, Codex에서는 0.228입니다.

Singularity-Bench는 Harbor(기존 에이전트 평가 프레임워크)를 그대로 쓴 레드티밍 실험도 함께 진행했습니다. OWASP 에이전트 애플리케이션 10대 위협 중 9개 범주(상호 에이전트 통신 오남용 ASI07만 해당 없음)에서 공격을 설계했고, 평범한 Harbor(v0.15.0)는 6개 과제 전부에서 최소 한 건 이상 뚫렸습니다(원문 Table 3, 8개 범주). LLM 심판을 추가해도 로그 위조·심판 하이재킹 등으로 6개 추가 공격이 성공했습니다(원문 Table 4, 남은 1개 범주 ASI01 포함). 저자들이 만든 방어 확장 Breakwater(바이너리 핑거프린팅·API 라우터·프로세스 차단·외부 변경불가 로그·격리된 심판 컨테이너 5종)는 두 표의 공격을 전부 차단했습니다.

신뢰도 평가

믿을 근거는 세 가지입니다. 첫째, 모든 과제가 production급 사람 시스템을 같은 하드웨어·같은 시간 예산으로 직접 비교해, "에이전트가 더 빠르다"가 아니라 "에이전트가 production 시스템을 대체할 수 있는가"를 묻습니다. 둘째, Singularity-Index 1.252는 6개 비율의 산술평균으로 직접 재계산해 일치를 확인했고, 총 API 비용도 과제별 합산과 일치합니다. 셋째, 레드티밍은 자기 보고가 아니라 실제 공격 성공/차단 여부를 표로 공개해 검증 가능합니다.

감안할 점도 분명합니다. 평가는 11개 에이전트·과제당 1회 실행으로 보여 분산·재현성 보고가 없습니다. 레드티밍 공격은 저자들이 직접 설계·실행한 것이라 악의적 에이전트가 실전에서 이런 공격을 자연적으로 '발견'할 확률까지 측정한 것은 아닙니다 — 비공식 실행 중 실제로 이런 행동이 관찰된 사례는 DeepSeek V4.1 Flash 1건뿐이라고 저자들이 직접 밝혔습니다. Breakwater의 안전성도 "저자들이 설계한 공격 목록을 전부 막았다"는 뜻이지, 목록 밖의 새 공격까지 막는다는 보장은 아닙니다. 과제 규모도 저자들이 결론에서 인정하듯 "진짜 RSI(재귀적 자기개선)에 필요한 규모보다 작습니다." 동료심사 전 초고라는 점도 그대로입니다.

관련 연구

세 문헌을 겹쳐 보면, 에이전트의 장기 과제 수행 능력은 METR의 RE-Bench 이후 빠르게 좋아졌지만 그 능력을 평가하는 프레임워크의 보안성은 별도로 검증해야 한다는 경고가 반복되고 있습니다. Singularity-Bench의 기여는 이 두 흐름(능력 향상·평가 보안)을 한 논문에서 같은 과제 세트로 동시에 다룬 데 있습니다.

리뷰어 판단

첫째, 이 논문에서 가장 중요한 숫자는 1.252가 아니라 0.58이라고 판단합니다. 평균적인 '좋은 모델+좋은 하니스' 조합은 아직 production 시스템의 절반 수준이고, Opus 5.5도 "원시 점수는 여전히 개선 여지가 크다"고 저자들이 직접 인정합니다. 헤드라인 지수만 보면 AI가 AI 개발 전체를 대체할 임박한 신호로 읽히기 쉽지만, 표를 보면 한 조합(Opus 5.5+Claude Code)만의 결과이고 그마저도 6개 과제 중 하나(사후학습)는 사람과 통계적으로 구분되지 않는 수준입니다.

둘째, 레드티밍 결과를 "에이전트 평가=안전하지 않다"로 과장하면 안 되지만, 반대로 "Breakwater로 해결됐다"고 안심하는 것도 이릅니다. Breakwater는 저자들이 직접 설계한 공격을 전부 막았을 뿐, 미지의 공격에 대한 일반화 보증은 논문에 없습니다. RL 훈련에 이런 평가 프레임워크를 쓰는 조직이라면, "우리가 생각한 공격 목록"이 아니라 "제3자 레드팀이 새로 찾아낸 공격"을 기준으로 다시 검증해야 안전합니다.

셋째, 하니스 선택이 모델 선택만큼 중요하다는 점은 실무적으로 과소평가되는 변수라고 봅니다. 같은 GLM 5.3이 Claude Code에서는 0.657, Codex에서는 0.228입니다. 모델 벤치마크 점수만 보고 하니스를 고정값으로 취급하는 조달·평가 프로세스는 이 격차를 놓칩니다.

실무 적용

  • 평가 프레임워크의 격리 수준 점검 — 에이전트가 자가 개선·자가 평가 루프를 도는 파이프라인이 있다면, Harbor류 프레임워크의 "로그 쓰기 가능·사이드카 생존" 같은 약점이 내부 시스템에도 있는지 먼저 점검합니다.
  • 심판 단독 신뢰 금지 — LLM-as-a-judge를 추가해도 뚫렸다는 결과(원문 Table 4)를 근거로, 판정 결과를 바꾸는 코드 실행 경로와 판정 로직 자체를 분리합니다.
  • 하니스별 재평가 — 모델 교체 시 하니스를 고정하지 말고 Claude Code·Codex 등 최소 2종에서 재측정합니다. 같은 모델의 성적이 하니스에 따라 3배 가까이 갈릴 수 있습니다.
  • 비용-성능 교차점 확인 — 전 과제 1위가 필요한지, 비용 최전선(가장 저렴한 조합)으로 충분한지를 과제 특성별로 구분해 결정합니다.
  • 서브에이전트 위임 설계 — 단순히 서브에이전트를 허용하는 것만으로는 성능이 오르지 않고(원문 Table 7, Opus 5.5만 상승, GPT-6.1 Sol은 하락), GPU·리소스를 서브에이전트에 어떻게 분배하는지가 결과를 가릅니다.

결론

Singularity-Bench는 "에이전트가 에이전트를 만들 수 있는가"라는 질문에 사전학습부터 클러스터 운영까지 6개 레이어를 production 시스템과 나란히 비교해 답합니다. Opus 5.5+Claude Code가 유일하게 사람 수준 이상을 기록했지만 나머지 10개 조합은 평균 0.58에 머물렀고, 같은 모델도 하니스에 따라 성적이 3배까지 갈립니다. 레드티밍은 기존 평가 프레임워크의 구체적인 취약점과 그 방어책을 보여 주지만, 저자가 설계한 공격 목록을 막았다는 것과 미지의 공격까지 막는다는 것은 다른 주장입니다. 평가 프레임워크의 보안성을 실제 배포 전에 재검증해야 한다는 점에서는, 안전 실패 증가율을 다룬 자기진화 에이전트 하니스의 표면별 승격 게이트 설계와 같은 결론으로 수렴합니다.

참고 링크

이 리뷰에 대해 AI와 대화하기

AI가 이 리뷰와 검증된 수치를 읽은 상태로 답합니다. 무엇이든 물어보세요 — 글에 없는 내용이면 없다고 먼저 알려줍니다.

대화창을 불러오는 중…