AI 코딩 도구의 생산성, 어디까지 진짜인가: NBER w35275 리뷰

원문 정보

Mert Demirer (MIT), Leon Musolff (Wharton), Liyuan Yang (MIT), "Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools", NBER Working Paper No. 35275, 2026년 5월. DOI: 10.3386/w35275

발행처인 NBER(전미경제연구소)는 1920년 설립된 비영리·비당파 경제연구기관으로, 미국의 경기침체 시점을 공식 판정하는 곳입니다. 다만 워킹페이퍼는 토론을 위해 배포되는 초고로 동료심사를 거치지 않았습니다. 최신 데이터를 가장 빨리 볼 수 있는 대신, 결론이 확정된 문헌은 아니라는 전제로 읽어야 합니다.

무엇을 물은 연구인가

질문은 두 가지입니다. AI 코딩 도구의 생산성 효과는 자동완성 → 동기(sync) 에이전트 → 비동기(async) 에이전트로 세대를 거치며 어떻게 변했는가, 그리고 코드 작성 단계의 향상이 실제 소프트웨어 출시까지 얼마나 전달되는가. 데이터는 GitHub 공개 활동(개발자 10만 명 이상), Microsoft 내부의 Copilot 텔레메트리, 그리고 앱 마켓플레이스 4곳(App Store·Google Play·Chrome Web Store·SourceForge)의 출시·소비 기록입니다.

방법론은 매칭 이벤트 스터디입니다. 도구 채택자를 동시대 비채택자가 아니라 정확히 1년 전 같은 주에 비슷한 활동량을 보인 개발자와 짝지어 비교합니다. 동시대 비교군은 비공개 AI 사용(오염)과 채택자의 선택 편향 때문에 배제했고, 결과변수는 채택 전 11주 평균으로 정규화했습니다. 관측 설계로는 성실한 편입니다.

핵심 결과: 세대가 갈수록 커지고, 계층을 오를수록 줄어든다

저자들이 선호하는 채택 후 21~30주 구간 기준으로, 여섯 개 생산 계층(코드 라인 → 파일 → 커밋 → PR → 리포지토리 → 릴리스)을 가로지르며 효과가 어떻게 감쇠하는지가 이 논문의 뼈대입니다.

초록의 "커밋 +180% → 레포 +50% → 릴리스 +30%"는 세 세대를 모두 채택했을 때의 누적 기준이고, 위 표는 세대별 단일 효과입니다. 두 표기는 누적 배수 = 1 + 세대별 효과의 합 관계로 여섯 계층 전부에서 검산이 일치합니다 — 서로 모순처럼 보이는 초록의 수치들은 기준이 다를 뿐입니다. 비동기 에이전트의 PR 효과(+72%)가 커밋(+34%)보다 큰 것은 이 도구가 PR을 직접 생성하기 때문으로, 상류 효과가 흘러내려온 것이 아니라 그 계층에 직접 개입한 결과입니다.

이질성 분석도 방향이 일관됩니다. 사전 활동량 하위 사분위 개발자의 동기 에이전트 커밋 효과는 +217%, 최상위 사분위는 +62%로, 세 세대 모두 활동량이 적은 개발자에게 효과가 더 컸습니다. 시장 측 데이터는 냉정합니다 — iOS 신규 앱은 월 3~5만 개에서 약 10만 개로 늘었지만 코호트 총 사용량은 정체했고, 3개월 내 평점 10개조차 못 받는 신규 앱 비율은 약 79%에서 86%로 올랐습니다.

신뢰도 평가

믿을 근거는 꽤 갖춰져 있습니다. AI가 아닌 위약(placebo) 도구로 같은 분석을 돌리면 GitHub Pro는 장기 효과가 사실상 0%였고, 사전 추세는 평평했으며, 자동완성 추정치(+36%)는 동일 도구의 기존 현장실험(약 +26%)과 정합합니다. Claude Code 효과 상승이 학습 곡선이 아니라 모델 업데이트 시점과 맞물린다는 동태 분석도 설득력이 있습니다.

감안할 점은 세 가지가 무겁습니다. 첫째, 이해상충 — 저자 3인 중 2인이 Microsoft 유료 리서치 컨설턴트이고 핵심 데이터도 Microsoft 내부 텔레메트리입니다(논문에 공시됨). 둘째, 상반된 실험 증거 — Becker et al.(2025)의 RCT는 에이전트 도구가 숙련 개발자 생산성을 오히려 19% 낮췄다고 보고했고, 이 관측 연구와 부호가 반대인 쟁점은 아직 정리되지 않았습니다. 셋째, 커버리지 — 공개 리포지토리만 관측하므로 비동기 에이전트 사용자의 24.2%만 식별되며, 기업 내부 소프트웨어는 완전히 빠져 있습니다. 커밋 수를 생산성으로 볼 수 있느냐는 근본 반론도 남습니다.

리뷰어 판단: 릴리스로 이어진 도구는 사실상 하나뿐

이 리뷰가 가장 주목한 숫자는 논문이 크게 강조하지 않은 도구별 릴리스 효과입니다.

세 도구 모두 커밋은 유의미하게 늘렸지만 실제 출시 증가로 이어진 것은 하나뿐입니다. 저자들은 "CLI 중심인 Claude Code 채택자가 더 숙련됐을 가능성"을 언급하며 도구 효과와 채택자 구성을 구분할 수 없다고 단서를 답니다. 이 단서가 논문의 진짜 메시지라고 판단합니다 — 도구가 병목을 뚫는 것이 아니라, 이미 출시 파이프라인이 정돈된 조직과 개인이 도구로 이득을 봅니다. 파이프라인이 막혀 있으면 도구를 바꿔도 커밋만 늘고 출시는 그대로입니다.

구조 추정도 같은 방향을 가리킵니다. 캘리브레이션된 대체탄력성 σ ≈ 0.25는 AI 상류 산출물과 인간 검토 노력이 강한 보완재임을 뜻합니다. 상류를 아무리 자동화해도 하류 판정이 사람에게 묶여 있으면 최종 산출은 유한한 천장에 부딪히고, 코딩 도구를 더 사는 것으로는 이 천장을 넘을 수 없습니다. 희소 자원은 코드를 쓰는 능력에서 "이것이 나가도 되는가"를 판정하는 능력으로 이동했습니다.

실무 적용: 감쇠 곡선을 뚫는 레버

논문 모형에서 최종 산출을 늘리는 레버는 논리적으로 네 가지뿐이고, 여기서 실행 가능한 항목을 추리면 다음과 같습니다.

• 증거 동봉형 PR — AI가 코드와 함께 영향 범위·테스트·커버리지 diff·롤백 절차를 제출하게 해 리뷰어를 "읽는 사람"에서 "증거로 판정하는 사람"으로 바꿉니다. 도구 교체 없이 PR 템플릿과 머지 규칙만으로 착수 가능합니다.
• AI를 하류 계층에 투입 — 회귀 테스트 선별, 릴리스 노트, 변경 리스크 스코어링. 비동기 에이전트의 PR 효과(+72%)가 커밋(+34%)보다 컸다는 실증이 근거입니다.
• 계층별 감쇠 곡선 계측 — 라인→파일→커밋→PR→레포→릴리스 6계층 통과율을 월 단위로 재서 병목 계층을 확인한 뒤 투자합니다. 병목을 모르는 채 코딩 도구에 추가 투자하는 것은 정의상 낭비입니다.
• 릴리스 배치 축소 — 논문 표본에서 릴리스는 개발자당 주 0.37~1.17회에 불과한 희소 사건입니다. 트렁크 기반 개발과 피처 플래그로 출구를 잘게 여는 일은 AI 없이도 지금 할 수 있습니다.

결론

표면 메시지는 "AI 생산성 향상이 최종 산출로 잘 이어지지 않는다"는 비관론처럼 읽히지만, 자동완성이 1개 계층에만 진입했던 반면 에이전트 세대는 이미 PR 계층까지 올라와 있습니다. 병목은 사라진 것이 아니라 위로 이동 중이며, 현재 병목은 검증과 판정입니다. 그 계층에 선 사람의 가치는 오르되, "게이트를 지키는 사람"이 아니라 판정을 자동화 가능한 형태로 설계하는 사람 쪽으로만 오를 것입니다.

참고 링크

• NBER Working Paper 35275 — 원문 페이지
• 전문 PDF (본문 43p + 온라인 부록)