지연시간 71초→12초, 품질은 그대로: 디퓨전 백본 딥리서치 에이전트 DiffResearch 리뷰

원문 정보

Alan-Barsag Gazzaev, Alexey Gavrilov, Sergey Muravyov(ITMO University, 러시아 상트페테르부르크), Mikhail Mozikov(AXXX, 러시아 모스크바), "DiffResearch: Accelerating Deep Research with Diffusion Language Models", arXiv:2610.28909 [cs.AI], 2026-10-20 제출, EMNLP 2026 Industry Track 채택. 코드 공개(github.com/alanrbtx/DiffResearch, Apache-2.0). 원문 전문은 2026-10-22T22:08:39Z 기준 1차 출처 스냅숏(세션 egress 전면 차단으로 WebFetch 대신 사용)으로 대조했습니다.

동료심사를 거친 산업 트랙 논문입니다(이전 버전은 ICML 2026 AI4Science 워크숍에서 먼저 발표됐고, 이번 버전은 자기회귀 대조 실험·dFast 분석·언어별 진단·근거 대조 감사를 추가했습니다). 저자 전원이 ITMO University와 모스크바 소재 AXXX 소속으로, 디퓨전 모델을 직접 판매하는 상업 랩과는 무관합니다. 연구비는 ITMO University 프로젝트 No. 666001의 지원을 받았습니다.

연구 개요

질문은 단순합니다 — 멀티에이전트 딥리서치 파이프라인에서 생성 백본을 자기회귀(AR)에서 디퓨전 언어모델로 바꾸면 지연시간과 보고서 품질이 어떻게 달라지는가입니다. 저자들은 질의분류·질의재구성·플래닝·검색·작성(선택적 심사)으로 이어지는 동일한 에이전트 스캐폴드에서 백본만 디퓨전(google/diffusiongemma-26B-A4B-it)과 자기회귀(google/gemma-4-26B-A4B-it)로 교체해 비교했습니다. 평가는 Deep Research Bench(영어·중국어 각 50개, 22개 분야, 100개 과제)의 RACE 루브릭(포괄성·통찰·지시 이행·가독성)을 Gemini 2.5 Pro 심사로 측정했습니다. 추가로 디퓨전 모델의 중간 디노이징 상태에서 질의 분해 결과를 조기 추출하는 dFast 모드를 도입해, 생성이 끝나기 전 '초안 상태'를 실제로 쓸 수 있는지도 따로 검증했습니다.

핵심 결과

100개 과제 전체 평균 종단 지연시간은 AR 71.45초 대비 dFull 11.89초·dFast 11.97초로 약 6.0배 빠릅니다. p90 기준으로도 AR 111.87초 대비 두 디퓨전 설정 모두 16초대로, 꼬리 구간까지 격차가 일관됩니다. 단, dFast는 dFull보다 종단 지연시간을 추가로 줄이지 못했습니다(평균·p90 모두 근소하게 더 높음) — 그 이득은 분해 단계에만 국한됩니다.

모델이 개입하는 두 구간(플래너·작성기)이 속도 차이를 만듭니다. 플래닝은 39.32초→3.6~3.7초(약 10.7배), 작성은 59.78초→5.1~5.3초(약 11.7배) 줄었습니다. 검색은 모델 호출이 아니라 공유된 Semantic Scholar 호출이라 백본과 무관하게 거의 그대로입니다(디퓨전 쪽이 근소하게 느린 것은 더 많은 과제가 그 단계까지 도달했기 때문입니다). 분해 단계만 따로 떼어 100개 질의로 측정한 결과(원문 Table 3), 중간 디노이징에서 바로 읽은 '첫 정확개수 초안'은 전체 생성 완료보다 중앙값 기준 1.99배 빨랐고(243.4ms 대비 484.9ms), 연속 두 상태가 같아지는 '안정 상태'까지 기다리면 속도 이득은 1.04배로 줄지만 최종 답과 정확히 일치하는 비율이 91/100까지 올라갑니다(첫 초안은 1/100).

속도가 품질을 깎지 않았는지는 별도로 봐야 합니다. RACE 종합 점수는 dFast 0.3969, dFull 0.3895, AR 0.3904로 세 설정이 사실상 동급이며(공통 성공 과제쌍 분석에서 평균차 구간이 전부 0을 포함), 디퓨전으로 바꾸고 조기 추출을 더해도 품질 저하는 관측되지 않았습니다. 이와는 기준이 다른 수치로, 저자들은 더 강한 디퓨전 모델(Mercury)로 만든 별도 시스템 인스턴스를 Deep Research Bench 공개 리더보드에 올려 48.03점(0~100 스케일)을 받았고 OpenAI Deep Research(46.45)·Dr. Tulu(45.49)·Claude Research(45.00)보다 높았다고 보고합니다. 이 리더보드 비교는 백본만 바꾼 통제 실험이 아니라 완성된 시스템 간 스냅숏이라, 디퓨전 효과를 분리해 증명하지 않는다고 저자들 스스로 명시합니다.

신뢰도 평가

동료심사(EMNLP 2026 Industry Track)를 거쳤고, 저자 소속(ITMO University·AXXX)에 디퓨전 모델 판매사나 평가 대상 모델 제작사와의 직접적 이해상충은 없습니다. 다만 짚어야 할 한계가 셋 있습니다. 첫째, 통제 비교는 H200 한 종류의 하드웨어에서 비슷한 크기의 모델 한 쌍만으로 수행됐습니다 — 더 다양한 모델군·크기로 넓혀야 결론이 단단해집니다. 둘째, 검색 채널을 Semantic Scholar 단일 소스로 좁혀서 돌렸는데(arXiv·웹 채널은 있지만 이번 실험에서는 비활성화), 저자들이 직접 실시한 수동 근거 대조 감사(블라인드 10편)에서 표본 주장 50개 중 완전히 뒷받침된 것은 14개(28%)뿐이고 26개(52%)는 저장된 검색 결과로 근거를 확인할 수 없었습니다. 인용 76건 중에서도 주장과 완전히 합치하는 것은 41건(53.9%)에 그칩니다. 셋째, 이 감사는 표본이 작아(모드별 3~4편) 모드 간 비교에는 쓸 수 없다고 저자들도 인정합니다. 반대 증거(디퓨전이 AR보다 못하다는 선행 연구)는 저자들이 "통제된 백본 교체로 에이전트 지연시간을 측정한 선행 연구가 없다"고 명시한 만큼 아직 없습니다.

관련 연구

• Du 외(2026). DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents — 이번 리뷰 논문이 평가에 그대로 쓴 벤치마크 원전입니다(benchmark-origin). 100개 PhD급 과제·22개 분야·RACE 루브릭 설계가 이번 논문의 Table 1~4 전부의 기준입니다.
• Nie 외(2025). Large Language Diffusion Models(LLaDA) — 디퓨전 LLM이 자기회귀 모델과 맞먹는 품질을 낼 수 있음을 처음 보인 선행 연구입니다(prior, NeurIPS 2025). WebSearch로 독립 식별·확인했으나(egress 차단으로 원문 전문 재열람은 못 함), 8B 모델이 LLaMA3 8B와 비슷한 인컨텍스트 학습 성능을 보였다고 알려져 있어 — 이번 논문의 "디퓨전이 AR 품질을 따라간다"는 전제와 같은 방향입니다.
• Inception Labs 외(2025). Mercury: Ultra-Fast Language Models Based on Diffusion — 이번 논문 Table 5의 리더보드 스냅숏에서 쓰인 상업용 디퓨전 모델의 원 논문입니다(extension 관계 — DiffResearch가 이 모델을 에이전트 파이프라인에 얹어 확장). WebSearch로 독립 확인한 바로는 H100에서 초당 약 700~1,100토큰을 내 프런티어 모델보다 최대 10배 빠르다고 자체 보고했다고 알려져 있습니다 — 다만 이 수치는 Mercury 자체 논문의 주장이고, 이번 리뷰 논문이 직접 측정한 수치는 아닙니다.

세 편 모두 이번 논문의 뼈대를 이룹니다 — DeepResearch Bench는 측정 도구 자체이고, LLaDA는 "디퓨전이 AR 품질에 근접한다"는 전제를 세웠고, Mercury는 리더보드 스냅숏에 쓰인 더 강한 백본입니다. 다만 LLaDA·Mercury 두 편의 수치는 각 논문 자체의 주장일 뿐 이번 리뷰가 원문 대조로 확인한 값이 아니므로, 핵심 결과 단락에는 포함하지 않았습니다.

리뷰어 판단

첫째, 이번 결과의 실무적 무게중심은 처리량이 아니라 지연시간이라고 판단합니다. 플래너·작성기처럼 모델이 순차적으로 토큰을 뽑아야 하는 구간에서만 10배 안팎의 이득이 나고, 검색처럼 모델이 개입하지 않는 구간은 그대로입니다 — 즉 디퓨전 백본의 가치는 '더 많이 처리'가 아니라 '상호작용 가능한 체감 속도'에 있다고 봅니다. 사용자가 결과를 기다리는 인터랙티브 딥리서치 UX에 우선 검토할 이유입니다.

둘째, 이 논문이 강조하지 않은 수치 중 가장 중요한 것은 수동 감사의 28%·52% 수치라고 판단합니다. 초록과 결론은 "속도는 품질을 깎지 않는다"는 메시지를 앞세우지만, 실제로는 검색 근거의 절반 이상이 저장된 자료로 뒷받침되지 않습니다. 이는 디코딩 방식과 무관한 검색 채널(단일 소스 제한)의 문제이지만, 속도 수치만 보고 도입을 결정하면 놓치기 쉬운 리스크입니다.

셋째, Table 5의 리더보드 순위를 "디퓨전이 더 우수하다"는 근거로 받아들이면 안 된다고 판단합니다. 저자들도 명시했듯 이는 더 강한 백본·다른 엔지니어링 투자가 섞인 시스템 대 시스템 비교입니다. 통제 실험(백본만 교체)과 리더보드 스냅숏(시스템 전체 교체)은 분리해서 읽어야 합니다.

실무 적용

• 인터랙티브 딥리서치 UX에 디퓨전 백본 우선 검토 — 플래닝·작성처럼 모델이 순차 생성하는 구간에서 체감 지연시간을 10배 가까이 줄일 수 있습니다.
• 구조화된 중간 출력엔 조기 추출 패턴 적용 — 질의 분해처럼 JSON류 구조화 출력은 디노이징 중간 상태를 그대로 읽어도 됩니다. 다만 최종 산출물(보고서 본문)처럼 표현 자체가 중요한 구간에는 적용하지 않습니다.
• 속도 지표와 근거 충실도 지표를 분리해 추적 — 이번 감사처럼 인용-주장 합치율을 별도로 계측하지 않으면, 지연시간 개선이 근거 부실을 가립니다.
• 검색 채널을 하나로 좁힐 때는 커버리지 손실을 사전 검증 — 이번 실험은 통제를 위해 Semantic Scholar만 썼습니다. 운영 배포에서는 arXiv·웹 채널까지 열어 둔 상태의 근거 충실도를 따로 측정해야 합니다.
• 리더보드 순위는 시스템 단위로만 해석 — 디코딩 방식의 우월성을 주장하는 근거로 리더보드 순위를 쓰지 않습니다. 백본만 바꾼 통제 실험 수치(6배)가 더 신뢰할 수 있는 근거입니다.

결론

DiffResearch의 기여는 새 벤치마크나 새 모델이 아니라, 같은 에이전트 스캐폴드에서 백본만 디퓨전으로 바꿔 지연시간과 품질을 동시에 재는 통제 실험입니다. 모델이 순차 생성해야 하는 구간(플래닝·작성)에서 약 6배의 종단 속도 향상이 났고 RACE 품질은 떨어지지 않았습니다. 다만 수동 근거 대조 감사가 드러낸 검색 근거의 낮은 합치율은, 이 속도 이득을 실제 배포로 옮기기 전에 근거 충실도를 별도로 검증해야 한다는 신호입니다. 에이전트 파이프라인을 구간별로 뜯어 지연·비용을 따로 보는 접근은 콜봇 루프의 스테이지별 비용 어트리뷰션 설계에서도 같은 방식으로 쓰입니다.

참고 링크

• DiffResearch: Accelerating Deep Research with Diffusion Language Models — arXiv 초록(원문)
• 같은 논문 HTML 전문 — 표·수치 대조에 사용
• DeepResearch Bench — arXiv:2506.11763
• LLaDA — arXiv:2502.09992
• Mercury — arXiv:2506.17298
• 콜봇 루프의 스테이지별 비용 어트리뷰션 설계 — sunny34.com 블로그