평균 성공률이 감추는 장기 과제 격차

알리바바 클라우드가 공개한 Wuying-Browser-Agent 연구는 350개 실제 웹사이트 과제(평균 37.9스텝, 254개 사이트, 한중영 이중언어)로 구성한 BrowserBench를 새로 만들어 기존 벤치마크가 놓치던 장기 실행 조건을 채웠습니다. 오픈소스 1위를 차지한 27B 모델도 BrowserBench 성공률은 65.1%에 그쳐, 열 번 시도하면 여섯 번만 끝낸다는 뜻입니다. 폐쇄형 최고 모델 GPT-5.5조차 이 벤치마크에서 67.4%에 머물러 32.6%포인트, 대략 셋 중 하나의 과제를 완주하지 못했습니다.

WebVoyager·Online-Mind2Web 같은 짧은 벤치마크에서는 이 격차가 드러나지 않습니다. 순위표의 "1위" 문구보다 절대 성공률 65.1%가 배포 판단에는 더 중요한 숫자이며, 평균 하나로 도입 여부를 정하면 장기 구간의 취약점을 놓치게 됩니다.

스텝이 길어질수록 강화학습의 몫이 커진다

온라인 강화학습(DAO-GRPO) 적용 전후를 난이도별로 나누면 쉬운 과제는 +1.0%포인트에 그쳤지만 어려운 과제는 +12.4%포인트, 50스텝을 넘는 과제는 13.3%에서 26.7%로 +13.4%포인트 올랐습니다. 이미 잘 풀리는 구간이 아니라 취약한 구간에 개선폭이 쏠린다는 신호입니다. 실행 계층은 탐색·상호작용·추출·파일·흐름제어 다섯 갈래의 24개 원자적 동작으로 표준화해, 모델이 아니라 액션 정의가 흔들려 생기는 실패를 줄였습니다.

설계에서 운영까지: 장기 실행 브라우저 에이전트 배포 체크리스트

기획 단계에서는 평균 목표치 하나 대신 과제 길이 구간별 목표를 따로 잡습니다. 25스텝 이하 구간은 성공률 80% 이상, 50스텝 초과 구간은 50% 이상처럼 구간을 나누고, 100스텝 같은 상호작용 예산 상한을 두어 초과 시 실패로 집계하는 규칙을 평가 프로토콜에 명시합니다.

실패 패턴은 예산 초과와 중도 이탈 두 갈래로 갈립니다. 예산을 넘기면 자동 중단·사람 확인 요청으로 전환하고, 중간에 같은 화면을 반복하는 정체 패턴이 감지되면 재시도 대신 안전한 대체 경로(직접 URL 이동, 검색 재시도)로 축소합니다. 복구·리플렉션 학습 데이터를 파인튜닝 커리큘럼 초반부터 섞으면 오히려 성능이 떨어진다는 어블레이션 결과(35.1% vs 커리큘럼 순서 준수 38.0%)가 있어, 자체 학습 데이터도 성공 궤적을 먼저 배우고 복구 궤적을 후반에 배치하는 순서를 실험 변수로 다룹니다.

운영 체크리스트에는 배포 전 시나리오 테스트로 짧은 과제·중간 난이도·50스텝 초과 과제 세 구간을 섞어 구간별 성공률을 확인하는 항목을 넣습니다. 진행도나 성공 여부를 LLM 판정기로 채점한다면 소규모 인간 라벨 표본과 대조해 일치율을 별도로 감사하고, 그 수치를 로그에 남겨야 그럴듯한 판정과 실제 검증된 판정을 구분할 수 있습니다.

표준 로그 필드로는 과제당 스텝 수, 실패 유형(예산 초과/정체/오판정), 판정 근거, 소요 지연시간을 남기고, 방문한 페이지의 개인정보·로그인 정보는 저장 전 마스킹해 감사 목적의 최소 인원만 조회하게 합니다. 자체 벤치마크로만 우위를 주장하지 않도록 제3자 벤치마크(WebVoyager·Online-Mind2Web 등) 성적을 함께 병기하는 것도 같은 감사 원칙의 연장입니다.

주 단위로는 구간별 실패 상위 유형을 추적해, 어느 구간의 실패율이 급등했는지로 재학습이나 액션 정의 수정의 우선순위를 정합니다. 개선 예산은 이미 성적이 좋은 짧은 과제가 아니라 50스텝 초과 구간처럼 격차가 큰 곳에 먼저 투입해야 앞선 강화학습 결과와 같은 방향으로 자원을 쓸 수 있습니다.

한눈에 보는 적용 포인트

장기 실행 브라우저 에이전트는 오픈소스 1위 모델도 실전형 과제의 65.1%만 끝내고, 폐쇄형 최고 모델도 셋 중 하나를 놓칩니다. 평균 대신 스텝 구간별 목표치를 세우고, 예산 초과를 실패로 명시하며, 복구 데이터는 커리큘럼 후반에 배치하고, LLM 판정기의 신뢰도를 인간 라벨로 감사하는 네 가지가 배포 여부를 가르는 실무 기준입니다.

참고 링크

Wuying-Browser-Agent: Real-World Centric Fundamental Long-Horizon Browser Agents — arXiv

GPT-5.5도 셋에 하나는 못 끝낸다: Wuying-Browser-Agent 장기 실행 브라우저 에이전트 리뷰 — sunny34.com 리서치