특별한 마크업은 필요 없다: 구글·오픈AI 공식 가이드로 다시 짜는 생성형 검색 크롤러 운영 체크리스트

AI Overviews·AI Mode, 특별한 마크업은 필요 없다

구글은 2026년 5월 15일 공개한 공식 가이드(Optimizing your website for generative AI features on Google Search)에서 생성형 검색 기능에 노출되는 데 전용 schema.org 마크업이 필요하지 않다고 명시했다. 전제 조건은 여전히 전통적 검색과 같다 — 공개적으로 크롤링 가능하고 색인에 올라가 있으며 일반 검색 결과에 노출될 자격을 갖춘 페이지만 AI Overviews·AI Mode 후보가 된다. 구조화 데이터는 리치 결과를 받기 위한 보조 수단으로는 여전히 유효하지만, AI 노출을 끌어올리는 별도 레버로는 취급되지 않는다.

같은 가이드는 llms.txt가 구글 검색의 생성형 AI 기능 판단에 아무 역할을 하지 않는다고도 선을 그었고, 본문을 AI가 읽기 쉬운 단위로 재구성하는 "청킹" 작업도 요구하지 않는다고 적었다. 구글이 가장 무게를 두는 단일 항목은 고유하고 유용한 콘텐츠이며, 다른 어떤 항목보다 시간이 지날수록 효과가 커진다고 못 박았다.

검색 엔진과 챗봇 검색은 크롤러가 다르다

오픈AI는 공식 크롤러 문서에서 역할이 다른 봇 세 종류를 구분한다. GPTBot은 생성형 파운데이션 모델 학습에 쓰일 콘텐츠를 모으고, OAI-SearchBot은 ChatGPT 검색 답변에 사이트가 인용·노출될지를 결정하며, ChatGPT-User는 이용자가 직접 트리거하는 방문이라 자동 크롤링에는 쓰이지 않고 검색 노출 여부 판단에도 관여하지 않는다. robots.txt에서 이 셋은 완전히 독립적으로 제어된다 — GPTBot만 막아 학습 데이터 제공을 거부하면서도 OAI-SearchBot은 허용해 ChatGPT 검색 인용은 그대로 유지할 수 있다.

로봇.txt부터 운영까지: 생성형 검색 크롤러 정책 체크리스트

기획 단계에서 목표 지표부터 숫자로 정의한다. 구글 쪽은 "Search Console에서 사이트 소유 인증 완료, 생성형 AI 기능 노출 자격 통과 100%"를 기준으로 삼고, 오픈AI 쪽은 "robots.txt 변경 후 24시간 이내 OAI-SearchBot 반영 확인"을 운영 SLA로 건다. 오픈AI는 로봇.txt 업데이트가 검색 크롤링 시스템에 반영되기까지 약 24시간이 걸린다고 공식 문서에 적어 두었으므로, 변경 직후 재확인은 의미 없는 재검증일 뿐이다.

흔한 실패 패턴 하나는 "AI가 내 콘텐츠를 학습하지 못하게 막겠다"는 결정과 "챗봇 검색에서 사라지겠다"는 결정을 같은 작업으로 처리하는 것이다. GPTBot을 차단하면서 OAI-SearchBot까지 함께 Disallow에 넣으면, 학습 거부 의도만 실행하려 했는데 ChatGPT 검색 인용에서도 통째로 빠진다. 두 번째 실패 패턴은 llms.txt 작성이나 AI 전용 구조화 데이터, 본문 청킹 설계에 리소스를 먼저 쓰는 경우다 — 구글 가이드가 명시적으로 불필요하다고 적은 작업에 예산을 태우는 동안, 실제 크롤링 차단이나 색인 제외 같은 기본 문제는 그대로 방치된다.

복구 분기는 두 단계로 둔다. robots.txt 변경 직후에는 24시간의 백오프를 지키고, 그 안에 검증을 반복하지 않는다. User-Agent 문자열은 손쉽게 위조되므로, 실제 트래픽이 해당 크롤러인지 확인할 때는 오픈AI가 공개하는 IP 대역 목록과 대조하는 절차를 운영 매뉴얼에 넣는다.

운영 체크리스트에는 네 항목을 고정으로 둔다. ① Search Console에서 사이트 인증과 생성형 AI 기능 노출 자격을 분기마다 재확인, ② robots.txt에 Googlebot·Google-Extended·GPTBot·OAI-SearchBot·ChatGPT-User를 각각 명시적으로 allow/disallow, ③ 기존 구조화 데이터는 유지하되 화면에 보이는 내용과 어긋나는 필드가 없는지 점검, ④ llms.txt·AI 전용 마크업 신규 작업은 보류 목록으로 분리해 우선순위를 낮춘다.

지속 개선 루프는 월 단위로 돌린다. 리퍼러 로그에서 ChatGPT·Perplexity 등 AI 검색 경유 유입을 따로 집계하고, 신규 크롤러가 공개되면 로봇.txt 정책 변경 이력을 별도 로그로 남겨 어떤 변경이 어떤 유입 변화와 맞물렸는지 추적한다. 변경 로그와 콘텐츠 리프레시 캘린더를 분리해 두면, 로봇.txt 조정과 콘텐츠 개편 중 무엇이 효과를 냈는지 섞이지 않는다.

바로 쓰는 체크리스트

생성형 검색 노출은 특별한 AI 마크업이 아니라 기존 크롤링·색인 기본기와 크롤러별 robots.txt 세분화로 결정된다. GPTBot 차단과 OAI-SearchBot 차단을 같은 결정으로 묶지 않는 것, 변경 후 24시간의 반영 지연을 운영 SLA로 못 박는 것, llms.txt·청킹 같은 불필요한 작업에 예산을 먼저 쓰지 않는 것 — 이 세 가지만 체크리스트에 고정해도 다음에 새 크롤러가 등장했을 때 같은 절차로 대응할 수 있다.

참고 링크

Optimizing your website for generative AI features on Google Search — Google Search Central

Overview of OpenAI Crawlers (GPTBot·OAI-SearchBot·ChatGPT-User) — OpenAI Developer Platform