Новые настройки Cloudflare для ИИ-краулеров: как проверить доступ Googlebot к сайту за Cloudflare

Если ваш сайт работает за Cloudflare, настройка, которую вы, возможно, ни разу не открывали, могла поменять смысл. Cloudflare теперь делит ИИ-краулеры по тому, что они делают, а с 15 сентября 2026 года применяет новые настройки по умолчанию к страницам с рекламой. Неудобство в том, что основной краулер Google выполняет сразу несколько задач, и для такого случая у Cloudflare действует самое строгое правило. Никто не опубликовал доказательств того, что из-за этого какой-либо сайт потерял трафик из Google. Двадцать минут, чтобы убедиться, что ваш сайт не пострадал, потратить стоит.

Что изменилось 15 сентября

Cloudflare объявила об изменении 1 июля. Теперь компания делит ИИ-трафик на три типа поведения. Search — это «любое поведение, при котором ваш контент собирается или индексируется, чтобы позже отвечать на вопросы о нём». Agent — «автоматизированное поведение, которое, как правило в реальном времени, действует от имени человека, чтобы выполнить задачу прямо сейчас». Training — «краулер, забирающий ваш контент для обучения или дообучения модели».

Каждым типом поведения можно управлять отдельно. С 15 сентября, согласно журналу изменений Cloudflare для разработчиков, по умолчанию действует правило: «боты, отнесённые к Training или Agent, блокируются на страницах с рекламой, а Search остаётся разрешённым». Страницы с рекламой зарабатывают на посетителях, многие из которых приходят из поиска, поэтому вопрос о Googlebot так важен.

Кого это касается: две страницы Cloudflare расходятся

В блоге Cloudflare и в пресс-релизе компании, оба от 1 июля, круг затронутых описан по-разному.

Пресс-релиз даёт более широкое толкование, и под него попадают сайты, которые чаще всего один раз настроили и забыли: сайты малого бизнеса на тарифе Free. Не пытайтесь определить по названию тарифа, касается ли это вас. Откройте панель управления и посмотрите, что в настройках указано сегодня.

Почему поисковый краулер попадает под самое строгое правило

В блоге Cloudflare прямо сказано, как компания поступает с краулерами, которые делают и то и другое: «Поскольку настройки по умолчанию будут применяться по самым строгим из применимых правил, многоцелевые краулеры, такие как Googlebot, Applebot и BingBot, будут заблокированы у клиентов, которые выбрали блокировку Training (либо через новые параметры управления ИИ-трафиком, либо через устаревшую функцию Block AI bots)». В журнале изменений добавлено, что «на многоцелевые краулеры, совмещающие Search и Training, повлияют новые настройки по умолчанию, блокирующие Training». Пресс-релиз идёт дальше в отношении новых клиентов и новых сайтов: «Смешанные краулеры, которые не дают владельцам сайтов возможности выбирать между поиском, использованием агентами и обучением, будут блокироваться на всех страницах с рекламой».

Собственный инструмент Google для управления обучением называется Google-Extended, и в документации Google о краулерах сказано, что у него «нет отдельной строки user agent в HTTP-запросе. Сканирование выполняется с использованием существующих строк user agent Google». Файрвол, видя один запрос от Googlebot, не может определить, пойдёт ли эта страница в Поиск, в обучение Gemini или туда и туда. Позиция Cloudflare, изложенная в пресс-релизе: «смешанные краулеры ставят в невыгодное положение и владельцев сайтов, и прозрачные ИИ-компании».

Аудит по шагам

1. Проверьте настройки в панели управления

В панели Cloudflare выберите домен и откройте настройки раздела Security: именно туда ведёт ссылка из журнала изменений Cloudflare. Запишите, что выставлено для Search, Agent и Training. Проверьте, не включён ли устаревший переключатель Block AI bots: Cloudflare называет его вторым путём к тому же результату. Затем откройте AI Crawl Control: на вкладке Crawlers видно, разрешён или заблокирован каждый краулер. Отметьте, показывает ли сайт рекламу: новые настройки по умолчанию действуют на страницах с рекламой, но в блоге Cloudflare блокировка Training, выставленная вручную, останавливает Googlebot без всякого упоминания рекламы.

2. Проверьте robots.txt и помните, чего он не покажет

Откройте yourdomain.com/robots.txt. Убедитесь, что ничто не запрещает Googlebot доступ к страницам, которые должны индексироваться, и отметьте, управляет ли файлом Cloudflare, которая добавляет строки Content Signals. Robots.txt — это просьба, которую добросовестные краулеры выполняют. Блокировка Cloudflare применяется на периферии сети, до того как запрос дойдёт до вашего сервера. Чистый robots.txt ничего не говорит о том, не отсекается ли Googlebot.

3. Найдите Googlebot в логах

Отфильтруйте логи по user agent Googlebot и сравните недели до и после 15 сентября. Убедитесь, что обращения настоящие, ведь user agent легко подделать: по данным Google, настоящие краулеры разрешаются в имена хостов googlebot.com и обращаются с адресов из опубликованных списков IP-диапазонов. Если Cloudflare блокирует запрос, он не доходит до вашего сервера, поэтому в серверных логах вы увидите тихое снижение числа визитов Googlebot, а не череду ошибок. На стороне Cloudflare вкладку Metrics в AI Crawl Control можно отфильтровать по краулеру и увидеть, как обрабатываются его запросы.

4. Изучите статистику сканирования в Search Console

В Search Console откройте «Настройки», затем «Статистика сканирования». Отчёт доступен только для ресурсов корневого уровня, поэтому используйте доменный ресурс или ресурс с префиксом URL на уровне корня. Проверьте три вещи:

• Общее количество запросов на сканирование: нет ли около 15 сентября ступенчатого спада, который так и не восстановился.
• Ответы при сканировании: не выросла ли доля ответов, отличных от OK.
• Тип робота Googlebot: не упала ли активность краулера для смартфонов, которым Google сканирует контент для индексирования и ранжирования.

Сканирование предшествует индексированию, поэтому проблема со сканированием может проявиться здесь раньше, чем в показах. Проверьте сейчас, а не после отчёта о трафике. Если вы уже следите за показами AI Overview в отчёте Search Console по AI Overviews, отметьте там 15 сентября, чтобы проблему со сканированием не приняли за потерю кликов в пользу ИИ-ответов.

5. Выберите настройки, разделяющие поиск и обучение

Если вам нужен Google Поиск и вы не против обучения Gemini, разрешите Training. До 15 сентября Cloudflare также предлагала явный отказ в настройках Security, подтверждающий, что вы «не хотите изменений для краулеров Training, которые также сканируют в целях поиска»; проверьте, был ли он зафиксирован. В пресс-релизе сказано, что настройки можно изменить в панели управления в любой момент. Если вам нужен Поиск, но не обучение Gemini, оставьте Training незаблокированным, чтобы Googlebot проходил, и добавьте в robots.txt запрет для Google-Extended. Google утверждает, что Google-Extended «не влияет на включение сайта в Google Поиск и не используется как сигнал ранжирования в Google Поиске». Bingbot и Applebot, которых Cloudflare называет наряду с Googlebot, требуют такой же проверки.

Посмотрите и на настройку Agent. Блокировка агентов на страницах с рекламой отсекает и ИИ-инструменты, которые открывают страницу для человека в реальном времени, а для магазина или сайта бронирования, который хочет быть доступен ИИ-агентам, просматривающим сайты клиентов, это может оказаться неверным выбором по умолчанию. Если вы хотите, чтобы вас цитировали в ИИ-ответах, это тоже зависит от того, доходят ли до вас краулеры поискового типа, так что тот же аудит помогает попасть в цитаты ИИ-поиска.