Опубликовано 12.11.2026
Компания theStacc проверила 88 640 сайтов местного бизнеса. У 3% robots.txt пускает поисковых ботов ИИ, а сервер отвечает им отказом. Владельцы об этом, скорее всего, не знают.
Как проверяли
Сайты взяли из открытого справочника мест Overture Maps: 30 отраслей. Главную каждого сайта запрашивали как браузер, как Googlebot и как восемь ботов OpenAI, Anthropic и Perplexity. Ботов, закрытых в robots.txt, не запрашивали. Каждый отказ перепроверяли не раньше чем через сутки и считали только подтверждённые. Обход шёл с 31 октября по 2 ноября 2026 года.
Что нашли
- 2 523 из 83 504 сайтов (3%, примерно 1 из 33) отказали поисковому боту ИИ, которого их robots.txt разрешает. Браузер и Googlebot при этом получали страницу.
- Чаще всего отказывали Claude-SearchBot (1,8% сайтов), OAI-SearchBot (1,4%) и PerplexityBot (1,1%).
- 83% таких отказов выглядят одинаково на многих сайтах. Авторы считают, что это общие правила хостинга, платформы или CDN, а не решение владельца.
- На одной платформе для медицинских практик 949 сайтов отказывали GPTBot и ботам Claude, хотя их robots.txt этих ботов разрешает. Отказ шёл от CDN перед сайтами.
- На Wix 79% сайтов показывали поисковым ботам ИИ страницу проверки. Но 68,5% из них так же встречали и Googlebot: это общая защита от ботов, а не правило против ИИ.
Оговорки
- Запросы шли с серверов авторов, а не с адресов OpenAI или Anthropic. Защита, которая сверяет IP, может пускать настоящих ботов.
- Проверяли только главную страницу, за один обход.
Почему так бывает
robots.txt — это правила для бота: он читает файл и сам решает, следовать ли им. А отвечает боту сервер, CDN или защита хостинга. Если хостинг включил блокировку ИИ-ботов для всех клиентов, открытый robots.txt этого не изменит. Мы видели то же в своей проверке 100 известных сервисов.
Что сделать
- Запросите главную от имени бота. Например,
curl -I -A "OAI-SearchBot" https://ваш-сайт. Нужен ответ 200, а не 403 или страница проверки. - Посмотрите настройки защиты. В Cloudflare это блокировка ИИ-ботов, Bot Fight Mode и правила WAF. На конструкторе или хостинге спросите поддержку, нет ли у них общего правила для ИИ-ботов.
- Попросите исключение. Если отказ идёт от платформы, попросите добавить поисковых ботов ИИ в исключения.
Бесплатная проверка aiseen.cloud делает это за вас: читает robots.txt и запрашивает главную от имени ботов ИИ. 15 секунд, без регистрации.
Источник: исследование theStacc.