Опубликовано 06.11.2026
Агентство Blend проверило 200 магазинов: 29 не пустили его ИИ-агента. У всех 24, чей robots.txt удалось прочитать, поисковые боты ИИ разрешены. Авторы винят защиту от ботов, но агент был неизвестным, а не ботом ChatGPT или Claude.
Что нашли
Агентство Blend Commerce проверило 200 магазинов из США и Великобритании в 20 нишах. Тест шёл с 8 по 15 сентября 2026 года. Агент обращался к сайтам обычным браузером Chromium и, по словам Blend, не выдавал себя за бота какой-либо ИИ-компании.
- 29 из 200 магазинов (14,5%) отказали агенту с обеих попыток.
- Чаще отказывали крупные: 16 из 80. У средних 12 из 80, у небольших 1 из 40.
- robots.txt удалось прочитать у 24 из 29. Все 24 разрешают поисковых ботов ChatGPT, Perplexity и Claude.
Отсюда вывод Blend: отказы идут от защиты от ботов, а не от правил в robots.txt.
Что это не доказывает
- Агент был неизвестным. Магазин может пускать названных агентов и краулеров из своего списка и закрывать всё незнакомое. Как эти магазины отвечают настоящему боту ChatGPT или Claude, тест не показывает.
- У исследования есть интерес. Blend продаёт услуги интернет-магазинам.
- Причину назвали авторы. Никто из магазинов, отказавших агенту, не ответил. Про 5 из 29 неизвестно, что у них в robots.txt.
Почему открытый robots.txt ничего не гарантирует
robots.txt лишь сообщает боту правила: он сам читает файл и сам решает, следовать ли им. А защита от ботов отвечает на запрос на стороне сервера или CDN и может отказать, что бы ни было написано в файле. Поэтому файл не скажет, пустят ли бота на самом деле.
Мы видели то же в своей проверке 100 известных сервисов: 14 не отдали нам ни одной страницы, хотя 12 из них пускают ИИ-ботов в robots.txt. Оговорка та же: наши запросы идут не с адресов OpenAI или Anthropic.
Что проверить на своём сайте
- Журналы защиты или CDN. Найдите OAI-SearchBot, ChatGPT-User, ClaudeBot и PerplexityBot. Посмотрите, что они получают: 200 или 403.
- Настройки защиты. В Cloudflare это блокировка ИИ-ботов, Bot Fight Mode и правила WAF. У других сервисов ищите похожие настройки.
- Поисковые и обучающие боты по отдельности. Поисковые нужны для ответов ИИ со ссылками. Обучающих можно закрыть отдельно.
Проверить robots.txt и ответы сервера ботам ИИ можно бесплатной проверкой aiseen.cloud: 15 секунд, без регистрации.
Источники: отчёт Blend Commerce, PPC Land.