Опубликовано 03.11.2026 · Данные (CSV, CC BY 4.0)
Мы проверили 100 известных онлайн-сервисов так, как их видят ИИ-краулеры. 14 из них не отдали нашей проверке ни одной страницы — среди них openai.com. При этом 12 из этих 14 в robots.txt ИИ-ботов пускают: сегодня главный привратник — защита от ботов, а не robots.txt.
Что мы проверили
27 октября 2026 года мы прогнали бесплатную проверку aiseen.cloud по 100 известным онлайн-сервисам из 10 ниш: CRM, конструкторы сайтов, email-рассылки, онлайн-обучение, онлайн-запись, хостинг, задачи и проекты, платежи, SEO и ИИ-сервисы. Проверка запрашивает сайт как обычный браузер и как ИИ-краулеры (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot и другие), читает robots.txt, llms.txt, разметку и до 10 страниц с JavaScript и без. Балл из 100 — сумма открытых правил, а не мнение нейросети: методология.
Главное: robots.txt больше не ворота
14 из 100 сайтов не отдали нашей проверке ни одной страницы — ни под именами ИИ-ботов, ни под обычным браузером. Десять ответили проверкой на робота или капчей Cloudflare (HTTP 403), два отдали страницу без читаемого текста, два не ответили вовремя.
Потом мы прочитали их robots.txt. 12 из 14 не запрещают ни одного крупного ИИ-бота. Только Midjourney закрывает обучающих ботов (GPTBot, CCBot, Google-Extended), а robots.txt Udemy нам тоже не открылся. В robots.txt openai.com одна группа: User-agent: *, Allow: /.
| Сайт | Что получила наша проверка | robots.txt для ИИ-ботов |
|---|---|---|
| openai.com | проверка на робота, HTTP 403 (Cloudflare) | пускает |
| perplexity.ai | страница без читаемого текста (Cloudflare) | пускает |
| midjourney.com | проверка на робота, HTTP 403 | закрыты только обучающие |
| pipedrive.com, freshworks.com, kit.com, activecampaign.com, skillshare.com, codecademy.com | проверка на робота, HTTP 403 | пускают |
| bluehost.com | капча, HTTP 403 | пускает |
| udemy.com | проверка на робота, HTTP 403 | не открылся |
| zoho.com | страница без читаемого текста | пускает |
| revolut.com, similarweb.com | сервер не ответил вовремя | пускают |
Честная оговорка. Наши запросы идут с сервера, а не с официальных адресов OpenAI или Anthropic. Защита может пропускать проверенных краулеров — например, GPTBot с адресов самой OpenAI. Но длинный хвост ИИ-сборщиков в эти списки не входит: новые ассистенты, агенты, браузерные инструменты и проверки вроде нашей. Для них сайт, который в robots.txt говорит «добро пожаловать», всё равно закрыт.
Ещё пять цифр по 86 открывшимся сайтам
- Медианная готовность к ИИ — 76 из 100. Лучшие: Netlify 93, SimplyBook.me 92, GetResponse 91, ElevenLabs 91. Худшие: REG.RU 22, Duolingo 32, Stepik 41, Trello 45.
- 30% закрывают хотя бы одного поискового или пользовательского ИИ-бота (OAI-SearchBot, PerplexityBot, Claude-User…) в robots.txt или на сервере. Закрыть обучающих ботов — нормальное решение; закрытые поисковые убирают сайт из ответов ИИ со ссылками. Один сервис онлайн-записи закрыл 18 ИИ-ботов.
- Только у половины (50%) основной текст есть в HTML без JavaScript. У остальных краулеры, которые не выполняют скрипты, теряют часть текста или весь.
- llms.txt уже есть у 56%.
- Полная разметка Organization — только у 13%: название, логотип, контакты и профили, по которым ИИ понимает, кто компания.
Что проверить на своём сайте
- Откройте журналы защиты или CDN и найдите GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot: они получают 200 или 403?
- В Cloudflare посмотрите «Block AI bots», Bot Fight Mode и свои правила WAF: они сильнее robots.txt.
- Решайте отдельно про поисковых ботов (приводят в ответы ИИ) и обучающих (не приводят).
- Убедитесь, что основной текст есть в HTML, а не только рисуется скриптом.
- Прогоните ту же бесплатную проверку по своему сайту — 15 секунд, без регистрации.
Данные
Полная таблица по всем 100 сайтам — в рейтинге готовности к ИИ, обновляется раз в месяц. Скачать данные: CSV. Лицензия CC BY 4.0 — цитируйте со ссылкой на aiseen.cloud.