Справочник ботов ИИ

CCBot: что это за бот и как его открыть или закрыть

CCBot — бот Common Crawl, который собирает страницы для обучения ИИ-моделей. На ответы ИИ-ассистентов с поиском он напрямую не влияет: их собирают поисковые боты.

обучение Common Crawl

User-Agent CCBot

Полную строку User-Agent Common Crawl публикует в документации бота. В robots.txt достаточно токена CCBot.

Официальное описание бота →

открытый датасет, на нём учатся многие LLM

Как открыть сайт для CCBot

Добавьте группу в robots.txt в корне сайта. Служебные разделы закройте в ней же: бот со своей группой не читает правила «User-agent: *».

User-agent: CCBot
Allow: /

robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать CCBot ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.

Как закрыть сайт от CCBot

Чтобы закрыть весь сайт, добавьте в robots.txt группу ниже. Правило действует для ботов, которые соблюдают robots.txt.

User-agent: CCBot
Disallow: /

Что будет, если закрыть CCBot

Новые версии моделей не будут учиться на ваших страницах. Видимость в ответах с поиском от этого не меняется — за неё отвечают поисковые боты.

Как проверить, заходит ли CCBot на сайт

Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если Common Crawl их публикует.

grep "CCBot" /var/log/nginx/access.log

Пускает ли ваш сайт CCBot

Бесплатная проверка за 15 секунд: читаем ваш robots.txt и запрашиваем сайт от имени ботов ИИ — видно, кого пускают сервер и защита, а кого нет.

Проверить сайт

Вопросы и ответы

Нужно ли закрывать CCBot?

Решайте сами. Закрытие CCBot не убирает сайт из ответов ИИ с поиском, но и модели не узнают о вас из обучения. Если контент — ваш главный актив, его закрывают; если важна узнаваемость, оставляют открытым.

Как узнать, заходит ли CCBot на сайт?

Достаточно ли открыть CCBot в robots.txt?