ClaudeBot: что это за бот и как его открыть или закрыть
ClaudeBot — бот Anthropic, который собирает страницы для обучения ИИ-моделей. На ответы Claude с поиском он не влияет: его можно закрыть без потери видимости в поиске ИИ.
User-Agent ClaudeBot
Так ClaudeBot представляется в запросах к сайту. В robots.txt пишут только токен — ClaudeBot.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])
обучение моделей
Как открыть сайт для ClaudeBot
Добавьте группу в robots.txt в корне сайта. Служебные разделы закройте в ней же: бот со своей группой не читает правила «User-agent: *».
User-agent: ClaudeBot Allow: /
robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать ClaudeBot ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.
Как закрыть сайт от ClaudeBot
Чтобы закрыть весь сайт, добавьте в robots.txt группу ниже. Правило действует для ботов, которые соблюдают robots.txt.
User-agent: ClaudeBot Disallow: /
Что будет, если закрыть ClaudeBot
Новые версии моделей не будут учиться на ваших страницах. Видимость в ответах с поиском от этого не меняется — за неё отвечают поисковые боты.
Как проверить, заходит ли ClaudeBot на сайт
Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если Anthropic их публикует.
grep "ClaudeBot" /var/log/nginx/access.log
Пускает ли ваш сайт ClaudeBot
Бесплатная проверка за 15 секунд: читаем ваш robots.txt и запрашиваем сайт от имени ботов ИИ — видно, кого пускают сервер и защита, а кого нет.
Другие боты Claude
Claude-SearchBotпоискClaude-Userпо запросуanthropic-aiобучение
Вопросы и ответы
Нужно ли закрывать ClaudeBot?
Решайте сами. Закрытие ClaudeBot не убирает сайт из ответов ИИ с поиском, но и модели не узнают о вас из обучения. Если контент — ваш главный актив, его закрывают; если важна узнаваемость, оставляют открытым.
Как узнать, заходит ли ClaudeBot на сайт?
Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если Anthropic их публикует.
Достаточно ли открыть ClaudeBot в robots.txt?
robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать ClaudeBot ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.