Правило robots.txt против обучения ИИ: что закрывает, а что нет

Опубликовано 03.11.2026

Одно правило в robots.txt против обучения ИИ: что оно закрывает, а что нет

Google, Microsoft, OpenAI и Anthropic объявили о поддержке общего правила в robots.txt. Оно запрещает обучать ИИ на вашем сайте и не влияет на обычный поиск. Пока правило работает не у всех, поэтому менять robots.txt стоит аккуратно.

Как выглядит правило

User-Agent: __usage_ai-training
Disallow: /

Можно закрыть только часть сайта: Disallow: /articles/. Обычные правила robots.txt для путей здесь тоже работают, а у Microsoft для отдельных страниц есть ещё и метатег.

Токен описан в черновике IETF от 30 октября 2026 года. Это личный черновик сотрудника Anthropic, а не принятый стандарт: в нём ещё могут появиться изменения.

Когда заработает

Компания	Срок
Microsoft	с 1 февраля 2027 года, по мере обхода страниц
Google	планирует в начале 2027 года
OpenAI	в ближайшие месяцы, точной даты нет
Anthropic	уже внедряет, поддержка появится в ближайшие месяцы

Других компаний в этом списке нет. Соблюдать правило добровольно, и на уже собранные данные оно не распространяется.

Что правило не делает

Не запрещает ботам заходить на сайт. Это пожелание об использовании контента, а не запрет на обход. Чтобы ограничить обход, нужны правила для конкретных ботов.
Не убирает сайт из ответов ИИ. Ответы и поиск в нейросетях управляются отдельно. Например, у Microsoft для ответов есть свой метатег: <meta name="Bingbot" content="ai-grounding:disallow">.
Не срабатывает через User-agent: *. Общая группа для всех роботов не считается запретом обучения: токен нужно указать по имени.
Не отменяет старые правила. Правила для GPTBot, ClaudeBot и Google-Extended продолжают действовать.

Подводный камень с Google

Если вы укажете новый токен и не упомянете Google-Extended, Google собирается считать это запретом и для Google-Extended. А этот токен влияет не только на обучение: Google связывает его и с ответами в приложении Gemini. Если вам важно появляться там, решите это заранее и пропишите Google-Extended явно. Перед правкой сверьтесь с документацией Google.

Что делать сейчас

Хотите запретить обучение, но остаться в ответах нейросетей? Подойдёт такой вариант:

# Общий запрет обучения ИИ
User-Agent: __usage_ai-training
Disallow: /

# Пока правило работает не у всех, старые запреты оставляем
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Поисковых ботов ИИ не закрываем
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Если вы не против обучения, ничего менять не нужно: без этого правила считается, что предпочтение не выражено.

Проверьте свой сайт

Самая дорогая ошибка — закрыть от ИИ не то, что хотели, например поисковых ботов вместо обучающих. Бесплатная проверка aiseen.cloud за 15 секунд покажет, каких ботов пускает ваш сайт.

Источники: Google, Microsoft, OpenAI, Anthropic в рассылке IETF, черновик IETF.