Справочник

Боты ИИ и AiseenBot

AiseenBot читает до 10 страниц сайта в бесплатной проверке и от 30 в аудите, соблюдает robots.txt и делает не больше 2 запросов одновременно. Ниже — боты систем ИИ: какие приводят посетителей из ChatGPT, Claude, Perplexity и Алисы, какие собирают тексты для обучения и как открыть или закрыть каждого.

AS

AiseenBot — робот aiseen.cloud

aiseen.cloud

AiseenBot приходит на сайт, когда кто-то запускает его проверку на aiseen.cloud. Он читает robots.txt, карту сайта, llms.txt и несколько страниц: до 10 при бесплатной проверке, в аудите — столько, сколько заказано.

User-Agent

Mozilla/5.0 (compatible; AiseenBot/1.0; +https://aiseen.cloud/bots/)

Как он себя ведёт

  • Соблюдает robots.txt: правила для AiseenBot, а если их нет — для всех роботов (*).
  • Не больше 2 запросов к сайту одновременно, с паузой между ними.
  • Читает только общедоступные страницы: не заполняет формы и не входит в закрытые разделы.

Запросы от имени ботов ИИ

Чтобы проверить, пускает ли сервер ботов ИИ, мы запрашиваем главную страницу по одному разу с User-Agent этих ботов: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-User, ClaudeBot, PerplexityBot, Googlebot, bingbot, YandexBot, MistralAI-Index, meta-webindexer, Kimi-SearchBot, Claude-Agent, Google-Agent, Google-GeminiNotebook, Google, Google-Lens. Такие запросы идут с нашего сервера, а не от OpenAI, Anthropic или Google — в логах их отличает IP-адрес.

В аудите добавляются ещё несколько запросов: к несуществующему адресу (как сайт отвечает на ошибку 404) и к вариантам адреса с www и http (склеены ли зеркала).

Как закрыть сайт от AiseenBot

Добавьте в robots.txt эту группу — закрытые страницы в проверку не попадут. Вопросы о роботе — на [email protected].

User-agent: AiseenBot
Disallow: /

Боты систем ИИ

Токены для robots.txt, которые проверяет aiseen.cloud. Поисковые боты и боты «по запросу» приводят сайт в ответы ИИ со ссылкой; боты обучения собирают тексты для будущих версий моделей.

GP

ChatGPT

OpenAI

Токены для robots.txt

Ещё боты — в оценку не входят

  • OAI-AdsBotрекламаописаниепроверка посадочных страниц рекламы в ChatGPT: ходит только на страницы, поданные в рекламу, не для обучения

Правило robots.txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
CL

Claude

Anthropic

Токены для robots.txt

Ещё боты — в оценку не входят

  • Claude-Agentагентописаниебраузер-агент Claude: открывает страницы и действует по задаче пользователя (в том числе Claude Duet); проверить по IP — claude.com/.well-known/sail

Правило robots.txt

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
PX

Perplexity

Perplexity

Токены для robots.txt

Правило robots.txt

User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
GM

Gemini и AI Overviews

Google

Токены для robots.txt

Ещё боты — в оценку не входят

  • Google-Agentагентописаниеагенты Google: открывают сайты и действуют по запросу пользователя; robots.txt, как правило, не читают
  • Google-GeminiNotebookпо запросуописаниезагрузка страниц, которые пользователь добавил источниками в Gemini Notebook (раньше — Google-NotebookLM); robots.txt, как правило, не читает
  • Googleпо запросуисточникзагрузка страницы для Gemini — по независимому тесту, Google не подтверждал
  • Google-Lensпо запросуисточникзагрузка страницы для AI Mode, возможны другие применения — по независимому тесту, Google не подтверждал
DA

DuckAssist

DuckDuckGo

Токены для robots.txt

Правило robots.txt

User-agent: DuckAssistBot
Allow: /
AP

Apple Intelligence

Apple

Токены для robots.txt

MT

Meta AI

Meta

Токены для robots.txt

Ещё боты — в оценку не входят

  • Meta-ExternalAdsрекламаописаниереклама и бизнес-продукты Meta; закрывается через robots.txt

Правило robots.txt

User-agent: meta-webindexer
User-agent: meta-externalfetcher
Allow: /
CC

Common Crawl

Common Crawl

Токены для robots.txt

  • CCBotобучениеописаниеоткрытый датасет, на нём учатся многие LLM

Как открыть или закрыть сайт

Готовые группы для robots.txt в корне сайта.

Открыть поиску ИИ

Сайт попадает в ответы ChatGPT, Claude, Perplexity со ссылкой. Служебные разделы закройте в каждой группе.

# Поиск и запросы пользователей: отсюда ответы ИИ со ссылкой на сайт
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Allow: /
Disallow: /admin/   # служебные разделы — ваши

# Обучение моделей: решите сами; Disallow: / закроет сайт для обучения
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: KimiBot
Allow: /
Disallow: /admin/   # служебные разделы — ваши

Sitemap: https://example.com/sitemap.xml

Googlebot, bingbot, YandexBot в примере нет: это обычные поисковые роботы, их правила на сайте, скорее всего, уже есть.

Закрыть обучение моделей

Тексты не пойдут в обучение будущих моделей. Поиск ИИ это не закрывает — см. группу слева.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: KimiBot
Disallow: /

Вопросы и ответы

Почему в логах GPTBot или ClaudeBot с вашего IP-адреса?

Это проверка aiseen.cloud: мы запрашиваем главную с User-Agent ботов ИИ, чтобы увидеть, что сервер им отвечает. Настоящие боты приходят с адресов своих компаний.

Стоит ли закрывать ботов обучения?

Это ваш выбор. Закрытие не убирает сайт из поиска ИИ, но модель без поиска будет знать о вас меньше. Поисковых ботов и ботов «по запросу» лучше не закрывать: через них сайт попадает в ответы со ссылкой.

Если закрыть Google-Extended, сайт пропадёт из Google?

Нет. Google-Extended решает только, можно ли использовать тексты для обучения Gemini. Поиск Google и AI Overviews читают сайт через Googlebot.

robots.txt пускает бота, а ИИ всё равно не видит сайт. Почему?

Часто мешает защита от ботов (Cloudflare, WAF хостинга): она отвечает ботам ошибкой 403 или капчей. Бесплатная проверка на aiseen.cloud показывает, что сервер ответил каждому боту.

Что такое llms.txt и llms-full.txt?

llms.txt — короткая карта сайта для ИИ-агентов: что это за сайт и ссылки на главные страницы. llms-full.txt — те же страницы целиком, одним текстовым файлом. Оба лежат в корне сайта.