aiseen.cloud
Проверить сайт
Справочник

Site check

Что наш робот делает на вашем сайте и каких ботов ИИ пускать в robots.txt.

AS

AiseenBot — робот aiseen.cloud

aiseen.cloud

AiseenBot приходит на сайт, когда кто-то запускает его проверку на aiseen.cloud. Он читает robots.txt, карту сайта, llms.txt и несколько страниц: до 10 при бесплатной проверке, в аудите — столько, сколько заказано.

User-Agent

Mozilla/5.0 (compatible; AiseenBot/1.0; +https://aiseen.cloud/bots/)

Как он себя ведёт

  • Соблюдает robots.txt: правила для AiseenBot, а если их нет — для всех роботов (*).
  • Не больше 2 запросов к сайту одновременно, с паузой между ними.
  • Читает только общедоступные страницы: не заполняет формы и не входит в закрытые разделы.

Запросы от имени ботов ИИ

Чтобы проверить, пускает ли сервер ботов ИИ, мы запрашиваем главную страницу по одному разу с User-Agent этих ботов: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-User, ClaudeBot, PerplexityBot, Googlebot, bingbot, YandexBot. Такие запросы идут с нашего сервера, а не от OpenAI, Anthropic или Google — в логах их отличает IP-адрес.

В аудите добавляются ещё несколько запросов: к несуществующему адресу (как сайт отвечает на ошибку 404) и к вариантам адреса с www и http (склеены ли зеркала).

Как закрыть сайт от AiseenBot

Добавьте в robots.txt эту группу — закрытые страницы в проверку не попадут. Вопросы о роботе — на [email protected].

User-agent: AiseenBot
Disallow: /

Боты систем ИИ

Токены для robots.txt, которые проверяет aiseen.cloud. Поисковые боты и боты «по запросу» приводят сайт в ответы ИИ со ссылкой; боты обучения собирают тексты для будущих версий моделей.

CL

Claude

Anthropic

Токены для robots.txt

Правило robots.txt

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
PX

Perplexity

Perplexity

Токены для robots.txt

Правило robots.txt

User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
AL

Alice AI

Яндекс

Токены для robots.txt

Правило robots.txt

User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /
DA

DuckAssist

DuckDuckGo

Токены для robots.txt

Правило robots.txt

User-agent: DuckAssistBot
Allow: /
AP

Apple Intelligence

Apple

Токены для robots.txt

MT

Meta AI

Meta

Токены для robots.txt

CC

Common Crawl

Common Crawl

Токены для robots.txt

Как открыть или закрыть сайт

Готовые группы для robots.txt в корне сайта.

Открыть поиску ИИ

Сайт попадает в ответы ChatGPT, Claude, Perplexity со ссылкой. Служебные разделы закройте в каждой группе.

# Поиск и запросы пользователей: отсюда ответы ИИ со ссылкой на сайт
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: DuckAssistBot
Allow: /
Disallow: /admin/   # служебные разделы — ваши

# Обучение моделей: решите сами; Disallow: / закроет сайт для обучения
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Allow: /
Disallow: /admin/   # служебные разделы — ваши

Sitemap: https://example.kz/sitemap.xml

Googlebot, bingbot, YandexBot в примере нет: это обычные поисковые роботы, их правила на сайте, скорее всего, уже есть.

Закрыть обучение моделей

Тексты не пойдут в обучение будущих моделей. Поиск ИИ это не закрывает — см. группу слева.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

Вопросы и ответы

Почему в логах GPTBot или ClaudeBot с вашего IP-адреса?

Это проверка aiseen.cloud: мы запрашиваем главную с User-Agent ботов ИИ, чтобы увидеть, что сервер им отвечает. Настоящие боты приходят с адресов своих компаний.

Стоит ли закрывать ботов обучения?

Это ваш выбор. Закрытие не убирает сайт из поиска ИИ, но модель без поиска будет знать о вас меньше. Поисковых ботов и ботов «по запросу» лучше не закрывать: через них сайт попадает в ответы со ссылкой.

Если закрыть Google-Extended, сайт пропадёт из Google?

Нет. Google-Extended решает только, можно ли использовать тексты для обучения Gemini. Поиск Google и AI Overviews читают сайт через Googlebot.

robots.txt пускает бота, а ИИ всё равно не видит сайт. Почему?

Часто мешает защита от ботов (Cloudflare, WAF хостинга): она отвечает ботам ошибкой 403 или капчей. Бесплатная проверка на aiseen.cloud показывает, что сервер ответил каждому боту.

Что такое llms.txt и llms-full.txt?

llms.txt — короткая карта сайта для ИИ-агентов: что это за сайт и ссылки на главные страницы. llms-full.txt — те же страницы целиком, одним текстовым файлом. Оба лежат в корне сайта.