Анықтамалық

ЖИ-боттар және AiseenBot

AiseenBot тегін тексеруде сайттың 10 бетіне дейін, аудитте 30 беттен бастап оқиды, robots.txt-ті сақтайды және бір мезгілде 2 сұраудан артық жібермейді. Төменде — ЖИ жүйелерінің боттары: қайсысы ChatGPT, Claude, Perplexity және Алисадан келушілер әкеледі, қайсысы оқыту үшін мәтін жинайды және әрқайсысын қалай ашу не жабу керек.

AS

AiseenBot — aiseen.cloud роботы

aiseen.cloud

AiseenBot біреу aiseen.cloud-та сайтты тексеруді іске қосқанда келеді. Ол robots.txt, сайт картасын, llms.txt және бірнеше бетті оқиды: тегін тексеруде 10 бетке дейін, аудитте — тапсырыс берілгенінше.

User-Agent

Mozilla/5.0 (compatible; AiseenBot/1.0; +https://aiseen.cloud/bots/)

Ол өзін қалай ұстайды

  • robots.txt сақтайды: AiseenBot ережелерін, олар болмаса — барлық роботтардың (*) ережелерін.
  • Сайтқа бір мезгілде 2 сұраудан артық емес, араларында үзіліс бар.
  • Тек жария беттерді оқиды: формаларды толтырмайды және жабық бөлімдерге кірмейді.

ЖИ-боттар атынан сұраулар

Сервер ЖИ-боттарды кіргізе ме — тексеру үшін басты бетті осы боттардың User-Agent-імен бір реттен сұраймыз: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-User, ClaudeBot, PerplexityBot, Googlebot, bingbot, YandexBot, MistralAI-Index, meta-webindexer, Kimi-SearchBot, Claude-Agent, Google-Agent, Google-GeminiNotebook, Google, Google-Lens. Бұл сұраулар OpenAI, Anthropic немесе Google-дан емес, біздің серверден келеді — логтарда оларды IP-мекенжай ажыратады.

Аудитте тағы бірнеше сұрау қосылады: жоқ мекенжайға (сайт 404 қатесіне қалай жауап береді) және www пен http нұсқаларына (айналар біріктірілген бе).

Сайтты AiseenBot-тан қалай жабуға болады

robots.txt-ке осы топты қосыңыз — жабық беттер тексеруге кірмейді. Робот туралы сұрақтар — [email protected].

User-agent: AiseenBot
Disallow: /

ЖИ жүйелерінің боттары

aiseen.cloud тексеретін robots.txt токендері. Іздеу боттары мен «сұрау бойынша» боттар сайтты ЖИ жауаптарына сілтемемен әкеледі; оқыту боттары модельдердің болашақ нұсқаларына мәтін жинайды.

GP

ChatGPT

OpenAI

robots.txt токендері

Тағы боттар — бағаға кірмейді

  • OAI-AdsBotжарнамасипаттамаChatGPT-тегі жарнаманың қону беттерін тексереді: тек жарнамаға берілген беттерге барады, оқыту үшін емес

robots.txt ережесі

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
CL

Claude

Anthropic

robots.txt токендері

Тағы боттар — бағаға кірмейді

  • Claude-AgentагентсипаттамаClaude браузер-агенті: пайдаланушы тапсырмасы бойынша беттерді ашып, әрекет етеді (Claude Duet қоса); IP бойынша тексеру — claude.com/.well-known/sail

robots.txt ережесі

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
GM

Gemini және AI Overviews

Google

robots.txt токендері

Тағы боттар — бағаға кірмейді

  • Google-AgentагентсипаттамаGoogle агенттері: пайдаланушы сұрауымен сайттарды ашып, әрекет етеді; robots.txt-ті әдетте оқымайды
  • Google-GeminiNotebookсұрау бойыншасипаттамапайдаланушы Gemini Notebook-қа дереккөз ретінде қосқан беттерді жүктейді (бұрын — Google-NotebookLM); robots.txt-ті әдетте оқымайды
  • Googleсұрау бойыншадереккөзGemini үшін бет жүктеу — тәуелсіз тест бойынша, Google растамаған
  • Google-Lensсұрау бойыншадереккөзAI Mode үшін бет жүктеу, басқа қолданыстар да мүмкін — тәуелсіз тест бойынша, Google растамаған

Сайтты қалай ашуға немесе жабуға болады

Сайт түбіріндегі robots.txt үшін дайын топтар.

ЖИ іздеуіне ашу

Сайт ChatGPT, Claude, Perplexity жауаптарына сілтемемен түседі. Қызметтік бөлімдерді әр топта жабыңыз.

# Іздеу және пайдаланушы сұраулары: сайтқа сілтемесі бар ЖИ жауаптары осыдан
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Kimi-SearchBot
User-agent: Kimi-User
Allow: /
Disallow: /admin/   # қызметтік бөлімдер — сіздікі

# Модельдерді оқыту: өзіңіз шешіңіз; Disallow: / сайтты оқытуға жабады
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: KimiBot
Allow: /
Disallow: /admin/   # қызметтік бөлімдер — сіздікі

Sitemap: https://example.com/sitemap.xml

Үлгіде Googlebot, bingbot, YandexBot жоқ: бұлар кәдімгі іздеу роботтары, сайтта олардың ережелері бар болуы әбден мүмкін.

Модельдерді оқытуды жабу

Мәтіндер болашақ модельдерді оқытуға кетпейді. Бұл ЖИ іздеуін жаппайды — сол жақтағы топты қараңыз.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: KimiBot
Disallow: /

Сұрақтар мен жауаптар

Неге логтарда сіздің IP-мекенжайдан GPTBot немесе ClaudeBot бар?

Бұл aiseen.cloud тексеруі: сервер ЖИ-боттарға не жауап беретінін көру үшін басты бетті олардың User-Agent-імен сұраймыз. Нағыз боттар өз компанияларының мекенжайларынан келеді.

Оқыту боттарын жабу керек пе?

Бұл сіздің таңдауыңыз. Жабу сайтты ЖИ іздеуінен алып тастамайды, бірақ іздеусіз модель сіз туралы азырақ біледі. Іздеу және «сұрау бойынша» боттарды жаппаған дұрыс: солар арқылы сайт сілтемесі бар жауаптарға түседі.

Google-Extended жабылса, сайт Google-дан жоғала ма?

Жоқ. Google-Extended мәтіндерді Gemini-ді оқытуға пайдалануға бола ма, соны ғана шешеді. Google іздеуі мен AI Overviews сайтты Googlebot арқылы оқиды.

robots.txt ботты кіргізеді, бірақ ЖИ сайтты бәрібір көрмейді. Неге?

Көбіне боттардан қорғаныс (Cloudflare, хостинг WAF) кедергі келтіреді: ол боттарға 403 қатесімен немесе капчамен жауап береді. aiseen.cloud-тағы тегін тексеру сервер әр ботқа не жауап бергенін көрсетеді.

llms.txt және llms-full.txt деген не?

llms.txt — ЖИ-агенттерге арналған қысқа сайт картасы: сайт не туралы және басты беттерге сілтемелер. llms-full.txt — сол беттер толығымен, бір мәтіндік файлмен. Екеуі де сайт түбірінде.