Жарияланды: 03.11.2026 · Деректер (CSV, CC BY 4.0)
Біз 100 танымал онлайн сервисті ЖИ-краулерлер көретіндей тексердік. Олардың 14-і біздің тексеруге бірде-бір бет бермеді — олардың ішінде openai.com. Бұл ретте сол 14-тің 12-сі robots.txt-те ЖИ боттарын жібереді: бүгін басты қақпашы — robots.txt емес, боттардан қорғаныс.
Не тексердік
2026 жылғы 27 қазанда біз aiseen.cloud тегін тексеруін 10 саладағы 100 танымал онлайн сервиске жүргіздік: CRM, сайт конструкторлары, email-таратулар, онлайн оқыту, онлайн жазылу, хостинг, тапсырмалар мен жобалар, төлемдер, SEO және ЖИ сервистері. Тексеру сайтты кәдімгі браузер ретінде және ЖИ-краулерлер ретінде (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot және т.б.) сұрайды, robots.txt, llms.txt, белгілеуді және JavaScript-пен және онсыз 10-ға дейін бетті оқиды. 100-ден балл — ашық ережелердің қосындысы, нейрожелінің пікірі емес: әдістеме.
Ең бастысы: robots.txt енді қақпа емес
100 сайттың 14-і біздің тексеруге бірде-бір бет бермеді — ЖИ боттары атынан да, кәдімгі браузер атынан да. Оны Cloudflare роботқа тексеруімен немесе капчамен жауап берді (HTTP 403), екеуі оқылатын мәтінсіз бет берді, екеуі уақытында жауап бермеді.
Содан кейін олардың robots.txt файлын оқыдық. 14-тің 12-сі бірде-бір ірі ЖИ ботына тыйым салмайды. Тек Midjourney оқыту боттарын (GPTBot, CCBot, Google-Extended) жабады, ал Udemy-дің robots.txt-і бізге ашылмады. openai.com robots.txt-інде бір ғана топ бар: User-agent: *, Allow: /.
| Сайт | Біздің тексеру не алды | ЖИ боттарына robots.txt |
|---|---|---|
| openai.com | роботқа тексеру, HTTP 403 (Cloudflare) | жібереді |
| perplexity.ai | оқылатын мәтінсіз бет (Cloudflare) | жібереді |
| midjourney.com | роботқа тексеру, HTTP 403 | тек оқыту боттары жабық |
| pipedrive.com, freshworks.com, kit.com, activecampaign.com, skillshare.com, codecademy.com | роботқа тексеру, HTTP 403 | жібереді |
| bluehost.com | капча, HTTP 403 | жібереді |
| udemy.com | роботқа тексеру, HTTP 403 | ашылмады |
| zoho.com | оқылатын мәтінсіз бет | жібереді |
| revolut.com, similarweb.com | сервер уақытында жауап бермеді | жібереді |
Адал ескерту. Біздің сұрауларымыз OpenAI немесе Anthropic ресми мекенжайларынан емес, серверден келеді. Қорғаныс тексерілген краулерлерді өткізуі мүмкін — мысалы, OpenAI-дің өз мекенжайларынан келген GPTBot-ты. Бірақ ЖИ жинаушыларының ұзын тізімі бұл тізімдерге кірмейді: жаңа ассистенттер, агенттер, браузер құралдары және біздікі сияқты тексерулер. Олар үшін robots.txt-те «қош келдіңіз» дейтін сайт бәрібір жабық.
Ашылған 86 сайт бойынша тағы бес сан
- ЖИ-ге дайындықтың медианасы — 100-ден 76. Ең үздіктері: Netlify 93, SimplyBook.me 92, GetResponse 91, ElevenLabs 91. Ең төмендері: REG.RU 22, Duolingo 32, Stepik 41, Trello 45.
- 30% кемінде бір іздеу немесе пайдаланушы ЖИ ботын жабады (OAI-SearchBot, PerplexityBot, Claude-User…) robots.txt-те немесе серверде. Оқыту боттарын жабу — қалыпты шешім; жабық іздеу боттары сайтты сілтемелері бар ЖИ жауаптарынан алып тастайды. Бір онлайн жазылу сервисі 18 ЖИ ботын жапқан.
- Тек жартысында (50%) негізгі мәтін JavaScript-сіз HTML-де бар. Қалғандарында скрипт орындамайтын краулерлер мәтіннің бір бөлігін немесе бәрін жоғалтады.
- llms.txt қазірдің өзінде 56%-да бар.
- Толық Organization белгілеуі — тек 13%-да: атауы, логотипі, байланыстары мен профильдері, олар арқылы ЖИ компанияның кім екенін түсінеді.
Өз сайтыңызда нені тексеру керек
- Қорғаныс немесе CDN журналдарын ашып, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot іздеңіз: олар 200 ала ма, әлде 403 пе?
- Cloudflare-да «Block AI bots», Bot Fight Mode және өз WAF ережелеріңізді қараңыз: олар robots.txt-тен күшті.
- Іздеу боттары (ЖИ жауаптарына әкеледі) мен оқыту боттары (әкелмейді) туралы бөлек шешіңіз.
- Негізгі мәтін тек скриптпен салынбай, HTML-де бар екенін тексеріңіз.
- Өз сайтыңызға дәл сол тегін тексеруді жүргізіңіз — 15 секунд, тіркелусіз.
Деректер
Барлық 100 сайт бойынша толық кесте — ЖИ-ге дайындық рейтингінде, ай сайын жаңартылады. Деректерді жүктеу: CSV. Лицензия CC BY 4.0 — aiseen.cloud сілтемесімен келтіріңіз.