Жарияланды: 12.11.2026
theStacc компаниясы жергілікті бизнестің 88 640 сайтын тексерді. Олардың 3%-ында robots.txt ЖИ іздеу боттарына рұқсат береді, ал сервер оларға бас тартады. Иелері бұл туралы білмеуі мүмкін.
Қалай тексерді
Сайттар Overture Maps ашық орындар анықтамалығынан алынды: 30 сала. Әр сайттың басты беті браузер атынан, Googlebot атынан және OpenAI, Anthropic, Perplexity компанияларының сегіз боты атынан сұралды. robots.txt жапқан боттар атынан сұрау жіберілмеді. Әр бас тарту кемінде бір тәуліктен кейін қайта тексеріліп, тек расталғандары есептелді. Тексеру 2026 жылғы 31 қазаннан 2 қарашаға дейін жүрді.
Не табылды
- 83 504 сайттың 2 523-і (3%, шамамен 33-тің бірі) robots.txt рұқсат берген ЖИ іздеу ботына бас тартты. Ал браузер мен Googlebot бетті алды.
- Ең жиі Claude-SearchBot (сайттардың 1,8%-ы), OAI-SearchBot (1,4%) және PerplexityBot (1,1%) кіре алмады.
- Мұндай бас тартулардың 83%-ы көп сайтта бірдей көрінеді. Авторлар мұны сайт иесінің шешімі емес, хостингтің, платформаның не CDN-нің ортақ ережесі деп санайды.
- Медициналық практикаларға арналған бір платформада 949 сайт GPTBot пен Claude боттарына бас тартты, дегенмен олардың robots.txt бұл боттарға рұқсат береді. Бас тарту сайттардың алдындағы CDN-нен келген.
- Wix-те сайттардың 79%-ы ЖИ іздеу боттарына тексеру бетін көрсетті. Бірақ олардың 68,5%-ы Googlebot-ты да солай қарсы алды: бұл ЖИ-ге қарсы ереже емес, боттардан жалпы қорғаныс.
Ескертулер
- Сұраулар OpenAI не Anthropic мекенжайларынан емес, авторлардың серверлерінен жіберілді. IP-ді тексеретін қорғаныс нағыз боттарды кіргізуі мүмкін.
- Тек басты бет бір рет тексерілді.
Неге бұлай болады
robots.txt — ботқа арналған ереже: бот файлды өзі оқып, оған бағыну-бағынбауды өзі шешеді. Ал ботқа сервер, CDN не хостинг қорғанысы жауап береді. Хостинг барлық клиенттері үшін ЖИ боттарын бұғаттаса, ашық robots.txt мұны өзгертпейді. Біз де мұны белгілі 100 сервисті тексергенде көрдік.
Не істеу керек
- Басты бетті бот атынан сұраңыз. Мысалы,
curl -I -A "OAI-SearchBot" https://сіздің-сайт. 403 не тексеру беті емес, 200 жауабы керек. - Қорғаныс баптауларын қараңыз. Cloudflare-де бұл ЖИ боттарын бұғаттау, Bot Fight Mode және WAF ережелері. Конструктор не хостинг болса, қолдау қызметінен ЖИ боттарына ортақ ереже бар-жоғын сұраңыз.
- Ерекшелік сұраңыз. Бас тарту платформадан келсе, ЖИ іздеу боттарын ерекшеліктерге қосуды сұраңыз.
aiseen.cloud тегін тексеруі мұны сіз үшін жасайды: robots.txt-ті оқып, басты бетті ЖИ боттары атынан сұрайды. 15 секунд, тіркелусіз.
Дереккөз: theStacc зерттеуі.