Жарияланды: 06.11.2026
Blend агенттігі 200 дүкенді тексерді: 29-ы оның ЖИ-агентін кіргізбеді. robots.txt файлы оқылған 24 дүкеннің бәрі ЖИ іздеу боттарына рұқсат береді. Авторлар боттардан қорғанысты кінәлайды, бірақ агент ChatGPT не Claude боты емес, белгісіз агент болды.
Зерттеу нені көрсетті
Blend Commerce агенттігі АҚШ пен Ұлыбританияның 20 саласындағы 200 дүкенді 2026 жылғы 8–15 қыркүйекте тексерді. Агент кәдімгі Chromium браузерін қолданды және, Blend сөзінше, ешбір ЖИ компаниясының боты болып көрінген жоқ.
- 200 дүкеннің 29-ы (14,5%) агентті екі әрекетте де кіргізбеді.
- Ірі дүкендер жиірек бас тартты: 80-нің 16-сы. Орташа дүкендерде 80-нің 12-сі, шағын дүкендерде 40-тың 1-і.
- robots.txt файлын 29 дүкеннің 24-інде оқу мүмкін болды. Сол 24 дүкеннің бәрі ChatGPT, Perplexity және Claude іздеу боттарына рұқсат береді.
Blend қорытындысы: бас тартудың себебі robots.txt ережелері емес, боттардан қорғаныс.
Бұл нені дәлелдемейді
- Агент белгісіз болды. Дүкен өз тізіміндегі аталған агенттер мен краулерлерді кіргізіп, бейтаныстың бәрін жаба алады. Бұл дүкендердің нақты ChatGPT немесе Claude боттарына қалай жауап беретінін тест көрсетпейді.
- Зерттеудің коммерциялық мүддесі бар. Blend интернет-дүкендерге қызмет сатады.
- Себепті авторлар өздері атады. Агентті кіргізбеген дүкендердің ешқайсысы жауап бермеді. 29 дүкеннің 5-еуінің robots.txt ережелері белгісіз.
Ашық robots.txt неге ештеңеге кепілдік бермейді
robots.txt ботқа тек ережені хабарлайды: бот файлды өзі оқиды және оны ұстану-ұстанбауды өзі шешеді. Ал боттардан қорғаныс сұрауға сервер немесе CDN жағында жауап береді және файлда не жазылғанына қарамастан бас тарта алады. Сондықтан файлға қарап, ботты шынымен кіргізетінін білу мүмкін емес.
Біз де мұны 100 белгілі сервисті тексергенде көрдік: 14-і бізге бірде-бір бет бермеді, ал олардың 12-сі robots.txt-те ЖИ боттарына рұқсат береді. Ескерту де сол: сұрауларымыз OpenAI немесе Anthropic мекенжайларынан жіберілмейді.
Сайтыңызда нені тексеру керек
- Қорғаныс немесе CDN журналдары. OAI-SearchBot, ChatGPT-User, ClaudeBot және PerplexityBot боттарын табыңыз. Олар 200 ала ма, әлде 403 пе, қараңыз.
- Қорғаныс баптаулары. Cloudflare-де бұл ЖИ боттарын бұғаттау, Bot Fight Mode және WAF ережелері. Басқа сервистерде де ұқсас баптаулар бар.
- Іздеу және оқыту боттарын бөлек қарастырыңыз. Іздеу боттары сілтемелері бар ЖИ жауаптары үшін керек. Оқыту боттарын бөлек жабуға болады.
aiseen.cloud тегін тексеруі robots.txt файлын және сервердің ЖИ боттарына қалай жауап беретінін көрсетеді: 15 секунд, тіркелусіз.
Дереккөздер: Blend Commerce есебі, PPC Land.