YandexBot: бұл қандай бот және оны қалай ашуға не жабуға болады
YandexBot — Yandex іздеу боты: Алиса AI сайтыңызды тауып, жауапта оған сілтеме бере алуы үшін беттерді тауып, оқиды. Оны жапсаңыз, сайт мұндай жауаптардан жоғалады.
YandexBot User-Agent
YandexBot сайтқа сұрауларда өзін осылай таныстырады. robots.txt-ке тек токен жазылады — YandexBot.
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Сайтты YandexBot үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: YandexBot Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол YandexBot ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты YandexBot ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: YandexBot Disallow: /
YandexBot жабылса, не болады
Алиса AI беттеріңізді тауып, оқуды тоқтатады: сайт іздеу арқылы берілетін жауаптарда шықпайды, ассистент оған сілтеме бермейді.
YandexBot сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Yandex оларды жарияласа.
grep "YandexBot" /var/log/nginx/access.log
Сайтыңыз YandexBot ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Алиса AI басқа боттары
YandexAdditionalіздеуYandexAdditionalBotіздеу
Сұрақтар мен жауаптар
YandexBot ботын жабу керек пе?
Жоқ, егер Алиса AI сайтыңызды тауып, ұсынғанын қаласаңыз. Іздеу боттарын тек жауаптарға түспеуі керек беттер үшін жапқан жөн.
YandexBot сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Yandex оларды жарияласа.
robots.txt-те YandexBot ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол YandexBot ботына 403 қатесін немесе тексеру бетін беруі мүмкін.