Googlebot: бұл қандай бот және оны қалай ашуға не жабуға болады
Googlebot — Google іздеу боты: Gemini және AI Overviews сайтыңызды тауып, жауапта оған сілтеме бере алуы үшін беттерді тауып, оқиды. Оны жапсаңыз, сайт мұндай жауаптардан жоғалады.
Googlebot User-Agent
Googlebot сайтқа сұрауларда өзін осылай таныстырады. robots.txt-ке тек токен жазылады — Googlebot.
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Сайтты Googlebot үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: Googlebot Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол Googlebot ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты Googlebot ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: Googlebot Disallow: /
Googlebot жабылса, не болады
Gemini және AI Overviews беттеріңізді тауып, оқуды тоқтатады: сайт іздеу арқылы берілетін жауаптарда шықпайды, ассистент оған сілтеме бермейді.
Googlebot сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Google оларды жарияласа.
grep "Googlebot" /var/log/nginx/access.log
Сайтыңыз Googlebot ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Gemini және AI Overviews басқа боттары
Google-Extendedоқыту
Сұрақтар мен жауаптар
Googlebot ботын жабу керек пе?
Жоқ, егер Gemini және AI Overviews сайтыңызды тауып, ұсынғанын қаласаңыз. Іздеу боттарын тек жауаптарға түспеуі керек беттер үшін жапқан жөн.
Googlebot сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Google оларды жарияласа.
robots.txt-те Googlebot ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол Googlebot ботына 403 қатесін немесе тексеру бетін беруі мүмкін.