Google-Extended: бұл қандай бот және оны қалай ашуға не жабуға болады
Google-Extended — жеке робот емес, robots.txt-тегі токен: ол арқылы сайт Google компаниясына бұрын жиналған беттерді ЖИ модельдерін оқытуға пайдалануға рұқсат береді не тыйым салады. Іздеудегі орынға әсер етпейді.
Google-Extended User-Agent
Толық User-Agent жолын Google бот құжаттамасында жариялайды. robots.txt үшін Google-Extended токені жеткілікті.
Сайтты Google-Extended үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: Google-Extended Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол Google-Extended ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты Google-Extended ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: Google-Extended Disallow: /
Google-Extended жабылса, не болады
Модельдердің жаңа нұсқалары беттеріңізден үйренбейді. Іздеу арқылы берілетін жауаптардағы көріну өзгермейді — оған іздеу боттары жауап береді.
Google-Extended сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Google оларды жарияласа.
grep "Google-Extended" /var/log/nginx/access.log
Сайтыңыз Google-Extended ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Сұрақтар мен жауаптар
Google-Extended ботын жабу керек пе?
Өзіңіз шешесіз. Google-Extended ботын жабу сайтты іздеу арқылы берілетін ЖИ жауаптарынан алып тастамайды, бірақ модельдер де сіз туралы оқыту кезінде білмейді. Контент — басты активіңіз болса, жабыңыз; танымалдылық маңызды болса, ашық қалдырыңыз.
Google-Extended сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Google оларды жарияласа.
robots.txt-те Google-Extended ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол Google-Extended ботына 403 қатесін немесе тексеру бетін беруі мүмкін.