Applebot-Extended: бұл қандай бот және оны қалай ашуға не жабуға болады
Applebot-Extended — жеке робот емес, robots.txt-тегі токен: ол арқылы сайт Apple компаниясына бұрын жиналған беттерді ЖИ модельдерін оқытуға пайдалануға рұқсат береді не тыйым салады. Іздеудегі орынға әсер етпейді.
Applebot-Extended User-Agent
Толық User-Agent жолын Apple бот құжаттамасында жариялайды. robots.txt үшін Applebot-Extended токені жеткілікті.
Сайтты Applebot-Extended үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: Applebot-Extended Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол Applebot-Extended ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты Applebot-Extended ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: Applebot-Extended Disallow: /
Applebot-Extended жабылса, не болады
Модельдердің жаңа нұсқалары беттеріңізден үйренбейді. Іздеу арқылы берілетін жауаптардағы көріну өзгермейді — оған іздеу боттары жауап береді.
Applebot-Extended сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Apple оларды жарияласа.
grep "Applebot-Extended" /var/log/nginx/access.log
Сайтыңыз Applebot-Extended ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Сұрақтар мен жауаптар
Applebot-Extended ботын жабу керек пе?
Өзіңіз шешесіз. Applebot-Extended ботын жабу сайтты іздеу арқылы берілетін ЖИ жауаптарынан алып тастамайды, бірақ модельдер де сіз туралы оқыту кезінде білмейді. Контент — басты активіңіз болса, жабыңыз; танымалдылық маңызды болса, ашық қалдырыңыз.
Applebot-Extended сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Apple оларды жарияласа.
robots.txt-те Applebot-Extended ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол Applebot-Extended ботына 403 қатесін немесе тексеру бетін беруі мүмкін.