meta-externalfetcher: бұл қандай бот және оны қалай ашуға не жабуға болады
meta-externalfetcher — адамның сұрауы бойынша бетті ашатын Meta боты: Meta AI пайдаланушысы сілтемені оқуды сұрағанда немесе ассистент жауапты чатта іздегенде. Бұл бүкіл сайтты аралау емес, бетті бір рет оқу.
meta-externalfetcher User-Agent
meta-externalfetcher сайтқа сұрауларда өзін осылай таныстырады. robots.txt-ке тек токен жазылады — meta-externalfetcher.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)
Сайтты meta-externalfetcher үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: meta-externalfetcher Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол meta-externalfetcher ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты meta-externalfetcher ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: meta-externalfetcher Disallow: /
meta-externalfetcher жабылса, не болады
Meta AI пайдаланушысы бетіңізді ашуды сұрағанда, ассистент оны оқи алмайды және сайтыңызсыз жауап береді.
meta-externalfetcher сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Meta оларды жарияласа.
grep "meta-externalfetcher" /var/log/nginx/access.log
Сайтыңыз meta-externalfetcher ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Meta AI басқа боттары
meta-externalagentоқытуmeta-webindexerіздеу
Сұрақтар мен жауаптар
meta-externalfetcher ботын жабу керек пе?
Әдетте жоқ: meta-externalfetcher бетті тек адам сұрағанда ашады. Оны жапсаңыз, Meta AI пайдаланушысына сайтыңызды оқуға кедергі келтіресіз.
meta-externalfetcher сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Meta оларды жарияласа.
robots.txt-те meta-externalfetcher ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол meta-externalfetcher ботына 403 қатесін немесе тексеру бетін беруі мүмкін.