meta-webindexer: бұл қандай бот және оны қалай ашуға не жабуға болады
meta-webindexer — Meta іздеу боты: Meta AI сайтыңызды тауып, жауапта оған сілтеме бере алуы үшін беттерді тауып, оқиды. Оны жапсаңыз, сайт мұндай жауаптардан жоғалады.
meta-webindexer User-Agent
meta-webindexer сайтқа сұрауларда өзін осылай таныстырады. robots.txt-ке тек токен жазылады — meta-webindexer.
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)
Сайтты meta-webindexer үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: meta-webindexer Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол meta-webindexer ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты meta-webindexer ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: meta-webindexer Disallow: /
meta-webindexer жабылса, не болады
Meta AI беттеріңізді тауып, оқуды тоқтатады: сайт іздеу арқылы берілетін жауаптарда шықпайды, ассистент оған сілтеме бермейді.
meta-webindexer сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Meta оларды жарияласа.
grep "meta-webindexer" /var/log/nginx/access.log
Сайтыңыз meta-webindexer ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Meta AI басқа боттары
meta-externalagentоқытуmeta-externalfetcherсұрау бойынша
Сұрақтар мен жауаптар
meta-webindexer ботын жабу керек пе?
Жоқ, егер Meta AI сайтыңызды тауып, ұсынғанын қаласаңыз. Іздеу боттарын тек жауаптарға түспеуі керек беттер үшін жапқан жөн.
meta-webindexer сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Meta оларды жарияласа.
robots.txt-те meta-webindexer ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол meta-webindexer ботына 403 қатесін немесе тексеру бетін беруі мүмкін.