CCBot: бұл қандай бот және оны қалай ашуға не жабуға болады
CCBot — ЖИ модельдерін оқыту үшін беттерді жинайтын Common Crawl боты. Ол ЖИ ассистенттерінің іздеу арқылы беретін жауаптарына тікелей әсер етпейді: оларды іздеу боттары жинайды.
CCBot User-Agent
Толық User-Agent жолын Common Crawl бот құжаттамасында жариялайды. robots.txt үшін CCBot токені жеткілікті.
Сайтты CCBot үшін қалай ашуға болады
Бұл топты сайт түбіріндегі robots.txt-ке қосыңыз. Қызметтік бөлімдерді осы топта жабыңыз: өз тобы бар бот «User-agent: *» ережелерін оқымайды.
User-agent: CCBot Allow: /
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол CCBot ботына 403 қатесін немесе тексеру бетін беруі мүмкін.
Сайтты CCBot ботынан қалай жабуға болады
Бүкіл сайтты жабу үшін robots.txt-ке төмендегі топты қосыңыз. Ереже robots.txt-ті сақтайтын боттар үшін жұмыс істейді.
User-agent: CCBot Disallow: /
CCBot жабылса, не болады
Модельдердің жаңа нұсқалары беттеріңізден үйренбейді. Іздеу арқылы берілетін жауаптардағы көріну өзгермейді — оған іздеу боттары жауап береді.
CCBot сайтқа кіре ме, қалай тексеруге болады
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Common Crawl оларды жарияласа.
grep "CCBot" /var/log/nginx/access.log
Сайтыңыз CCBot ботын кіргізе ме
15 секундтық тегін тексеру: robots.txt-ті оқып, сайтты ЖИ боттарының атынан сұраймыз — сервер мен қорғаныс қайсысын кіргізіп, қайсысын кіргізбейтіні көрінеді.
Сұрақтар мен жауаптар
CCBot ботын жабу керек пе?
Өзіңіз шешесіз. CCBot ботын жабу сайтты іздеу арқылы берілетін ЖИ жауаптарынан алып тастамайды, бірақ модельдер де сіз туралы оқыту кезінде білмейді. Контент — басты активіңіз болса, жабыңыз; танымалдылық маңызды болса, ашық қалдырыңыз.
CCBot сайтқа кіретінін қалай білуге болады?
Веб-сервер логтарынан токенді іздеңіз. User-Agent жолын жалғандау оңай, сондықтан сенімді болу үшін IP мекенжайын ауқымдармен салыстырыңыз, егер Common Crawl оларды жарияласа.
robots.txt-те CCBot ботын ашу жеткілікті ме?
robots.txt — бәрі емес. Сайтта Cloudflare немесе боттардан басқа қорғаныс тұрса, robots.txt бәріне рұқсат етсе де, ол CCBot ботына 403 қатесін немесе тексеру бетін беруі мүмкін.