ЖИ оқытуға қарсы robots.txt ережесі: нені жабады, нені жаппайды

Жарияланды: 03.11.2026

ЖИ оқытуға қарсы robots.txt-тегі бір ереже: нені жабады, нені жаппайды

Google, Microsoft, OpenAI және Anthropic robots.txt-тегі ортақ ережені қолдайтынын хабарлады. Ол сайтыңызда ЖИ оқытуға тыйым салады және кәдімгі іздеуге әсер етпейді. Ереже әзірге барлық жерде жұмыс істемейді, сондықтан robots.txt-ті абайлап өзгерткен жөн.

Ереже қандай

User-Agent: __usage_ai-training
Disallow: /

Сайттың бір бөлігін ғана жабуға болады: Disallow: /articles/. robots.txt-тің әдеттегі жол ережелері мұнда да жұмыс істейді, ал жеке беттер үшін Microsoft-та мета-тег те бар.

Токен 2026 жылғы 30 қазандағы IETF жобасында сипатталған. Бұл Anthropic қызметкерінің жеке жобасы, қабылданған стандарт емес, сондықтан ол әлі өзгеруі мүмкін.

Қашан іске қосылады

Компания	Мерзімі
Microsoft	2027 жылғы 1 ақпаннан бастап, беттерді аралау барысында
Google	2027 жылдың басында жоспарлап отыр
OpenAI	алдағы айларда, нақты күні жоқ
Anthropic	қазір енгізіп жатыр, қолдау алдағы айларда пайда болады

Бұл тізімде басқа компаниялар жоқ. Ережені сақтау ерікті және ол бұрын жиналған деректерге қолданылмайды.

Ереже нені істемейді

Боттардың сайтқа кіруіне тыйым салмайды. Бұл контентті пайдалану туралы қалау, аралауға тыйым емес. Аралауды шектеу үшін нақты боттарға арналған ережелер керек.
Сайтты ЖИ жауаптарынан алып тастамайды. Жауаптар мен ЖИ іздеуі бөлек басқарылады. Мысалы, Microsoft-та жауаптар үшін өз мета-тегі бар: <meta name="Bingbot" content="ai-grounding:disallow">.
User-agent: * арқылы іске қосылмайды. Барлық роботтарға арналған топ оқытуға тыйым болып саналмайды: токенді атымен көрсету керек.
Ескі ережелерді жоймайды. GPTBot, ClaudeBot және Google-Extended ережелері әрекет ете береді.

Google-ға қатысты тұзақ

Жаңа токенді көрсетіп, Google-Extended-ті атамасаңыз, Google мұны Google-Extended-ке де тыйым деп санамақ. Ал бұл токен тек оқытуға ғана қатысты емес: Google оны Gemini қолданбасындағы жауаптармен де байланыстырады. Онда көрінгіңіз келсе, мұны алдын ала шешіп, Google-Extended-ті анық жазыңыз. Өзгертпес бұрын Google құжаттамасын тексеріңіз.

Қазір не істеу керек

ЖИ оқытуға тыйым салып, бірақ жауаптарда қалғыңыз келе ме? Мына нұсқа жарайды:

# ЖИ оқытуға ортақ тыйым
User-Agent: __usage_ai-training
Disallow: /

# Ереже әзірге барлық жерде жұмыс істемейді, ескі тыйымдарды қалдырамыз
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# ЖИ іздеу боттарын жаппаймыз
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Оқытуға қарсы болмасаңыз, ештеңені өзгертудің қажеті жоқ: бұл ереже болмаса, қалау білдірілмеген болып саналады.

Сайтыңызды тексеріңіз

Ең қымбат қателік — ЖИ-ден керек емес нәрсені жабу, мысалы, оқыту боттарының орнына іздеу боттарын. aiseen.cloud тегін тексеруі сайтыңыз қай боттарды кіргізетінін 15 секундта көрсетеді.

Дереккөздер: Google, Microsoft, OpenAI, IETF тізіміндегі Anthropic, IETF жобасы.