Блог: исследования и новости ИИ-поиска

Свои исследования с открытыми данными и новости о том, как ChatGPT, Gemini, Perplexity и другие нейросети находят и читают сайты.

03.11.2026 · новость

Одно правило в robots.txt против обучения ИИ: что оно закрывает, а что нет

Google, Microsoft, OpenAI и Anthropic объявили о поддержке общего правила в robots.txt. Оно запрещает обучать ИИ на вашем сайте и не влияет на обычный поиск. Пока правило работает не у всех, поэтому менять robots.txt…

Читать →
03.11.2026 · исследование

robots.txt разрешает, защита запрещает: 14 из 100 известных сайтов не пустили наш ИИ-краулер

Мы проверили 100 известных онлайн-сервисов так, как их видят ИИ-краулеры. 14 из них не отдали нашей проверке ни одной страницы — среди них openai.com. При этом 12 из этих 14 в robots.txt ИИ-ботов пускают: сегодня…

Читать →