PerplexityBot: что это за бот и как его открыть или закрыть
PerplexityBot — поисковый бот Perplexity: находит и читает страницы, чтобы Perplexity мог найти ваш сайт и сослаться на него в ответе. Если его закрыть, сайт пропадёт из таких ответов.
User-Agent PerplexityBot
Так PerplexityBot представляется в запросах к сайту. В robots.txt пишут только токен — PerplexityBot.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
индекс Perplexity
Как открыть сайт для PerplexityBot
Добавьте группу в robots.txt в корне сайта. Служебные разделы закройте в ней же: бот со своей группой не читает правила «User-agent: *».
User-agent: PerplexityBot Allow: /
robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать PerplexityBot ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.
Как закрыть сайт от PerplexityBot
Чтобы закрыть весь сайт, добавьте в robots.txt группу ниже. Правило действует для ботов, которые соблюдают robots.txt.
User-agent: PerplexityBot Disallow: /
Что будет, если закрыть PerplexityBot
Perplexity перестанет находить и читать ваши страницы: в ответах с поиском сайт не появится, а ссылок на него ассистент давать не будет.
Как проверить, заходит ли PerplexityBot на сайт
Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если Perplexity их публикует.
grep "PerplexityBot" /var/log/nginx/access.log
Пускает ли ваш сайт PerplexityBot
Бесплатная проверка за 15 секунд: читаем ваш robots.txt и запрашиваем сайт от имени ботов ИИ — видно, кого пускают сервер и защита, а кого нет.
Вопросы и ответы
Нужно ли закрывать PerplexityBot?
Нет, если вы хотите, чтобы Perplexity находил и рекомендовал ваш сайт. Закрывать поисковых ботов имеет смысл только для страниц, которые не должны попадать в ответы.
Как узнать, заходит ли PerplexityBot на сайт?
Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если Perplexity их публикует.
Достаточно ли открыть PerplexityBot в robots.txt?
robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать PerplexityBot ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.