ChatGPT-User: что это за бот и как его открыть или закрыть
ChatGPT-User — бот OpenAI, который открывает страницу по просьбе человека: когда пользователь ChatGPT просит прочитать ссылку или ассистент ищет ответ прямо в чате. Это не обход всего сайта, а разовое чтение страницы.
User-Agent ChatGPT-User
Так ChatGPT-User представляется в запросах к сайту. В robots.txt пишут только токен — ChatGPT-User.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
загрузка страницы по запросу пользователя
Как открыть сайт для ChatGPT-User
Добавьте группу в robots.txt в корне сайта. Служебные разделы закройте в ней же: бот со своей группой не читает правила «User-agent: *».
User-agent: ChatGPT-User Allow: /
robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать ChatGPT-User ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.
Как закрыть сайт от ChatGPT-User
Чтобы закрыть весь сайт, добавьте в robots.txt группу ниже. Правило действует для ботов, которые соблюдают robots.txt.
User-agent: ChatGPT-User Disallow: /
Что будет, если закрыть ChatGPT-User
Когда пользователь ChatGPT попросит открыть вашу страницу, ассистент не сможет её прочитать и ответит без вашего сайта.
Как проверить, заходит ли ChatGPT-User на сайт
Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если OpenAI их публикует.
grep "ChatGPT-User" /var/log/nginx/access.log
Пускает ли ваш сайт ChatGPT-User
Бесплатная проверка за 15 секунд: читаем ваш robots.txt и запрашиваем сайт от имени ботов ИИ — видно, кого пускают сервер и защита, а кого нет.
Вопросы и ответы
Нужно ли закрывать ChatGPT-User?
Обычно нет: ChatGPT-User открывает страницу только по просьбе человека. Закрыв его, вы мешаете пользователю ChatGPT прочитать ваш сайт.
Как узнать, заходит ли ChatGPT-User на сайт?
Найдите токен в логах веб-сервера. Строку User-Agent легко подделать, поэтому для уверенности сверяйте IP-адрес с диапазонами, если OpenAI их публикует.
Достаточно ли открыть ChatGPT-User в robots.txt?
robots.txt — ещё не всё. Если на сайте стоит Cloudflare или другая защита от ботов, она может отдавать ChatGPT-User ошибку 403 или страницу-проверку, даже когда robots.txt всё разрешает.