Опубликовано 12.11.2026
Агент Meta Muse перестал получать объявления eBay. Сам eBay говорит, что ограничил доступ агентов «в некоторых случаях». Мы открыли его robots.txt: обучающие боты ИИ закрыты, а поисковые боты ChatGPT и Claude — нет.
Что случилось
10 ноября The Verge рассказал о читателе, который несколько недель собирал через агента Meta Muse подборку часов с eBay. Потом агент перестал получать ссылки и сообщил, что сайт его не пускает. Редакция повторила это на других запросах. Иногда Muse отправлял на сторонние сайты с копиями объявлений eBay.
Представитель eBay не ответил прямо, вводились ли новые ограничения: «Мы ограничили доступ агентов в некоторых случаях, включая несанкционированный сбор данных и обучение на наших данных». Ещё раньше eBay запретил в пользовательском соглашении агентов, которые оформляют заказы без проверки человеком. Meta от комментариев отказалась.
Что в robots.txt eBay
Мы прочитали файл 12 ноября.
- Закрыты целиком (кроме нескольких разделов справки): GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, meta-externalagent, Applebot-Extended, Amazonbot, Bytespider, CCBot, ChatGLM-Spider.
- Открыты с обычными ограничениями: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User. Им закрыты служебные адреса и часть страниц поиска с фильтрами, а объявления доступны.
- OAI-AdsBot закрыт везде, кроме ссылок с рекламной меткой.
Muse в файле не упомянут. Значит, агента остановил не robots.txt, а правила на стороне сервера. Как именно, eBay не говорит.
Что из этого взять
- Обучение и поиск можно разделить. eBay не даёт брать данные для обучения моделей, но пускает ботов, которые приводят ChatGPT и Claude к ответам со ссылками. Так можно сделать и на своём сайте: закрыть GPTBot и ClaudeBot, оставить OAI-SearchBot, ChatGPT-User, Claude-SearchBot и Claude-User.
- PerplexityBot — поисковый бот. eBay его закрыл, и это решение против появления в ответах Perplexity, а не против обучения. Если Perplexity вам нужен, не кладите его в один список с обучающими ботами.
- Агентов закрывают не robots.txt. Агент может ходить как обычный браузер, и его отличают по поведению. Если вы закрываете агентов, проверьте, что под это правило не попали поисковые боты ИИ.
Проверить, каких ботов ИИ пускает ваш robots.txt и что им отвечает сервер, можно бесплатной проверкой aiseen.cloud: 15 секунд, без регистрации.
Источники: The Verge, FourWeekMBA, robots.txt eBay.