Жарияланды: 12.11.2026
Meta Muse агенті eBay хабарландыруларын ала алмай қалды. eBay агенттердің кіруін «кейбір жағдайларда» шектегенін айтады. Біз оның robots.txt файлын ашып көрдік: ЖИ-ді оқытатын боттар жабық, ал ChatGPT пен Claude іздеу боттары ашық.
Не болды
10 қарашада The Verge бір оқырман туралы жазды: ол бірнеше апта бойы Meta Muse агенті арқылы eBay-ден сағаттар жинағын құрастырып отырған. Кейін агент сілтемелерді ала алмай, сайт оны кіргізбейтінін хабарлады. Редакция мұны басқа сұраулармен қайталап көрді. Кейде Muse eBay хабарландыруларының көшірмесі бар бөгде сайттарға жіберген.
eBay өкілі жаңа шектеулер енгізілгенін тікелей растамады: «Біз кейбір жағдайларда агенттердің кіруін шектедік, соның ішінде рұқсатсыз деректер жинау мен біздің деректерімізде оқыту». Бұған дейін eBay пайдаланушы келісімінде адам тексермей тапсырыс беретін агенттерге тыйым салған. Meta пікір білдіруден бас тартты.
eBay robots.txt файлында не бар
Файлды 12 қарашада оқыдық.
- Толық жабық (анықтаманың бірнеше бөлімінен басқа): GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, meta-externalagent, Applebot-Extended, Amazonbot, Bytespider, CCBot, ChatGLM-Spider.
- Әдеттегі шектеулермен ашық: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User. Оларға қызметтік мекенжайлар мен сүзгілері бар іздеу беттерінің бір бөлігі жабық, ал хабарландырулар ашық.
- OAI-AdsBot жарнама белгісі бар сілтемелерден басқа барлық жерде жабық.
Файлда Muse аталмайды. Демек агентті robots.txt емес, сервер жағындағы ережелер тоқтатқан. Нақты қалай екенін eBay айтпайды.
Одан не алуға болады
- Оқыту мен іздеуді бөлуге болады. eBay деректерін модельдерді оқытуға бермейді, бірақ ChatGPT пен Claude-ты сілтемесі бар жауаптарға әкелетін боттарды кіргізеді. Өз сайтыңызда да солай істеуге болады: GPTBot пен ClaudeBot-ты жабып, OAI-SearchBot, ChatGPT-User, Claude-SearchBot және Claude-User-ді қалдыру.
- PerplexityBot — іздеу боты. eBay оны жапты, бұл оқытуға емес, Perplexity жауаптарында көрінуге қарсы шешім. Perplexity сізге керек болса, оны оқытатын боттармен бір тізімге қоймаңыз.
- Агенттерді robots.txt тоқтатпайды. Агент кәдімгі браузер сияқты кіре алады, оны мінез-құлқынан ажыратады. Агенттерді жапсаңыз, бұл ережеге ЖИ іздеу боттары ілікпегенін тексеріңіз.
robots.txt қай ЖИ боттарын кіргізетінін және сервер оларға не жауап беретінін aiseen.cloud тегін тексеруімен білуге болады: 15 секунд, тіркелусіз.
Дереккөздер: The Verge, FourWeekMBA, eBay robots.txt.