Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
web-crawlers
robots.txt
user-agent
davidcondrey
sumber
sumber
user-agent: *diikuti oleh larangan? Apakah daftar agen pengguna "diizinkan" lebih lama dari daftar yang ingin Anda izinkan?Jawaban:
Iya. Dengan asumsi bahwa nama agen Anda ditentukan dengan benar, sepertinya ini akan berfungsi. Ini adalah sumber jika Anda ingin membaca lebih lanjut. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
sumber