Pertanyaan yang diberi tag user-agent

Kami memiliki beberapa masalah serius dengan laba-laba Yahoo (luar biasa) yang ditulis dengan buruk di masa lalu , dan akibatnya kami memblokirnya. Marco Arment dari Tumblr juga berbagi rasa frustrasinya dengan kami pada 8/31/2009, yang merupakan faktor dalam diri kami untuk memblokirnya....

Ada Ask bot, yang mengatur tajuk ini: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Mempertimbangkan hal ini, saya memiliki pertanyaan-pertanyaan berikut: Jika saya menulis crawler web bernama Goofy, agen pengguna apa yang harus saya gunakan? Apa bedanya jika saya meletakkan Mozilla/2.0atau...

Bagaimana saya harus menafsirkan Agen-pengguna kosong? Saya memiliki beberapa kode analisis khusus dan kode itu hanya menganalisis lalu lintas manusia. Saya sudah mendapatkan daftar kerja agen-pengguna yang menunjukkan lalu lintas manusia dan lalu lintas bot, tetapi agen-pengguna kosong terbukti...

Log saya penuh dengan pengunjung bot, seringkali dari Eropa Timur dan Cina. Bot diidentifikasi sebagai Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou dan sebagainya. Haruskah saya memblokir bot ini dari situs saya dan mengapa? Mana yang memiliki tujuan yang sah dalam meningkatkan lalu lintas ke...

Apakah agen pengguna di peramban biasa mana pun mengandung 'bot' atau 'merangkak'? Saya memeriksa agen pengguna di situs saya untuk melihat apakah itu berasal dari bot atau tidak. Jika ya, saya dapat melakukan sedikit optimasi karena tidak masuk. (Saya tidak mengubah konten sama sekali) Setelah...

Saya menjalankan crawler web kecil dan harus memutuskan agen pengguna apa yang akan digunakan untuk itu. Daftar agen perayap serta Wikipedia menyarankan format berikut: examplebot/1.2 (+http://www.example.com/bot.html) Namun beberapa bot menghilangkan tanda plus di depan URL. Dan saya ingin...

Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma...

Entri log akses Apache di situs saya biasanya seperti ini: 207.46.13.174 - - [31 / Okt / 2016: 10: 18: 55 +0100] "DAPATKAN / hubungi HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (kompatibel; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 sehingga Anda dapat...

Saya memiliki situs yang, karena alasan pengaturan, mungkin tidak diindeks atau dicari secara otomatis. Ini berarti bahwa kita harus menjauhkan semua robot dan mencegah mereka dari spidering situs. Jelas kami sudah memiliki file robots.txt yang melarangnya sejak awal. Namun, mengamati file...

Saya memiliki beberapa pengkodean khusus yang hanya berfungsi untuk browser HTML5 (hal-hal geolokasi sederhana). Saya ingin mengarahkan pengguna iPhone dan Android ke versi m.example.com situs web saya. Bagaimana cara terbaik untuk melakukan ini?

Apa yang Anda gunakan untuk mendeteksi ponsel pengunjung, hingga ke model jika memungkinkan? Saat ini kami mengelola database kami sendiri tetapi sangat tertinggal karena kurangnya tenaga untuk memeliharanya, jadi kami memutuskan untuk mencoba solusi pihak ketiga. Ini adalah kandidat saya, tetapi...

(Pertanyaan hadiah di bagian bawah) Saya mengalami masalah dengan klien yang mengakses situs kami, dan penyebab utamanya adalah bahwa WAF (Web Application Firewall) tidak menyukai string Agen-Pengguna mereka: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0;