Program komputer yang mengakses halaman web untuk berbagai keperluan (untuk mengikis konten, untuk menyediakan mesin pencari dengan informasi tentang situs Anda, dll.)
Log untuk situs web yang saya kelola menunjukkan permintaan untuk file yang tidak ada oleh Bingbot. Rincian permintaannya adalah Path: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (kompatibel; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Alamat IP: 65.55.213.244 (membalikkan...
Di server web, saya sekarang harus mengalah, saya perhatikan bahwa robots.txt kosong. Saya bertanya-tanya apakah ada perbedaan antara robots.txt kosong dan tidak ada file sama sekali. Apakah crawler berperilaku berbeda dalam dua kasus ini? Jadi, apakah aman untuk menghapus robots.txt...
Sebagai seorang webmaster yang bertanggung jawab atas situs kecil yang memiliki forum, saya secara teratur menerima keluhan dari pengguna bahwa mesin pencari internal dan pencarian eksternal (seperti ketika menggunakan Google) benar-benar tercemar oleh tanda tangan pengguna saya (mereka menggunakan...
Kami memiliki beberapa masalah serius dengan laba-laba Yahoo (luar biasa) yang ditulis dengan buruk di masa lalu , dan akibatnya kami memblokirnya. Marco Arment dari Tumblr juga berbagi rasa frustrasinya dengan kami pada 8/31/2009, yang merupakan faktor dalam diri kami untuk memblokirnya....
Pertanyaan ini dimigrasikan dari Stack Overflow karena dapat dijawab di Webmasters Stack Exchange. Bermigrasi 9 tahun yang lalu . Apakah laba-laba Google tahu cara membuat JavaScript, atau hanya
Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Webmaster Stack Exchange. Ditutup 6 tahun yang lalu . Saya memiliki situs warisan yang cukup besar...
Frekuensi perayapan laba-laba Baidu telah banyak dibuat. Itu benar: "Baiduspider merangkak seperti orang gila." Saya mengalami fenomena ini di situs tempat saya bekerja. Setidaknya dalam satu contoh, saya telah menemukan bahwa Baiduspider merangkak pada frekuensi yang sama dengan Googlebot,...
Ada Ask bot, yang mengatur tajuk ini: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Mempertimbangkan hal ini, saya memiliki pertanyaan-pertanyaan berikut: Jika saya menulis crawler web bernama Goofy, agen pengguna apa yang harus saya gunakan? Apa bedanya jika saya meletakkan Mozilla/2.0atau...
Saya memiliki sub-direktori yang ingin saya sembunyikan dari crawler web mesin pencari. Salah satu cara untuk melakukan ini adalah dengan menggunakan robots.txtdi direktori root server (cara standar). Namun, siapa pun yang mengetahui URL situs web dan memiliki pengetahuan web dasar dapat mengakses...
Setiap kali saya membuat Situs Web Responsif saya biasanya membuat 2 menu: 1 disembunyikan dan digunakan untuk seluler dan yang lainnya ditampilkan sebagai menu utama, lalu disembunyikan untuk menampilkan menu seluler. Setiap kali datang ke SEO dan laba-laba menavigasi situs web apakah saya...
Sebagian besar kunjungan saya berasal dari laba-laba baidu. Saya tidak berpikir itu membantu mesin pencari sama sekali jadi saya berpikir bagaimana cara memblokirnya. Mungkinkah ini dilakukan melalui iptables? Saya menggunakan nginx sebagai server web
Saya ingat sebuah situs ditutup karena penyalahgunaan dan saya ingin tahu apakah bot memiliki bagian darinya. Jika bot mem-POSTkan sesuatu ke situs saya apa sajakah cara saya dapat memeranginya? Saya sedang berpikir untuk mengatur beberapa cookie dan meminta cookie diubah melalui JavaScript +...
Baru-baru ini saya mendaftarkan domain baru, mengarahkannya ke server saya yang ada, dan mengatur halaman minimal hanya mengatakan "tes" dan tidak ada yang lain. Saya baru tahu malam ini bahwa halaman tersebut sudah diindeks di Google! Tidak ada tautan ke situs (saya bahkan belum memberi tahu...
Saya memiliki situs multilanguage dan multidomain. Itu berjalan melalui instalasi CMS unik (Drupal), jadi saya punya direktori root tunggal. Jadi jika saya memiliki robots.txt statis, di sana saya hanya dapat menampilkan file untuk satu domain, sejauh yang saya tahu. Bisakah saya meletakkan baris...
Ketika saya memeriksa log apache saya, saya dapat melihat bahwa baidu telah merayapi situs web saya 10 kali sehari selama 2 minggu terakhir. Bukannya aku terlalu peduli tapi aku sangat penasaran mengapa dia melakukan ini. Ini adalah situs web satu halaman yang sangat kecil dengan tidak banyak...
Log saya penuh dengan pengunjung bot, seringkali dari Eropa Timur dan Cina. Bot diidentifikasi sebagai Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou dan sebagainya. Haruskah saya memblokir bot ini dari situs saya dan mengapa? Mana yang memiliki tujuan yang sah dalam meningkatkan lalu lintas ke...
Saya melihat bahwa Google memiliki proposal / standar yang bagus untuk membuat aplikasi Ajax dapat dijelajahi, melalui #! (hash bang). http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Pertanyaan saya adalah: Apakah mereka saat ini menggunakan "proposal"...
Situs web saya menghitung tampilan pengunjung pada halaman tertentu. Saya perhatikan bahwa Google dan Bot lainnya "mengklik" ke situs saya seperti orang gila dan beberapa halaman mendapatkan jumlah tampilan yang tidak realistis (dibandingkan dengan yang diproduksi oleh manusia). Saya meminta...
Saya memiliki situs yang mendapatkan sekitar 7.000 - 10.000 tampilan halaman per hari sekarang. Mulai sekitar jam 1 pagi pada 7/1/12 saya perhatikan RKPT naik secara dramatis. Klik ini akan dikreditkan kemudian dihapuskan segera setelahnya. Jadi, itu jelas klik penipuan. Hari berikutnya saya...
Setelah menulis sejumlah bot, dan melihat sejumlah besar bot acak yang merayapi sebuah situs, saya bertanya-tanya sebagai seorang webmaster, bot apa yang benar-benar layak dibiarkan masuk ke sebuah situs? Pikiran pertama saya adalah membiarkan bot ke situs berpotensi membawa lalu lintas nyata ke...