Googlebot adalah perangkat lunak bot yang digunakan Google untuk merayapi lebih dari 20 miliar halaman setiap hari, data yang diperoleh selama perayapan kemudian dianalisis dan diberi peringkat di Google Penelusuran.
Saya melacak geolokasi setiap anggota (menggunakan db-ip) dan semuanya baik-baik saja kecuali ponsel dengan browser Chrome. Mereka selalu memberi saya hasilnya US Mountain View California ip:66.249.xxx.xxx. Ini Google; Saya 100% yakin tentang hal itu. Tetapi orang yang mengunjungi situs web adalah...
Bagaimana cara mencegah file sitemap XML saya muncul di hasil pencarian Google seperti ini hasil dari site:permintaan pencarian: Saya tidak mengerti mengapa Google akan memilih untuk menampilkan file sitemap di hasil pencarian untuk memulai. File-file ini tidak dimaksudkan untuk konsumsi...
Frekuensi perayapan laba-laba Baidu telah banyak dibuat. Itu benar: "Baiduspider merangkak seperti orang gila." Saya mengalami fenomena ini di situs tempat saya bekerja. Setidaknya dalam satu contoh, saya telah menemukan bahwa Baiduspider merangkak pada frekuensi yang sama dengan Googlebot,...
Saya menambahkan file robots.txt ke salah satu situs saya seminggu yang lalu, yang seharusnya mencegah Googlebot dari mencoba mengambil URL tertentu. Namun, akhir pekan ini saya dapat melihat Googlebot memuat URL yang tepat itu. Apakah Google cache robots.txt dan, jika ya, haruskah...
Setiap kali saya membuat Situs Web Responsif saya biasanya membuat 2 menu: 1 disembunyikan dan digunakan untuk seluler dan yang lainnya ditampilkan sebagai menu utama, lalu disembunyikan untuk menampilkan menu seluler. Setiap kali datang ke SEO dan laba-laba menavigasi situs web apakah saya...
Ini adalah salah satu pelanggan saya, melakukan beberapa tindakan setelah masuk ke akunnya. Token unik hanyalah id pengguna + cap waktu terenkripsi. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +200] "DAPATKAN / beberapa aksi / unik-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0...
Saya telah melihat kode seperti untuk mencegah Google mengindeks bagian halaman: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Apakah ini...
Saat ini saya mengarahkan semua koneksi non-HTTPS ke HTTPS, dan mendukung TLS v1, TLS v1.1, dan TLS v1.2. Saya mengkonfigurasi ulang server pengujian saya untuk hanya menerima cipher suite yang sangat terbatas dan aman dan hanya TLSv1.2. Setelah menjalankan uji SSL Labs, saya perhatikan bahwa...
Konteks: Kami memiliki situs web yang tersedia dalam berbagai versi bahasa. Namun, isinya sama. Setiap versi situs yang diterjemahkan tersedia di subdomain yang berbeda. Pada beberapa halaman, kami menggunakan <link rel="canonical" />untuk menunjuk ke versi kanonik dalam bahasa yang sama...
Saya perhatikan bahwa Alat Webmaster Google melaporkan banyak sumber daya yang diblokir di situs web saya. Saat ini semua "sumber daya yang diblokir" adalah .css, .js, dan gambar (.jpg, .png) yang saya layani dari Cloudfront CDN. Saya telah menghabiskan banyak waktu pengujian dan mencoba mencari...
Setelah menulis sejumlah bot, dan melihat sejumlah besar bot acak yang merayapi sebuah situs, saya bertanya-tanya sebagai seorang webmaster, bot apa yang benar-benar layak dibiarkan masuk ke sebuah situs? Pikiran pertama saya adalah membiarkan bot ke situs berpotensi membawa lalu lintas nyata ke...
Saya punya beberapa file pribadi dalam direktori di folder sekolah saya. Anda dapat melihat bahwa file ada dengan membuka myschool.edu/myusername/myfolder, tetapi mencoba mengakses file itu sendiri melalui myschool.edu/myusername/myfolder/myfile.html mengembalikan kesalahan 403. Namun Google entah...
Saya menemukan artikel ini dalam berita SEO saya hari ini. Tampaknya menyiratkan bahwa Anda dapat menggunakan Noindex:arahan selain Disallow:arahan standar di robots.txt . Disallow: /page-one.html Noindex: /page-two.html Sepertinya itu akan mencegah mesin pencari dari merayapi halaman satu, dan...
Jika saya memiliki konten di balik formulir POST (kotak pilih, dalam kasus saya) apakah Googlebot, atau Spider Mesin Pencari lainnya dapat merayapi konten di balik formulir itu? Misalnya, jika saya memiliki 4 terjemahan dari satu halaman, dan pemilihan bahasa adalah bentuk POST ke URL yang sama,...
Ketika SPDY tersedia untuk sebuah situs, apakah Googlebot menggunakannya? Jika demikian, situs yang mengaktifkan SPDY akan muncul lebih cepat ke
Jika saya menanamkan gambar ke halaman sebagai img- srcdengan data base64 URI, apakah metadata gambar (EXIF, IPTC, XMP) masih tersedia untuk imagebot
Jadi sekarang Google telah menghentikan skema perayapan AJAX . Mereka mengatakan tidak perlu repot mengimplementasikannya di situs web baru, karena itu tidak lagi diperlukan karena Googlebot sekarang tidak memiliki masalah menonton konten dinamis. Haruskah kita segera mempercayai pernyataan ini,...
Saya melakukan migrasi dari http: // ke https: // untuk situs besar dengan lebih dari 2 juta URL diindeks di Google. Seperti yang disebutkan orang lain, saya juga mengalami sedikit fluktuasi pada lalu lintas organik (-10% seperti yang diukur oleh Google Analytics). Hal-hal yang saya lakukan...
Saya telah menemukan beberapa situs web hari ini yang mengklaim dapat meningkatkan indeks situs web Anda dalam hitungan hari. Ada ribuan ulasan dan semuanya tampak cukup positif memamerkan hasil dan barang-barang. Saya mengerti bahwa ini mungkin bot mesin pencari dan tautan tidak berguna yang...
Saya menerbitkan jadwal di situs web saya. Sebagai contoh tahun lalu saya menerbitkan Number 2 bus Summer 2013 timetable. Saya memiliki peringkat yang cukup bagus untuk Google SERPsnumber 2 bus timetable Tapi tahun ini saya menambahkan halaman baru dengan nama "Nomor 2 bus Musim Panas 2014...