Paradox Peta Situs

Kami menggunakan peta situs di Stack Overflow, tetapi saya memiliki perasaan campur aduk tentang hal itu.

Perayap web biasanya menemukan halaman dari tautan di dalam situs dan dari situs lain. Peta Situs melengkapi data ini untuk memungkinkan perayap yang mendukung Peta Situs untuk mengambil semua URL di Peta Situs dan mempelajari tentang URL-URL itu menggunakan metadata terkait. Menggunakan protokol Peta Situs tidak menjamin bahwa halaman web termasuk dalam mesin pencari, tetapi memberikan petunjuk bagi perayap web untuk melakukan pekerjaan yang lebih baik dalam merayapi situs Anda.

Berdasarkan pengalaman kami selama dua tahun dengan peta situs, ada sesuatu yang secara mendasar bertentangan tentang peta situs :

1. Peta Situs dimaksudkan untuk situs yang sulit dirayapi dengan baik.
2. Jika Google tidak berhasil merangkak situs Anda untuk menemukan tautan, tetapi dapat menemukannya di sitemap itu memberikan tautan sitemap tanpa bobot dan tidak akan mengindeksnya!

Itulah paradoks sitemap - jika situs Anda tidak dirayapi dengan benar (untuk alasan apa pun), menggunakan sitemap tidak akan membantu Anda!

Google berusaha keras untuk tidak membuat jaminan sitemap :

"Kita tidak bisa membuat prediksi atau jaminan tentang kapan atau apakah URL Anda akan dijelajahi atau ditambahkan ke indeks kami" kutipan

"Kami tidak menjamin bahwa kami akan merayapi atau mengindeks semua URL Anda. Misalnya, kami tidak akan merayapi atau mengindeks URL gambar yang terkandung dalam Peta Situs Anda." kutipan

"Mengirim Peta Situs tidak menjamin bahwa semua halaman situs Anda akan dirayapi atau dimasukkan dalam kutipan hasil pencarian kami"

Mengingat bahwa tautan yang ditemukan di peta situs hanyalah rekomendasi , sedangkan tautan yang ditemukan di situs web Anda sendiri dianggap kanonik ... sepertinya satu-satunya hal yang logis untuk dilakukan adalah menghindari memiliki peta situs dan memastikan bahwa Google dan mesin pencari lainnya dapat dengan benar spider situs Anda menggunakan halaman web standar lama yang biasa dilihat orang lain.

Pada saat Anda telah melakukan itu , dan menjadi jeli bagus dan teliti sehingga Google dapat melihat bahwa situs Anda memiliki tautan ke halaman-halaman ini, dan akan bersedia untuk merayapi tautan - eh, mengapa kita memerlukan peta situs lagi? Sitemap dapat berbahaya, karena mengalihkan perhatian Anda dari memastikan bahwa spider mesin pencari dapat merayapi seluruh situs Anda dengan sukses. "Oh, tidak masalah jika crawler bisa melihatnya, kami hanya akan menampar tautan itu di sitemap!" Realitas adalah kebalikan dari pengalaman kami.

Itu tampaknya lebih dari sedikit ironis mengingat peta situs ditujukan untuk situs yang memiliki koleksi tautan yang sangat dalam atau UI kompleks yang mungkin sulit untuk diraih. Dalam pengalaman kami, sitemap tidak membantu, karena jika Google tidak dapat menemukan tautan di situs Anda dengan benar, toh hal itu tidak akan mengindeksnya dari sitemap. Kami telah melihat ini terbukti berulang kali dengan pertanyaan Stack Overflow.

Apakah aku salah? Apakah peta situs masuk akal, dan kami entah bagaimana hanya menggunakannya secara salah?

Penafian: Saya bekerja sama dengan tim Peta Situs di Google, jadi saya agak bias :-).

Selain menggunakan Peta Situs secara luas untuk konten "non-web-indeks" (gambar, video, Berita, dll.) Kami menggunakan informasi dari URL yang disertakan dalam file Peta Situs untuk tujuan utama ini:

• Menemukan konten baru dan diperbarui (saya kira ini adalah yang jelas, dan ya, kami mengambil dan mengindeks URL yang tidak terhubung dari sana juga)
• Mengenali URL yang disukai untuk kanonikisasi (ada juga cara lain untuk menangani kanonikisasi )
• Memberikan jumlah URL yang diindeks berguna dalam Alat Webmaster Google (perkiraan dari situs: -kuisan tidak dapat digunakan sebagai metrik)
• Memberikan dasar untuk kesalahan perayapan yang berguna (jika URL yang disertakan dalam file Peta Situs memiliki kesalahan perayapan, itu biasanya masalah yang lebih besar & ditampilkan secara terpisah di Alat Webmaster)

Di sisi webmaster, saya juga menemukan file peta situs sangat berguna:

• Jika Anda menggunakan perayap untuk membuat file peta situs, maka Anda dapat dengan mudah memeriksa apakah situs Anda dapat dijelajahi dan melihat sendiri jenis URL apa yang ditemukan. Apakah perayap menemukan URL pilihan Anda, atau apakah ada yang salah dikonfigurasi? Apakah perayap macet di ruang tak terbatas (mis. Skrip kalender tanpa akhir) di suatu tempat? Apakah server Anda dapat menangani beban?
• Berapa banyak halaman yang benar-benar dimiliki situs Anda? Jika file peta situs Anda "bersih" (tidak ada duplikat, dll), maka itu mudah untuk diperiksa.
• Apakah situs Anda benar-benar dapat dijelajahi dengan bersih tanpa mengalami duplikat konten? Bandingkan log server yang ditinggalkan oleh Googlebot dengan file peta situs Anda - jika Googlebot merayapi URL yang tidak ada dalam file peta situs Anda, Anda mungkin ingin memeriksa ulang tautan internal Anda.
• Apakah server Anda mengalami masalah dengan URL pilihan Anda? Memeriksa silang log kesalahan server Anda dengan URL Peta Situs bisa sangat berguna.
• Berapa banyak halaman Anda yang benar-benar diindeks? Seperti disebutkan di atas, jumlah ini terlihat di Alat Webmaster.

Memang, untuk situs yang sangat kecil, statis, mudah dirayapi, menggunakan Peta Situs mungkin tidak diperlukan dari sudut pandang Google setelah situs dirayapi dan diindeks. Untuk hal lain, saya sangat merekomendasikan menggunakannya.

FWIW Ada beberapa kesalahpahaman yang ingin saya bahas juga:

• File peta situs tidak dimaksudkan untuk "memperbaiki" masalah crawlability. Jika situs Anda tidak dapat dijelajahi, perbaiki dulu .
• Kami tidak menggunakan file peta situs untuk menentukan peringkat.
• Menggunakan file Peta Situs tidak akan mengurangi perayapan normal situs Anda. Ini informasi tambahan, bukan pengganti perayapan. Demikian pula, tidak memiliki URL dalam file peta situs tidak berarti URL tidak akan diindeks.
• Jangan meributkan meta-data. Jika Anda tidak dapat memberikan nilai yang berguna (mis. Untuk prioritas), tinggalkan mereka & jangan khawatir tentang itu.

Jika Anda tahu Anda memiliki arsitektur situs yang bagus dan Google akan menemukan halaman Anda secara alami, satu-satunya keuntungan yang saya tahu adalah pengindeksan yang lebih cepat, jika situs Anda diindeks cukup cepat untuk Anda maka tidak perlu.

Inilah artikel dari 2009 di mana seorang pria menguji seberapa cepat Google menjelajah situsnya dengan sitemap dan tanpa. http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

Aturan praktis saya adalah jika Anda meluncurkan sesuatu yang baru dan belum diuji, Anda ingin melihat bagaimana Google merayapi situs Anda untuk memastikan tidak ada yang perlu diperbaiki jadi jangan kirim, jika Anda membuat perubahan dan ingin Google untuk melihatnya lebih cepat kemudian kirimkan atau jika Anda memiliki informasi sensitif waktu lain seperti berita, lalu kirim karena Anda ingin melakukan apa pun yang Anda bisa untuk memastikan Anda yang pertama kali melihat Google, jika tidak, itu masalah preferensi.

Saya curiga: untuk Google, peta situs diperlukan untuk melacak pembaruan secepat mungkin. Misalnya, katakanlah Anda telah menambahkan konten baru ke beberapa lokasi yang dalam di situs web Anda, yang membutuhkan lebih dari 10-20 klik untuk mencapai dari halaman beranda Anda. Bagi Google untuk mencapai halaman baru ini akan lebih kecil kemungkinannya dalam waktu singkat - jadi alih-alih, sampai jalur ke halaman ini benar-benar ditentukan, keberadaannya diumumkan. Lagi pula, PageRank tidak dihitung dengan segera, membutuhkan waktu untuk mengevaluasi perilaku pengguna dan semacamnya - jadi, sampai saat itu, mengapa mesin tidak boleh merayapi dan mengindeks halaman dengan konten segar?

Peta Situs sangat berharga jika Anda menggunakannya dengan benar.

Pertama, fakta bahwa Google mengatakan itu hanya ada di sana untuk a) memastikan bahwa webmaster tidak berada di bawah kesan yang salah bahwa sitemap = indexation dan b) memberikan Google kemampuan untuk mengabaikan peta situs tertentu jika mereka menganggapnya tidak dapat diandalkan ( alias lastmod adalah tanggal saat ini untuk semua URL setiap hari diakses.)

Namun, Google umumnya suka dan mengonsumsi peta situs (pada kenyataannya mereka kadang-kadang akan menemukan sendiri dan menambahkannya ke Alat Webmaster Google). Mengapa? Ini meningkatkan efisiensi yang dapat mereka jelajahi.

Alih-alih memulai di situs unggulan dan merayapi web, mereka dapat mengalokasikan jumlah yang sesuai dari anggaran perayapan mereka ke situs berdasarkan sitemap yang dikirimkan. Mereka juga dapat membangun sejarah besar situs Anda dengan data kesalahan yang terkait (500, 404 dll.)

Dari Google:

"Googlebot merayapi web dengan mengikuti tautan dari satu halaman ke halaman lain, jadi jika situs Anda tidak terhubung dengan baik, mungkin sulit bagi kami untuk menemukannya."

Yang tidak mereka katakan adalah merayapi web memakan waktu dan mereka lebih suka memiliki lembar contekan (alias sitemap).

Tentu, situs Anda mungkin baik-baik saja dari perspektif perayapan, tetapi jika Anda ingin memperkenalkan konten baru, memasukkan konten itu ke dalam sitemap dengan prioritas tinggi adalah cara yang lebih cepat untuk dijelajahi dan diindeks.

Dan ini juga berfungsi untuk Google, karena mereka ingin menemukan, merangkak, dan mengindeks konten baru - cepat. Sekarang, bahkan jika Anda tidak berpikir Google lebih suka jalan yang dipukuli dibandingkan parang pada pendekatan hutan, ada alasan lain mengapa peta situs berharga - pelacakan.

Secara khusus, menggunakan indeks sitemap (http://sitemaps.org/protocol.php#index) Anda dapat memecah situs Anda menjadi beberapa bagian - sitemap oleh sitemap. Dengan demikian, Anda dapat melihat tingkat indeksasi bagian situs Anda demi bagian.

Satu bagian atau tipe konten mungkin memiliki tingkat indeksasi 87% sementara yang lain bisa memiliki tingkat indeksasi 46%. Maka tugas Anda untuk mencari tahu mengapa.

Untuk memanfaatkan sepenuhnya dari sitemaps Anda akan ingin melacak Googlebot (dan Bingbot) merangkak di situs Anda (melalui weblog), cocokkan dengan sitemaps Anda dan kemudian ikuti semua lalu lintas.

Jangan tidur di sitemaps - berinvestasi di dalamnya.

Dalam kata-kata Google: "Dalam kebanyakan kasus, webmaster akan mendapat manfaat dari pengajuan Peta Situs, dan dalam hal apa pun Anda tidak akan dihukum karenanya."

Tapi saya setuju bahwa hal terbaik yang dapat Anda lakukan jika Anda ingin halaman situs web Anda muncul di mesin pencari adalah untuk memastikan mereka dapat dijelajahi dari situs yang tepat.

Saya percaya bahwa mesin pencari menggunakan sitemap bukan untuk menemukan halaman, tetapi untuk mengoptimalkan seberapa sering mereka memeriksa pembaruan. Mereka melihat <changefreq>dan <lastmod>. Google mungkin sangat sering menjilat seluruh situs web (periksa log Anda!), Tetapi tidak semua mesin pencari memiliki sumber daya untuk melakukan itu (Adakah yang pernah mencoba Blekko ?). Bagaimanapun karena tidak ada penalti untuk menggunakannya dan mereka dapat dibuat secara otomatis dan mudah saya akan terus melakukannya.

jika Anda peduli dengan topik ini, silakan baca makalah google yang luar biasa ini http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (april 2009) - baca makalah lengkapnya, tidak hanya blogpost .

dari kertas

• ok, pada dasarnya google kesulitan dengan pertanyaan yang sama.
• mereka tidak mengungkapkan bagaimana mereka menentukan nilai dalam sitemap, tetapi mereka menyebutkan konsep tautan virtual dari halaman awal ke sitemap.
• banyak hal menarik lainnya

tapi ya, sitemap sebagian besar digunakan untuk penemuan (proses google menemukan barang-barang Anda), bukan untuk penentuan nilai. jika Anda kesulitan menemukan, gunakan peta situs. Penemuan adalah prasyarat untuk merangkak, tetapi tidak menyentuh penentuan nilai.

dari pengalaman saya

• ada sh * tload situs yang hanya menggunakan peta situs HTML dan XML untuk menghubungkan halaman mereka
• dan dari semua ini, sitemap XML jauh lebih baik dirayapi daripada sitemap HTML. (Saya melihat beberapa yang sangat besar)
• bahkan ada situs yang sangat sukses yang hanya menggunakan sitemap XML.

ketika saya menerapkan strategi SEO untuk situs dengan lebih dari setengah juta halaman yang saya gunakan

• halaman pendaratan
• sitemap.xml
• halaman awal

yang lainnya hanya "balast" - ya, hal-hal lain mungkin memiliki nilai SEO positif, tetapi jelas memiliki nilai negatif: itu membuat situs lebih sulit untuk dikelola. (ps: untuk penentuan nilai saya menautkan halaman arahan dengan cara yang sensemaking (dampak besar), tapi itu sudah langkah kedua).

tentang pertanyaan Anda: jangan bingung penemuan, perayapan, pengindeksan, dan peringkat. Anda dapat melacak semuanya secara terpisah, dan Anda dapat mengoptimalkan semuanya secara terpisah. dan Anda dapat meningkatkan penemuan dan perayapan yang disempurnakan dengan cara utama dengan peta situs (yaitu: waktu nyata) yang hebat.

Peta Situs dapat menyimpan pantat Anda.

Di salah satu situs saya, saya memiliki sejumlah besar tautan yang mencegah mesin pencari dari spidering. Singkatnya, Google salah menafsirkan JS di forum saya dan memicu banyak kode respons 500 dan 403, yang saya yakini memengaruhi posisi situs. Saya mengatasinya dengan mengecualikan URL yang bermasalah melalui robots.txt.

Suatu hari, saya mengacau dan melakukan sesuatu yang mencegah Google merayapi beberapa halaman di situs yang benar-benar ingin saya indeks. Karena pengecualian forum, bagian kesalahan Alat Webmaster untuk "Dibatasi oleh robots.txt" memiliki lebih dari 4000 halaman di dalamnya, jadi saya tidak akan mengambil kesalahan ini sampai semuanya terlambat.

Untungnya, karena semua halaman "penting" di situs saya ada di peta situs, saya dapat dengan cepat mendeteksi masalah ini dalam kategori kesalahan khusus yang dimiliki Alat Webmaster untuk masalah dengan halaman di peta situs.

Selain itu, saya juga mendapatkan banyak manfaat dari menggunakan Indeks Peta Situs untuk menentukan kualitas pengindeksan berbagai bagian situs saya, seperti yang disebutkan oleh @AJ Kohn.

Saya sendiri tidak mengalami hal ini, tetapi sebagian besar proyek saya adalah aplikasi atau situs yang sebaliknya memerlukan akun pengguna sehingga pengindeksan oleh mesin pencari bukan fokus.

Yang mengatakan, saya pernah mendengar bahwa SEO pada dasarnya membuat peta situs tidak berguna. Jika Anda melihat protokolnya, itu semacam "sistem kehormatan" untuk mengetahui seberapa sering suatu halaman berubah dan apa prioritas relatif dari setiap halaman. Masuk akal bahwa sepeser pun selusin perusahaan SEO menyalahgunakan bidang - setiap halaman adalah prioritas utama! setiap halaman berubah setiap jam! - dan membuat peta situs menjadi tidak berguna.

Artikel dari 2008 ini pada dasarnya mengatakan bahwa dan tampaknya sampai pada kesimpulan yang sama dengan yang Anda lakukan: sitemap cukup berguna dan Anda akan lebih baik mengoptimalkan konten yang akan diindeks dan membuang sitemap.

Biarkan merangkak.

Saya melakukan hal berikut:

1. buat situs dapat dirayapi dengan cara lama.
2. pastikan saya memiliki robots.txt dengan indikasi sitemap di atasnya.
3. membuat peta situs XML, tetapi jangan kirim. Biarkan perayap menemukan dan menggunakannya sesuai kebutuhan, sebagai bagian dari proses pencarian dan pengindeksan.

Saya menghasilkan file XML yang diperluas, yang berfungsi sebagai basis untuk banyak hal:

• Membuat peta situs HTML
• Bantu halaman 404 (tidak ditemukan)
• Membantu dengan tugas-tugas kecil lainnya, seperti membuat remah roti, atau mendapatkan beberapa metadata pada pola Facade saya untuk satu halaman.

Oleh karena itu saya memiliki semua ini, mengapa tidak melayani juga sitemap xml dan membiarkan crawler melakukan apa yang ingin dilakukan, jika ingin melakukannya?

Jeff, saya tidak tahu tentang Stackoverflow karena saya tidak pernah memiliki kesempatan dalam hidup saya untuk menjadi seorang webmaster dari situs web yang begitu besar dan sering diperbarui.

Untuk situs web kecil yang tidak sering berubah saya pikir sitemap cukup berguna (tidak mengatakan bahwa sitemap adalah hal yang paling penting, tetapi cukup berguna ya) karena dua alasan:

1. Situs ini dirayapi dengan cepat (alasan yang sama dijelaskan oleh Joshak jawaban di atas ) dan dalam pengalaman kecil saya, saya perhatikan ini berkali-kali dengan situs kecil (hingga 30/50 halaman)

2. Setelah beberapa minggu saya mengirimkan sitemap, saya mencari di "Google Webmaster Tools - Sitemaps" dan saya bisa melihat jumlah URL yang dikirimkan di sitemap VS jumlah URL di indeks web . Jika saya melihat mereka sama, maka bagus. Kalau tidak, saya bisa segera memeriksa di situs web saya halaman mana yang tidak diindeks dan mengapa.

Ini (pertama?) Ditulis oleh Randfish di SEOmoz pada tahun 2007 yang lalu. Pertama kali dia sampai pada jenis kesimpulan yang sama, tetapi kemudian waktu berhasil ... dan berlalu.

Dia sejak (Jan 2009) menambahkan postscript ke artikel yang menyatakan bahwa segala kemungkinan kerugian hanya kalah dari hasil positif keseluruhan menghasilkan, memverifikasi, dan mengirimkan peta situs.

Perbarui 5 Januari 2009 - Saya benar-benar telah berubah pikiran tentang saran ini. Ya, peta situs masih dapat mengaburkan masalah arsitektur, tetapi mengingat pengalaman yang saya miliki selama 1,5 tahun terakhir, saya sekarang merekomendasikan kepada semua klien kami (dan hampir semua orang yang meminta) agar peta situs dikirimkan. Positif dalam hal perayapan, indeksasi, dan lalu lintas hanya lebih penting daripada kerugiannya.

Saya percaya SiteMaps hanya melayani dua tujuan hari ini:

• Mereka memungkinkan Anda untuk mengurangi frekuensi spidering untuk mengurangi beban server. Ini seharusnya tidak benar-benar menjadi masalah bagi sebagian besar situs.
• Mereka dapat membantu menegakkan kembali apa yang sudah diketahui mesin pencari tentang Anda. Daftar nama halaman, dan jelas menambahkan bobot yang sesuai untuk setiap halaman, membantu mesin pencari untuk memvalidasi metrik sendiri untuk menentukan peringkat arsitektur situs Anda.

JANGAN GUNAKAN SITEMAPS

Peta Situs terutama untuk situs-situs yang tidak mencatat waktu indeks dan node .... SE melakukan keduanya untuk konten inti, sehingga memiliki peta situs akan memperlambat perayap ... Ya, itu benar, itu akan memperlambatnya, karena sitemap tidak memiliki metadata yang dimiliki indeks inti. Di flipside, saya tidak tahu bagaimana google membuat bot itu, hanya tahu jika saya akan bot SE, saya TIDAK akan menggunakan sitemap. Plus, beberapa situs bahkan tidak menyadari bahwa sitemap mereka semua%! @ $ - dan jika Anda membuat profil di sitemap itu tiba-tiba tidak berfungsi, dan Anda harus membuat profil baru di luar situs asli.

Jadi, Anda benar - JANGAN GUNAKAN SITEMAPS!

TIP: Satu hal yang harus Anda lakukan adalah menjaga semantik tag sama dari waktu ke waktu sebanyak mungkin, artinya jika "Asked One Hour Ago" memiliki metadata yang tertanam di dalamnya seperti:

title="2010-11-02 00:07:15Z" class="relativetime"

jangan pernah mengubah nama string relativetime, kecuali arti data dalam titletelah berubah. TIDAK PERNAH... :-)

Baru-baru ini saya merestrukturisasi situs yang sedang saya kerjakan. Karena tidak ada cara yang baik untuk melihat tautan 500.000 halaman untuk membantu pengguna, saya memutuskan untuk menggunakan peta situs XML dan mengirimkannya ke Google dan menggunakan pencarian situs. Google tidak memiliki masalah dalam mengindeks situs saya sebelumnya, namun, sejak menambahkan sitemap, Google sangat agresif dalam menelusuri situs saya dan mengindeks halaman-halaman dengan sangat cepat. Google telah menggunakan sitemap untuk menemukan halaman baru (sekitar 3300 per minggu) dan mengunjungi kembali halaman yang diperbarui. Ini merupakan kemenangan nyata dalam buku saya. Saya masih ingin mencari cara baru untuk menautkan halaman saya dan menggunakan AJAX untuk mencari, tetapi itu adalah proyek untuk hari lain. Sejauh ini bagus! Ini merupakan solusi yang bagus untuk saya. Semua dan semua, saya telah memperoleh dan tidak kehilangan. Yang menarik karena saya selalu merasa bahwa peta situs sebenarnya bisa lebih bermanfaat tetapi dibatasi oleh desainnya.

Saya mendengar bahwa peta situs menempatkan halaman Anda ke dalam indeks tambahan lebih cepat. Tetapi saya bahkan belum pernah mendengar indeks tambahan yang disebutkan dalam usia, sehingga mereka mungkin tidak menggunakannya lagi.

PS dalam kasus pernyataan saya tidak cukup jelas, berada di indeks tambahan adalah (atau itu) hal yang BURUK ... oleh karena itu sitemap (atau) BAD.

Kami menggunakan peta situs (tidak dikirimkan ke mesin pencari, tetapi tertaut robots.txt) terutama untuk memastikan beranda memiliki yang tertinggi <priority>. Saya tidak yakin apakah mereka memiliki banyak kegunaan lain.

Saya tidak setuju bahwa google tidak akan mengindeks tautan sitemapped-only. Saya memiliki banyak situs yang memiliki halaman yang hanya dapat dijangkau melalui peta situs, dan google mengindeksnya tanpa masalah. Saya bisa memberikan banyak contoh tentang ini.

Situs yang dibangun dengan baik tidak memerlukan peta situs walaupun dapat membantu dengan cakupan dan peringkat kami dan menambahkan sedikit nilai tambahan seperti prioritas, frekuensi pembaruan, dll. Anda dapat memberi tahu mesin pencari, hei ... Saya telah memperbarui halaman ini suatu tempat di tengah situs saya tanpa perlu merangkak penuh. Saya tidak pernah melihat pola merangkak tetapi orang akan berharap itu membantu.

Setelah mengatakan bahwa nilai tambah nyata bagi saya adalah alat webmaster dan wawasan yang memberi Anda visibilitas situs web Anda dan pengguna Anda.