Saat Anda memindahkan situs melalui pengalihan 301, haruskah Anda menyiapkan robots.txt yang melarang robot untuk merayapi alamat lama?

8

Situs yang saya kerjakan memindahkan subdomain ke subdomain lain melalui pengalihan 301. Namun ketika memeriksa robots.txt dari subdomain lama, ia memiliki robots.txt yang melarang perayap web mesin pencari untuk merayapnya.

Apakah ini langkah yang tepat? Saya percaya tidak karena perayap tidak akan dapat menjelajahi situs lama untuk melihat kode status 301.

seo redirects robots.txt mat boy
sumber
3
Apakah larangan sudah ada sebelum pindah? Beberapa situs web tidak ingin berada di mesin pencari. Tidak jelas ke arah mana situasi itu terjadi.
user64742

Jawaban:

11

Kecurigaan Anda benar, dengan alasan yang tepat seperti yang Anda sebutkan. Jika Anda melarang robot mengakses situs lama, mereka tidak akan dapat melihat pengalihan 301.

Theo van der Zee
sumber
Apakah itu juga berarti bahwa jus tautan yang menunjuk ke domain lama tidak akan ditransfer ke domain baru karena robots.txt tidak membiarkan Gbot merayapi?
mat boy
1
Ya, itulah yang akan terjadi jika robots.txt memblokir akses ke bot.
Theo van der Zee
5

Saya percaya tidak karena perayap tidak akan dapat menjelajahi situs lama untuk melihat kode status 301.

Ya, persis - ini bukan "langkah yang tepat". Jika Anda menerapkan pengalihan 301, mungkin untuk mempertahankan SEO, maka memblokir URL yang sedang diarahkan akan mencegah mesin pencari melihat pengalihan dan mengindeks konten baru.

DocRoot
sumber
Apakah itu juga berarti bahwa jus tautan yang menunjuk ke domain lama tidak akan ditransfer ke domain baru karena robots.txt tidak membiarkan Gbot merayapi?
mat boy
ya ampun, "jus tautan" jarang diperbarui jika pernah. Kemungkinan tidak akan pernah diperbarui ke domain baru dengan atau tanpa file robots.txt, tetapi menjaga 301 tetap di tempatnya tanpa batas waktu, memastikan bahwa tautan akan berakhir di tempat yang tepat.
Octopus
1
@Octopus Anda sepertinya menggambarkan "PageRank", bukan "jus tautan"? "jus tautan" hanyalah istilah umum / slang yang menjelaskan manfaat SEO dari menautkan dari satu halaman ke halaman lainnya.
DocRoot
1
@matboy Ya, benar, "jus tautan" tidak akan ditransfer ke URL baru. Karena bot diblokir agar tidak melihat pengalihan, bot (mesin pencari) tidak tahu bahwa halaman telah pindah ke lokasi yang berbeda. URL lama akan jatuh di SERP dan akhirnya menghilang, sementara URL baru perlu membuat SEO mereka dari awal.
DocRoot
0

Saya akan tetap menggunakan robots.txt, tetapi pastikan bahwa halaman lama dan baru memiliki versi tag Canonical yang sesuai. Ini akan membantu mesin pencari memahami apa yang telah terjadi.

Jason
sumber
2
Bagaimana crawler dapat membaca tag kanonik di halaman web jika Anda mengatakan kepada mereka untuk tidak merangkak halaman web?
mat boy