Saya menyelesaikan situs web saya dan meluncurkannya, saya pikir saya punya masalah dengan saya robots.txt
- jadi saya mengubahnya agar terlihat seperti ini:
03/08/2012
# Allows all bots
Sitemap: http://www.mysite.co.za/sitemap.xml
User-agent: *
Disallow: /dashboard/
Ketika saya google my domain.co.za
- saya mendapatkannya kembali: Home
A description for this result is not available because of this site's robots.txt – learn more.
You've visited this page 3 times. Last visit: 2012/08/15
Sekarang karena saya memperbaikinya dan menambahkan 301 redirect ke redirect mysite.co.za
ke www.mysite.co.za
Saya akan senang jika google bot datang berkunjung.
Apakah ada yang bisa saya lakukan untuk memperbaikinya?
Jawaban:
Dave benar dalam hal uang (virtual +1 karena skor saya masih terlalu rendah)
Silakan Lakukan yang Berikut
Ini akan mempercepat, tetapi jangan mengharapkan hasil instan.
sumber
Anda sekarang dapat menggunakan alat 'Ambil sebagai Googlebot' di Alat Webmaster Google sebagai cara untuk membujuk Google untuk merayapi kembali (atau merayapi untuk pertama kalinya) sebuah halaman - http://googlewebmastercentral.blogspot.co.uk/2011/ 08 / kirim-url-ke-google-dengan-fetch-as.html
sumber
Anda harus berkomentar (awalan dengan
#
) baris pertama juga.Google harus mengambil kembali file robots.txt Anda dengan cukup cepat (dalam beberapa hari, tergantung pada header cache situs Anda), tetapi itu bisa memakan waktu lebih lama untuk situs Anda diindeks ulang. Sayangnya, Anda mungkin harus bersabar.
sumber
Saya ingin menambahkan bahwa tidak perlu menambahkan file robots.txt di situs web Anda untuk merangkak. Saya menemukan banyak orang memiliki kesalahpahaman tentang file robots.txt. Bot mesin pencari akan merayapi situs web Anda meskipun mereka tidak memiliki file robots.txt.
Namun, jika Anda tidak ingin menampilkan beberapa konten ke mesin pencari, robots.txt diperlukan.
Dalam kasus Anda, langkah-langkah berikut ini akan membuat situs web Anda dirayapi dengan cepat:
sumber