Bagaimana Saya Dapat Mendorong Google untuk Membaca File robots.txt Baru?

22

Saya baru saja memperbarui file robots.txt saya di situs baru; Google Webmaster Tools melaporkan itu membaca robots.txt saya 10 menit sebelum pembaruan terakhir saya.

Apakah ada cara saya dapat mendorong Google untuk membaca kembali robots.txt saya sesegera mungkin?

UPDATE: Di Bawah Konfigurasi Situs | Akses Perayap | Tes robots.txt:

Home Page Access menunjukkan:

Googlebot diblokir dari http://my.example.com/

FYI: Robots.txt yang terakhir dibaca Google terlihat seperti ini:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

Sudahkah saya menembak kaki saya, atau pada akhirnya akan membaca: http: ///robots.txt (seperti yang terjadi terakhir kali membacanya)?

Ada ide tentang apa yang harus saya lakukan?

google robots.txt google-webmaster-tools qxotk
sumber
FYI: Situs ini baru, dan pesan ini muncul di Pengaturan | Tingkat Perayapan: "Situs Anda telah diberi pengaturan tingkat perayapan khusus. Anda tidak akan dapat mengubah tingkat perayapan."
qxotk
FYI: Saya menemukan posting di grup google yang mengatakan google akan membaca robots.txt "setidaknya sekali sehari" - adakah yang bisa mengonfirmasi itu? [posting grup google ada di sini: groups.google.com/group/google_webmaster_help-indexing/… ]
qxotk
FYI: 1 hari telah berlalu, dan google belum membaca robots.txt saya yang diperbarui.
qxotk
Masalah yang sama di sini, ini bukan "fitur" ...
mate64

Jawaban:

25

Jika ada orang lain yang mengalami masalah ini, ada cara untuk memaksa google-bot mengunduh kembali file robots.txt.

Pergi ke Kesehatan -> Ambil sebagai Google [1] dan minta mengambil /robots.txt

Itu akan mengunduh ulang file dan google juga akan mem-parsing ulang file tersebut.

[1] di UI Google sebelumnya adalah 'Diagnostics -> Fetch as GoogleBot'.

Mat
sumber
11
Sayangnya ini tidak akan berfungsi jika robots.txt Anda disetel ke Disallow: /. Alih-alih mengambil laporan "Ditolak oleh robots.txt": /.
studgeek
3
Lain kali tambahkan baris ini. Izinkan:
/robots.txt
Saya tidak dapat menemukan 'Diagnostik', mungkin UI telah berubah?
David Riccitelli
2
Oke, sekarang Health> Fetch as Google.
David Riccitelli
Tidak berfungsi untuk saya ketika saya mencoba mengambil robots.txt. GALAT: "Halaman ini tidak dapat dirayapi saat ini karena diblokir oleh file robots.txt terbaru yang diunduh Googlebot. Perhatikan bahwa jika Anda baru-baru ini memperbarui file robots.txt, mungkin diperlukan waktu hingga dua hari sebelum di-refresh. Anda dapat menemukan informasi lebih lanjut di artikel Pusat Bantuan tentang robots.txt. "
Indrek
4

Saya tahu ini sangat lama, tetapi ... Jika Anda mengunggah robots.txt yang salah (tidak mengizinkan semua laman), Anda dapat mencoba yang berikut:

  • perbaiki robots.txt Anda terlebih dahulu untuk mengizinkan halaman yang benar, lalu
  • unggah sitemap.xml dengan halaman Anda

karena google mencoba membaca sitemap xml, ia akan mengeceknya lagi robots.txt, memaksa google untuk membaca kembali robots.txt Anda.

Hussam
sumber
Ini tidak berhasil untuk saya. Dikatakan sitemap diblokir oleh robots.txt
James
1

BAIK. Inilah yang saya lakukan, dan dalam beberapa jam, Google membaca kembali file robots.txt saya.

Kami memiliki 2 situs untuk setiap 1 situs yang kami jalankan. Sebut mereka situs kanonik (www.mysite.com) dan situs domain-kosong (mysite.com).

Kami memiliki pengaturan situs kami sehingga mysite.com selalu mengembalikan 301 redirect ke www.mysite.com.

Setelah saya mengatur kedua situs di alat Google Webmaster, memberi tahu bahwa www.mysite.com adalah situs kanonik, segera setelah membaca file robots.txt di situs kanonik.

Saya tidak benar-benar tahu mengapa, tetapi itulah yang terjadi.

qxotk
sumber
3
Saya tahu ini sudah tua, tetapi menerima jawaban Anda sendiri 100% sah
Mark Henderson
0

Persingkat waktu pemindaian google selama beberapa hari.

Juga, saya sudah melihat di sana buttom untuk memverifikasi robots.txt Anda, ini mungkin memaksanya ke google, tapi saya tidak yakin.

BarsMonster
sumber
Bisakah Anda lebih spesifik? Saya melihat: Konfigurasi Situs | Akses Perayap | Tes robots.txt, tetapi itu menguji teks yang Anda rekatkan di dalam kotak, bukan file robots.txt langsung Anda - juga, ini adalah di mana ia memberi tahu saya kapan terakhir kali diunduh. Di mana tombol "verifikasi" yang Anda bicarakan?
qxotk