Apa itu file robots.txt minimum yang valid?

14

Saya tidak suka bahwa saya melihat banyak 404 kesalahan di access.log server web saya. Saya mendapatkan kesalahan itu karena crawler mencoba membuka file robots.txt , tetapi tidak dapat menemukannya. Jadi saya ingin menempatkan file robots.txt sederhana yang akan mencegah 404 kesalahan muncul di file log saya.

Apa file minimum robots.txt yang valid yang akan memungkinkan semua yang ada di situs dirayapi?

bessarabov
sumber

Jawaban:

17

Seperti ditunjukkan di sini , buat file teks bernama robots.txt di direktori tingkat atas server web Anda. Anda dapat membiarkannya kosong, atau menambahkan:

User-agent: *
Disallow:

Jika Anda ingin robot merayapi semuanya . Jika tidak, lihat tautan di atas untuk contoh lebih lanjut.

dan
sumber
Mengapa menambahkan "Disallow:" dan bukan hanya "Allow: *"?
Athoxx
2
@ Patrik "Izinkan" adalah untuk mengesampingkan arahan "Larang" sebelumnya. Tidak ada artinya jika tidak ada "Larang". Jujur solusi terbaik adalah file kosong.
DisgruntledGoat
2
Ah, begitu. Saya juga setuju bahwa file kosong adalah yang terbaik.
Athoxx
2
@ Patriklien Karena "Izinkan" tidak dalam spesifikasi robots.txt.
user11153
1
@ user11153: Hah? Bagaimana dengan bagian "3.2.2 Garis Bolehkan dan Larang" spesifikasi Draf Internet 1997 Metode untuk Kontrol Robot Web ?
David Cary
2

Minimal terbaik robots.txtadalah file yang benar-benar kosong.

Arahan "null" lainnya seperti kosong Disallowatau Allow: *tidak hanya tidak berguna karena tidak boleh, tetapi menambah kompleksitas yang tidak dibutuhkan.

Jika Anda tidak ingin file tersebut benar-benar kosong - atau Anda ingin membuatnya lebih dapat dibaca manusia - cukup tambahkan komentar yang dimulai dengan #karakter, seperti # blank file allows all. Crawler mengabaikan garis yang dimulai dengan #.

Maximillian Laumeister
sumber
0

Saya akan mengatakan ini;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ini akan memungkinkan Google untuk merayapi semuanya tetapi akan melarang Google untuk Merayapi panel aadminn Anda. Situasi yang ideal untuk Anda.

Fahad Ur Rehman Khan
sumber
2
Saya mungkin kehilangan sesuatu, tetapi saya tidak berpikir penanya mengatakan mereka menggunakan Wordpress.
Maximillian Laumeister