Apakah ada perbedaan antara robots.txt kosong dan tidak ada robots.txt sama sekali?

Di server web, saya sekarang harus mengalah, saya perhatikan bahwa robots.txt kosong. Saya bertanya-tanya apakah ada perbedaan antara robots.txt kosong dan tidak ada file sama sekali.

Apakah crawler berperilaku berbeda dalam dua kasus ini? Jadi, apakah aman untuk menghapus robots.txt kosong?

Apakah crawler berperilaku berbeda dalam dua kasus ini?

Sebuah robots.txt file yang kosong benar-benar tidak berbeda dari satu yang tidak ditemukan, kedua tidak merangkak disallow.

Namun Anda mungkin menerima banyak 404kesalahan dalam log server Anda ketika crawler meminta file robots.txt , seperti yang ditunjukkan dalam pertanyaan ini di sini .

Jadi, apakah aman untuk menghapus robots.txt kosong?

Ya, dengan peringatan di atas.

Tidak. Tidak ada perbedaan.

Anda akan mendapatkan 404 kesalahan dalam log server Anda, dan jika Anda berlangganan hal-hal seperti alat Google Web Master mungkin memberi tahu Anda Anda tidak punya satu, tetapi dalam hal perilaku robot crawler - mereka sama untuk robot apa pun yang Anda sayangi.