Apakah format akhir baris dari robots.txt penting?

Pertanyaan sederhana: Haruskah saya memastikan untuk menggunakan akhir baris Unix untuk robots.txt saya, atau apakah itu tidak masalah?

Itu tidak masalah. Menurut spesifikasi:

File terdiri dari satu atau lebih catatan yang dipisahkan oleh satu atau lebih baris kosong (diakhiri oleh CR, CR / NL, atau NL).

• CR = Pengembalian Carriage (yaitu \ r)
• CR / NL = Pengembalian Carriage / Baris Baru (yaitu \ r \ n)
• NL = Baris Baru (yaitu \ n)

Ini berarti Anda dapat menggunakannya \r. \n, atau \r\ndan itu akan berhasil.