Bagaimana cara mengubah DOS / Windows newline (CRLF) ke Unix newline (LF) dalam skrip Bash?

Bagaimana saya bisa secara pemrograman (yaitu, tidak menggunakan vi ) mengkonversi DOS / Windows baris baru ke Unix?

The dos2unixdan unix2dosperintah yang tidak tersedia pada sistem tertentu. Bagaimana saya bisa meniru ini dengan perintah seperti sed/ awk/ tr?

Anda dapat menggunakan truntuk mengkonversi dari DOS ke Unix; namun, Anda hanya dapat melakukan ini dengan aman jika CR muncul di file Anda hanya sebagai byte pertama dari pasangan byte CRLF. Ini biasanya terjadi. Anda kemudian menggunakan:

tr -d '\015' <DOS-file >UNIX-file

Perhatikan bahwa namanya DOS-fileberbeda dari namanyaUNIX-file ; jika Anda mencoba menggunakan nama yang sama dua kali, Anda akan berakhir tanpa data dalam file.

Anda tidak dapat melakukannya sebaliknya (dengan standar 'tr').

Jika Anda tahu cara memasukkan carriage return ke skrip ( control-V, control-Muntuk memasukkan control-M), maka:

sed 's/^M$//'     # DOS to Unix
sed 's/$/^M/'     # Unix to DOS

di mana '^ M' adalah karakter kontrol-M. Anda juga dapat menggunakan mekanisme bash Kutipan ANSI-C untuk menentukan carriage return:

sed $'s/\r$//'     # DOS to Unix
sed $'s/$/\r/'     # Unix to DOS

Namun, jika Anda harus melakukan ini sangat sering (lebih dari sekali, secara kasar), jauh lebih masuk akal untuk menginstal program konversi (misalnya dos2unixdan unix2dos, atau mungkin dtoudan utod) dan menggunakannya.

Jika Anda perlu memproses seluruh direktori dan subdirektori, Anda dapat menggunakan zip:

zip -r -ll zipfile.zip somedir/
unzip zipfile.zip

Ini akan membuat arsip zip dengan ujung garis diubah dari CRLF ke CR. unzipkemudian akan mengembalikan file yang dikonversi (dan meminta Anda file demi file - Anda dapat menjawab: Ya-untuk-semua). Kredit ke @vmsnomad untuk menunjukkan ini.

tr -d "\r" < file

lihat di sini untuk contoh menggunakan sed:

# IN UNIX ENVIRONMENT: convert DOS newlines (CR/LF) to Unix format.
sed 's/.$//'               # assumes that all lines end with CR/LF
sed 's/^M$//'              # in bash/tcsh, press Ctrl-V then Ctrl-M
sed 's/\x0D$//'            # works on ssed, gsed 3.02.80 or higher

# IN UNIX ENVIRONMENT: convert Unix newlines (LF) to DOS format.
sed "s/$/`echo -e \\\r`/"            # command line under ksh
sed 's/$'"/`echo \\\r`/"             # command line under bash
sed "s/$/`echo \\\r`/"               # command line under zsh
sed 's/$/\r/'                        # gsed 3.02.80 or higher

Gunakan sed -iuntuk konversi di tempat misalnya sed -i 's/..../' file.

Melakukan ini dengan POSIX itu rumit:

• POSIX Sed tidak mendukung \ratau \15. Bahkan jika itu terjadi, opsi di tempat -ibukanlah POSIX

• POSIX Awk mendukung \rdan \15, bagaimanapun, -i inplacepilihannya bukan POSIX

• d2u dan dos2unix bukan utilitas POSIX , tetapi ex adalah

• POSIX ex tidak mendukung \r, \15, \natau\12

Untuk menghapus pengembalian carriage:

ex -bsc '%!awk "{sub(/\r/,\"\")}1"' -cx file

Untuk menambahkan pengembalian carriage:

ex -bsc '%!awk "{sub(/$/,\"\r\")}1"' -cx file

Anda dapat menggunakan vim secara terprogram dengan opsi -c {command}:

Dosis ke Unix:

vim file.txt -c "set ff=unix" -c ":wq"

Unix to dos:

vim file.txt -c "set ff=dos" -c ":wq"

"set ff = unix / dos" berarti mengubah format file (ff) dari file ke Unix / DOS format akhir baris

": wq" berarti menulis file ke disk dan keluar dari editor (memungkinkan untuk menggunakan perintah dalam satu lingkaran)

Menggunakan AWK dapat Anda lakukan:

awk '{ sub("\r$", ""); print }' dos.txt > unix.txt

Menggunakan Perl dapat Anda lakukan:

perl -pe 's/\r$//' < dos.txt > unix.txt

Untuk mengonversi file di tempat, gunakan

dos2unix <filename>

Untuk menampilkan teks yang dikonversi ke penggunaan file yang berbeda

dos2unix -n <input-file> <output-file>

Anda dapat menginstalnya di Ubuntu atau Debian dengan

sudo apt install dos2unix

atau di macOS menggunakan homebrew

brew install dos2unix

Masalah ini dapat diselesaikan dengan alat standar, tetapi ada cukup banyak perangkap untuk waspada yang saya sarankan Anda menginstal flipperintah, yang ditulis lebih dari 20 tahun yang lalu oleh Rahul Dhesi, penulis zoo. Itu melakukan pekerjaan yang sangat baik untuk mengkonversi format file sementara, misalnya, menghindari penghancuran file biner yang tidak disengaja, yang agak terlalu mudah jika Anda hanya berlomba mengubah setiap CRLF yang Anda lihat ...

Solusi yang diposting sejauh ini hanya menangani sebagian masalah, mengubah DOS / Windows CRLF menjadi LF Unix; bagian mereka hilang adalah bahwa DOS digunakan CRLF sebagai garis pemisah , sementara Unix menggunakan LF sebagai garis terminator . Perbedaannya adalah bahwa file DOS (biasanya) tidak akan memiliki apa pun setelah baris terakhir dalam file, sementara Unix akan. Untuk melakukan konversi dengan benar, Anda perlu menambahkan LF akhir itu (kecuali file tersebut panjangnya nol, artinya tidak ada baris sama sekali). Mantra favorit saya untuk ini (dengan sedikit logika ditambahkan untuk menangani file-file yang dipisahkan dengan CR gaya Mac, dan bukan file yang dianiaya yang sudah dalam format unix) sedikit perl:

perl -pe 'if ( s/\r\n?/\n/g ) { $f=1 }; if ( $f || ! $m ) { s/([^\n])\z/$1\n/ }; $m=1' PCfile.txt

Perhatikan bahwa ini mengirimkan versi Unixified file ke stdout. Jika Anda ingin mengganti file dengan versi Unixified, tambahkan -ibendera perl .

Jika Anda tidak memiliki akses ke dos2unix , tetapi dapat membaca halaman ini, maka Anda dapat menyalin / menempelkan dos2unix.py dari sini.

#!/usr/bin/env python
"""\
convert dos linefeeds (crlf) to unix (lf)
usage: dos2unix.py <input> <output>
"""
import sys

if len(sys.argv[1:]) != 2:
  sys.exit(__doc__)

content = ''
outsize = 0
with open(sys.argv[1], 'rb') as infile:
  content = infile.read()
with open(sys.argv[2], 'wb') as output:
  for line in content.splitlines():
    outsize += len(line) + 1
    output.write(line + '\n')

print("Done. Saved %s bytes." % (len(content)-outsize))

Diposting silang dari superuser .

Super duper mudah dengan PCRE;

Sebagai skrip, atau ganti $@dengan file Anda.

#!/usr/bin/env bash
perl -pi -e 's/\r\n/\n/g' -- $@

Ini akan menimpa file Anda di tempat!

Saya sarankan hanya melakukan ini dengan cadangan (kontrol versi atau yang lain)

Solusi awk yang lebih sederhana dengan program:

awk -v ORS='\r\n' '1' unix.txt > dos.txt

Secara teknis '1' adalah program Anda, b / c awk memerlukannya ketika diberikan opsi.

UPDATE : Setelah meninjau kembali halaman ini untuk pertama kalinya dalam waktu yang lama, saya menyadari bahwa belum ada yang memposting solusi internal, jadi ini dia:

while IFS= read -r line;
do printf '%s\n' "${line%$'\r'}";
done < dos.txt > unix.txt

Baru saja merenungkan pertanyaan yang sama (di sisi Windows, tetapi sama-sama berlaku untuk linux.) Ternyata tidak ada yang menyebutkan cara otomatis melakukan konversi CRLF <-> LF untuk file teks menggunakan zip -llopsi lama yang baik (Info-ZIP):

zip -ll textfiles-lf.zip files-with-crlf-eol.*
unzip textfiles-lf.zip 

CATATAN: ini akan membuat file zip mempertahankan nama file asli tetapi mengubah akhir baris ke LF. Kemudian unzipakan mengekstrak file sebagai zip'ed, yaitu dengan nama asli mereka (tetapi dengan akhiran LF), sehingga mendorong untuk menimpa file asli lokal jika ada.

Kutipan yang relevan dari zip --help:

zip --help
...
-l   convert LF to CR LF (-ll CR LF to LF)

yang menarik di git-bash saya di windows sudah sed ""melakukan trik:

$ echo -e "abc\r" >tst.txt
$ file tst.txt
tst.txt: ASCII text, with CRLF line terminators
$ sed -i "" tst.txt
$ file tst.txt
tst.txt: ASCII text

Dugaan saya adalah bahwa sed mengabaikannya ketika membaca baris dari input dan selalu menulis akhiran baris unix pada output.

Ini berhasil untuk saya

tr "\r" "\n" < sampledata.csv > sampledata2.csv 

Untuk Mac osx jika Anda telah menginstal homebrew [ http://brew.sh/[[1]

brew install dos2unix

for csv in *.csv; do dos2unix -c mac ${csv}; done;

Pastikan Anda telah membuat salinan file, karena perintah ini akan mengubah file yang ada. Opsi -c mac membuat switch menjadi kompatibel dengan osx.

TIMTOWTDI!

perl -pe 's/\r\n/\n/; s/([^\n])\z/$1\n/ if eof' PCfile.txt

Berdasarkan @GordonDavisson

Seseorang harus mempertimbangkan kemungkinan [noeol]...

Anda bisa menggunakan awk. Setel pemisah rekaman ( RS) ke regexp yang cocok dengan semua karakter baris baru, atau karakter. Dan mengatur pemisah catatan keluaran ( ORS) ke karakter baris baru unix-style.

awk 'BEGIN{RS="\r|\n|\r\n|\n\r";ORS="\n"}{print}' windows_or_macos.txt > unix.txt

Di Linux, mudah untuk mengonversi ^ M (ctrl-M) ke * nix newlines (^ J) dengan sed.

Ini akan seperti ini pada CLI, sebenarnya akan ada baris di teks. Namun, \ melewati itu untuk:

sed 's/^M/\
/g' < ffmpeg.log > new.log

Anda mendapatkan ini dengan menggunakan ^ V (ctrl-V), ^ M (ctrl-M) dan \ (backslash) saat Anda mengetik:

sed 's/^V^M/\^V^J/g' < ffmpeg.log > new.log

sed --expression='s/\r\n/\n/g'

Karena pertanyaan menyebutkan sed, ini adalah cara paling lurus ke depan untuk menggunakan sed untuk mencapai ini. Apa yang dikatakan ekspresi adalah ganti semua carriage-return dan line-feed dengan hanya line-feed saja. Itulah yang Anda butuhkan saat Anda beralih dari Windows ke Unix. Saya memverifikasi itu berfungsi.

Sebagai ekstensi untuk solusi Jonathan Unix to DOS dari Jonathan Leffler, untuk secara aman mengkonversi ke DOS ketika Anda tidak yakin dengan akhiran baris file saat ini:

sed '/^M$/! s/$/^M/'

Ini memeriksa bahwa saluran belum berakhir di CRLF sebelum mengkonversi ke CRLF.

Saya membuat skrip berdasarkan jawaban yang diterima sehingga Anda dapat mengonversinya secara langsung tanpa memerlukan file tambahan pada akhirnya dan menghapus serta mengganti nama sesudahnya.

convert-crlf-to-lf() {
    file="$1"
    tr -d '\015' <"$file" >"$file"2
    rm -rf "$file"
    mv "$file"2 "$file"
}

pastikan saja jika Anda memiliki file seperti "file1.txt" yang "file1.txt2" belum ada atau akan ditimpa, saya menggunakan ini sebagai tempat sementara untuk menyimpan file.

Dengan bash 4.2 dan yang lebih baru, Anda dapat menggunakan sesuatu seperti ini untuk menghapus CR trailing, yang hanya menggunakan bash built-in:

if [[ "${str: -1}" == $'\r' ]]; then
    str="${str:: -1}"
fi

Saya mencoba sed 's / ^ M $ //' file.txt di OSX serta beberapa metode lain ( http://www.thingy-ma-jig.co.uk/blog/25-11-2010/fixing- dos-line-endings atau http://hintsforums.macworld.com/archive/index.php/t-125.html ). Tidak ada yang berhasil, file tetap tidak berubah (btw Ctrl-v Enter diperlukan untuk mereproduksi ^ M). Pada akhirnya saya menggunakan TextWrangler. Ini bukan perintah baris tetapi bekerja dan tidak mengeluh.