Mengidentifikasi dan menghapus karakter nol di UNIX

Question 1

Saya memiliki file teks yang berisi karakter null yang tidak diinginkan (ASCII NUL, \0). Ketika saya mencoba untuk melihatnya di visaya melihat ^@simbol, disisipkan dalam teks normal. Bagaimana bisa saya:

Identifikasi baris mana dalam file yang berisi karakter null? Saya telah mencoba grepping for \0dan \x0, tetapi ini tidak berhasil.
Hapus karakter nol? Menjalankan stringsfile membersihkannya, tetapi saya hanya ingin tahu apakah ini cara terbaik?

Question 2

Saya akan menggunakan tr:

tr < file-with-nulls -d '\000' > file-without-nulls

Jika Anda bertanya-tanya apakah pengalihan input di tengah argumen perintah berfungsi, itu berhasil. Kebanyakan kerang akan mengenali dan menangani I / O redirection ( <, >, ...) di mana saja di baris perintah, sebenarnya.

Question 3

Gunakan perintah sed berikut untuk menghapus karakter null dalam file.

sed -i 's/\x0//g' null.txt

solusi ini mengedit file di tempatnya, penting jika file tersebut masih digunakan. meneruskan -i'ext 'membuat cadangan file asli dengan akhiran' ext 'ditambahkan.

Question 4

Sejumlah besar karakter NUL yang tidak diinginkan, katakanlah satu setiap byte lainnya, menunjukkan bahwa file tersebut dikodekan dalam UTF-16 dan yang harus Anda gunakan iconvuntuk mengubahnya menjadi UTF-8.

Question 5

Saya menemukan yang berikut ini, yang mencetak baris mana, jika ada, yang memiliki karakter nol:

perl -ne '/\000/ and print;' file-with-nulls

Juga, oktal dump dapat memberi tahu Anda jika ada nulls:

od file-with-nulls | grep ' 000'

Question 6

Jika baris pada file diakhiri dengan \ r \ n \ 000 maka yang berhasil adalah menghapus \ n \ 000 lalu ganti \ r dengan \ n.

tr -d '\n\000' <infile | tr '\r' '\n' >outfile

Question 7

Berikut adalah contoh cara menghapus karakter NULL menggunakan ex(di tempat):

ex -s +"%s/\%x00//g" -cwq nulls.txt

dan untuk banyak file:

ex -s +'bufdo!%s/\%x00//g' -cxa *.txt

^{Untuk rekursif, Anda dapat menggunakan opsi globbing **/*.txt (jika didukung oleh shell Anda).}

Berguna untuk skrip karena sed dan -iparameternya adalah ekstensi BSD non-standar.

Lihat juga: Bagaimana cara memeriksa apakah file tersebut adalah file biner dan membaca semua file yang bukan?

Question 8

Saya menggunakan:

recode UTF-16..UTF-8 <filename>

untuk menghilangkan angka nol dalam file.

Question 9

Saya menghadapi kesalahan yang sama dengan:

import codecs as cd
f=cd.open(filePath,'r','ISO-8859-1')

Saya memecahkan masalah dengan mengubah pengkodean menjadi utf-16

f=cd.open(filePath,'r','utf-16')

Answer 1

98

Saya memiliki file teks yang berisi karakter null yang tidak diinginkan (ASCII NUL, \0). Ketika saya mencoba untuk melihatnya di visaya melihat ^@simbol, disisipkan dalam teks normal. Bagaimana bisa saya:

Identifikasi baris mana dalam file yang berisi karakter null? Saya telah mencoba grepping for \0dan \x0, tetapi ini tidak berhasil.
Hapus karakter nol? Menjalankan stringsfile membersihkannya, tetapi saya hanya ingin tahu apakah ini cara terbaik?

unix shell null special-characters dogbane
sumber

1

Pertanyaan semacam ini mungkin milik SuperUser.com

Olivier Lalonde

2

Faktanya, pertanyaan ini ada di superuser.com: superuser.com/questions/75130/how-to-remove-ths-symbol-with-vim

jrb

Answer 2

1

Pertanyaan semacam ini mungkin milik SuperUser.com

Olivier Lalonde

Answer 3

2

Faktanya, pertanyaan ini ada di superuser.com: superuser.com/questions/75130/how-to-remove-ths-symbol-with-vim

jrb

Answer 4

130

Saya akan menggunakan tr:

tr < file-with-nulls -d '\000' > file-without-nulls

Jika Anda bertanya-tanya apakah pengalihan input di tengah argumen perintah berfungsi, itu berhasil. Kebanyakan kerang akan mengenali dan menangani I / O redirection ( <, >, ...) di mana saja di baris perintah, sebenarnya.

Runcing
sumber

dan "file diff-with-nulls file-without-nulls" harus menunjukkan kepada saya baris mana yang memiliki karakter null? Ini membawa kembali lebih banyak dari yang diharapkan.

dogbane

10

Sebenarnya, saya percaya itu harus tr -d '\000' < file-with-nulls > file-without-nullskarena <merupakan bagian dari fungsi pipa shell dan bukan tr.

Mikael S

9

Kebanyakan shell akan mengenali & menangani <atau> di manapun dalam string argumen, sebenarnya. Aku juga kaget.

pra

1

+1 Untuk penggunaan pengalihan input sebagai ganti cat |. Solusi yang bagus dan bersih dan memecahkan masalah saya.

Krzysztof Jabłoński

4

@Pointy '\ 000' digunakan sebagai pengganti '\ 0' dalam spesifikasi grup terbuka POSIX untuk tr. Itulah alasan yang bagus untuk memilihnya

Harold Fischer

Answer 5

dan "file diff-with-nulls file-without-nulls" harus menunjukkan kepada saya baris mana yang memiliki karakter null? Ini membawa kembali lebih banyak dari yang diharapkan.

dogbane

Answer 6

10

Sebenarnya, saya percaya itu harus tr -d '\000' < file-with-nulls > file-without-nullskarena <merupakan bagian dari fungsi pipa shell dan bukan tr.

Mikael S

Answer 7

9

Kebanyakan shell akan mengenali & menangani <atau> di manapun dalam string argumen, sebenarnya. Aku juga kaget.

pra

Answer 8

1

+1 Untuk penggunaan pengalihan input sebagai ganti cat |. Solusi yang bagus dan bersih dan memecahkan masalah saya.

Krzysztof Jabłoński

Answer 9

4

@Pointy '\ 000' digunakan sebagai pengganti '\ 0' dalam spesifikasi grup terbuka POSIX untuk tr. Itulah alasan yang bagus untuk memilihnya

Harold Fischer

Answer 10

68

Gunakan perintah sed berikut untuk menghapus karakter null dalam file.

sed -i 's/\x0//g' null.txt

solusi ini mengedit file di tempatnya, penting jika file tersebut masih digunakan. meneruskan -i'ext 'membuat cadangan file asli dengan akhiran' ext 'ditambahkan.

rekha_sri
sumber

6

Catatan: Di FreeBSD (dan saya percaya juga Mac OS X), sed -i membutuhkan ekstensi di argumen berikutnya, tetapi mungkin kosong. Dalam sistem-sistem, menambahkan '', seperti dalam: sed -i '' 's/\x0//g "$FILE".

Tim Čas

1

Ini urutan besarnya lebih cepat dari trpada saya

diachedelic

Bagi saya, menggunakan Git untuk Windows dan $ sed --version-> sed (GNU sed) 4.7, saya harus menggunakan permintaan berikut untuk mendapatkan file cadangan yang disebut example.csv.bak:sed -i.bak 's/\x0//g' example.csv

Andrew Keeton

1

@ TimČas Anda melakukannya dengan hebat, baru saja melewatkan satu 'jadi seharusnya sed -i' '' s / \ x0 // g 'some_file.xml

Darko

@Darko Jadi saya lakukan. Ups.

Tim Čas

Answer 11

6

Catatan: Di FreeBSD (dan saya percaya juga Mac OS X), sed -i membutuhkan ekstensi di argumen berikutnya, tetapi mungkin kosong. Dalam sistem-sistem, menambahkan '', seperti dalam: sed -i '' 's/\x0//g "$FILE".

Tim Čas

Answer 12

1

Ini urutan besarnya lebih cepat dari trpada saya

diachedelic

Answer 13

Bagi saya, menggunakan Git untuk Windows dan $ sed --version-> sed (GNU sed) 4.7, saya harus menggunakan permintaan berikut untuk mendapatkan file cadangan yang disebut example.csv.bak:sed -i.bak 's/\x0//g' example.csv

Andrew Keeton

Answer 14

1

@ TimČas Anda melakukannya dengan hebat, baru saja melewatkan satu 'jadi seharusnya sed -i' '' s / \ x0 // g 'some_file.xml

Darko

Answer 15

@Darko Jadi saya lakukan. Ups.

Tim Čas

Answer 16

22

Sejumlah besar karakter NUL yang tidak diinginkan, katakanlah satu setiap byte lainnya, menunjukkan bahwa file tersebut dikodekan dalam UTF-16 dan yang harus Anda gunakan iconvuntuk mengubahnya menjadi UTF-8.

Ignacio Vazquez-Abrams
sumber

1

Saya kehabisan ruang disk saat aplikasi saya masuk. Ini menghasilkan karakter-karakter ini.

dogbane

Sebagai contoh, ia bekerja menggunakan perintah ini: iconv -f UTF-16 -t UTF-8 file.

djule5

Answer 17

1

Saya kehabisan ruang disk saat aplikasi saya masuk. Ini menghasilkan karakter-karakter ini.

dogbane

Answer 18

Sebagai contoh, ia bekerja menggunakan perintah ini: iconv -f UTF-16 -t UTF-8 file.

djule5

Answer 19

Saya menemukan yang berikut ini, yang mencetak baris mana, jika ada, yang memiliki karakter nol:

perl -ne '/\000/ and print;' file-with-nulls

Juga, oktal dump dapat memberi tahu Anda jika ada nulls:

od file-with-nulls | grep ' 000'

Answer 20

5

Jika baris pada file diakhiri dengan \ r \ n \ 000 maka yang berhasil adalah menghapus \ n \ 000 lalu ganti \ r dengan \ n.

tr -d '\n\000' <infile | tr '\r' '\n' >outfile

wwmbes.dll
sumber

PS. Jika Anda berada dalam shell Windows DOS, Anda bisa mendapatkan perintah Unix versi GNU / win32 dari Sourceforge.net. Saya menggunakannya sepanjang waktu. Lihat "od" perintah oktal dump untuk menganalisis apa yang ada dalam file ...

wwmbes

Answer 21

PS. Jika Anda berada dalam shell Windows DOS, Anda bisa mendapatkan perintah Unix versi GNU / win32 dari Sourceforge.net. Saya menggunakannya sepanjang waktu. Lihat "od" perintah oktal dump untuk menganalisis apa yang ada dalam file ...

wwmbes

Answer 22

Berikut adalah contoh cara menghapus karakter NULL menggunakan ex(di tempat):

ex -s +"%s/\%x00//g" -cwq nulls.txt

dan untuk banyak file:

ex -s +'bufdo!%s/\%x00//g' -cxa *.txt

^{Untuk rekursif, Anda dapat menggunakan opsi globbing **/*.txt (jika didukung oleh shell Anda).}

Berguna untuk skrip karena sed dan -iparameternya adalah ekstensi BSD non-standar.

Lihat juga: Bagaimana cara memeriksa apakah file tersebut adalah file biner dan membaca semua file yang bukan?

Answer 23

1

Saya menggunakan:

recode UTF-16..UTF-8 <filename>

untuk menghilangkan angka nol dalam file.

logisec
sumber

Answer 24

Saya menghadapi kesalahan yang sama dengan:

import codecs as cd
f=cd.open(filePath,'r','ISO-8859-1')

Saya memecahkan masalah dengan mengubah pengkodean menjadi utf-16

f=cd.open(filePath,'r','utf-16')

Mengidentifikasi dan menghapus karakter nol di UNIX

Jawaban: