Apa yang membuat grep menganggap file sebagai biner?

Saya memiliki beberapa dump database dari sistem Windows di komputer saya. Itu adalah file teks. Saya menggunakan cygwin untuk memahami mereka. Ini tampaknya file teks biasa; Saya membukanya dengan editor teks seperti notepad dan wordpad dan mereka terlihat terbaca. Namun, ketika saya menjalankan grep pada mereka, ia akan mengatakan binary file foo.txt matches.

Saya perhatikan bahwa file-file tersebut mengandung beberapa NULkarakter ascii , yang saya percaya adalah artefak dari dump database.

Jadi apa yang membuat grep menganggap file-file ini sebagai biner? The NULkarakter? Apakah ada tanda pada filesystem? Apa yang harus saya ubah untuk mendapatkan grep untuk menunjukkan kepada saya baris yang cocok?

Jika ada NULkarakter di mana saja di dalam file, grep akan menganggapnya sebagai file biner.

Mungkin ada solusi seperti ini cat file | tr -d '\000' | yourgrepuntuk menghilangkan semua null terlebih dahulu, lalu mencari melalui file.

grep -a bekerja untuk saya:

$ grep --help
[...]
 -a, --text                equivalent to --binary-files=text

Anda dapat menggunakan stringsutilitas untuk mengekstrak konten teks dari file apapun dan kemudian pipa melalui grep, seperti ini: strings file | grep pattern.

GNU grep 2.24 RTFS

Kesimpulan: 2 dan 2 hanya kasus:

• NULmisalnya printf 'a\0' | grep 'a'

• kesalahan penyandian menurut C99 mbrlen(), mis:

  export LC_CTYPE='en_US.UTF-8'
  printf 'a\x80' | grep 'a'
  

  karena \x80tidak bisa menjadi byte pertama dari titik Unicode UTF-8 : UTF-8 - Keterangan | en.wikipedia.org

Selanjutnya, seperti yang disebutkan oleh Stéphane Chazelas Apa yang membuat grep menganggap file sebagai biner? | Unix & Linux Stack Exchange , pemeriksaan tersebut hanya dilakukan hingga membaca buffer pertama dengan panjang TODO.

Hanya sampai buffer pertama dibaca

Jadi, jika NUL atau kesalahan pengodean terjadi di tengah file yang sangat besar, itu mungkin akan diterima.

Saya membayangkan ini untuk alasan kinerja.

Misalnya: ini mencetak baris:

printf '%10000000s\n\x80a' | grep 'a'

tetapi ini tidak:

printf '%10s\n\x80a' | grep 'a'

Ukuran buffer aktual tergantung pada bagaimana file dibaca. Misalnya bandingkan:

export LC_CTYPE='en_US.UTF-8'
(printf '\n\x80a') | grep 'a'
(printf '\n'; sleep 1; printf '\x80a') | grep 'a'

Dengan sleep, baris pertama diteruskan ke grep walaupun panjangnya hanya 1 byte karena prosesnya tertidur, dan pembacaan kedua tidak memeriksa apakah file tersebut biner.

RTFS

git clone git://git.savannah.gnu.org/grep.git 
cd grep
git checkout v2.24

Temukan di mana pesan kesalahan stderr dikodekan:

git grep 'Binary file'

Arahkan kami ke /src/grep.c:

if (!out_quiet && (encoding_error_output
                    || (0 <= nlines_first_null && nlines_first_null < nlines)))
    {
    printf (_("Binary file %s matches\n"), filename);

Jika variabel-variabel tersebut dinamai dengan baik, kami pada dasarnya mencapai kesimpulan.

encoding_error_output

Grepping cepat untuk encoding_error_outputmenunjukkan bahwa satu-satunya jalur kode yang dapat memodifikasinya melewati buf_has_encoding_errors:

clen = mbrlen (p, buf + size - p, &mbs);
if ((size_t) -2 <= clen)
  return true;

lalu saja man mbrlen.

nlines_first_null dan nlines

Diinisialisasi sebagai:

intmax_t nlines_first_null = -1;
nlines = 0;

jadi ketika null ditemukan 0 <= nlines_first_nullmenjadi true.

TODO kapan bisa nlines_first_null < nlinessalah? Saya malas.

POSIX

Tidak mendefinisikan opsi biner grep - cari file untuk suatu pola | pubs.opengroup.org , dan GNU grep tidak mendokumentasikannya, jadi RTFS adalah satu-satunya cara.

Salah satu file teks saya tiba-tiba dilihat sebagai biner oleh grep:

$ file foo.txt
foo.txt: ISO-8859 text

Solusi adalah mengonversinya dengan menggunakan iconv:

iconv -t UTF-8 -f ISO-8859-1 foo.txt > foo_new.txt

File /etc/magicatau /usr/share/misc/magicmemiliki daftar urutan yang filedigunakan perintah untuk menentukan jenis file.

Perhatikan bahwa biner mungkin hanya solusi mundur. Terkadang file dengan pengodean aneh juga dianggap biner.

grepLinux memiliki beberapa opsi untuk menangani file biner seperti --binary-filesatau-U / --binary

Salah satu siswa saya memiliki masalah ini. Ada bug di grepdalam Cygwin. Jika file tersebut memiliki karakter non-Ascii, grepdan egrepmelihatnya sebagai biner.

Sebenarnya menjawab pertanyaan "Apa yang membuat grep menganggap file sebagai biner?", Anda dapat menggunakan iconv:

$ iconv < myfile.java
iconv: (stdin):267:70: cannot convert

Dalam kasus saya ada karakter Spanyol yang muncul dengan benar di editor teks tetapi grep menganggapnya sebagai biner; iconvoutput menunjuk saya ke nomor baris dan kolom karakter tersebut

Dalam hal NULkarakter, iconvakan menganggapnya normal dan tidak akan mencetak output semacam itu sehingga metode ini tidak cocok

Saya memiliki masalah yang sama. Saya dulu vi -b [filename]melihat karakter yang ditambahkan. Saya menemukan karakter kontrol ^@dan ^M. Kemudian ketik vi :1,$s/^@//guntuk menghapus ^@karakter. Ulangi perintah ini untuk ^M.

Peringatan: Untuk mendapatkan karakter kontrol "biru" tekan Ctrl+ vlalu Ctrl+ Matau Ctrl+ @. Kemudian simpan dan keluar vi.