Bagaimana menemukan file dengan 100% NUL karakter dalam isinya?

Apa perintah baris perintah Linux yang dapat mengidentifikasi file seperti itu?

AFAIK findperintah (atau grep) hanya bisa cocok dengan string tertentu di dalam file teks. Tapi saya ingin mencocokkan seluruh konten, yaitu saya ingin melihat file mana yang cocok dengan ekspresi reguler \0+, mengabaikan karakter garis akhir . Mungkin find . cat | grepidiom bisa bekerja, tapi saya tidak tahu bagaimana membuat garis mengabaikan grep (dan memperlakukan file sebagai biner).

Latar Belakang: Setiap beberapa hari, ketika laptop saya macet, partisi btrf saya kehilangan informasi: file yang dibuka untuk penulisan mendapat isinya diganti dengan nol (ukuran file tetap lebih atau kurang utuh). Saya menggunakan sinkronisasi dan saya tidak ingin menyebarkan file palsu ini: Saya perlu cara untuk mengidentifikasi mereka sehingga saya dapat mengambilnya dari cadangan.

Anda dapat grepuntuk karakter ␀ menggunakan mode Perl regex:

$ echo -ne "\0\0" > nul.bin
$ echo -ne "\0x\0" > non-nul.bin
$ grep -P "[^\0]" *.bin
Binary file non-nul.bin matches

Jadi Anda bisa menggunakan ini:

for path in *.foo
do
    grep -P "[^\0]" "$path" || echo "$path"
done

Saya setuju dengan apa yang dikatakan D_Bye tentang menemukan akar masalah.

Pokoknya untuk memeriksa apakah suatu file hanya berisi \0dan / atau \nAnda dapat menggunakan tr:

<file tr -d '\0\n' | wc -c

Yang mengembalikan 0 untuk file null / baris baru dan kosong.

Saya menduga file-file itu jarang, yaitu mereka tidak memiliki ruang disk yang dialokasikan untuk mereka, mereka hanya menentukan ukuran file ( duakan melaporkan 0 untuk mereka).

Dalam hal ini, dengan GNU find, Anda dapat melakukannya (dengan asumsi tidak ada jalur file yang mengandung karakter baris baru):

find . -type f -size +0 -printf '%b:%p\n' | grep '^0:' | cut -d: -f2-

Berikut ini adalah program python kecil yang dapat melakukannya:

import sys

def only_contains_nulls(fobj, chunk_size=1024):
    first = True
    while True:
        data = fobj.read(chunk_size)
        if not data:
            if first:
                return 1  # No data
            else:
                return 0
        if data.strip("\0"):
            return 1
        first = False

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        sys.exit(only_contains_nulls(f))

Dan beraksi:

$ printf '\0\0\0' > file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Only nulls
$ printf a >> file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Non-null characters

Anda dapat memeriksa beberapa file dengan menggunakan find ini -exec, xargs, GNU parallel, dan program-program serupa. Atau, ini akan mencetak nama file yang perlu ditangani:

files=( file1 file2 )
for file in "${files[@]}"; do
    ./onlynulls "$file" || printf '%s\n' "$file"
done

Ingatlah bahwa jika Anda akan meneruskan output ini ke program lain, nama file dapat berisi baris baru, jadi Anda harus membatasi itu secara berbeda (sesuai, dengan \0).

Jika Anda memiliki banyak file, akan lebih baik menggunakan opsi untuk pemrosesan paralel, karena ini hanya membaca satu file pada satu waktu.

Temukan file yang hanya berisi karakter null '\ 0' dan karakter baris baru '\ n'.
The qdi sed penyebab setiap file mencari untuk segera berhenti setelah menemukan karakter non-null dalam garis.

find -type f -name 'file-*' |
  while IFS= read -r file ;do 
      out=$(sed -n '1=; /^\x00\+$/d; i non-null
                      ; q' "$file")
      [[ $out == "1" ]] &&  echo "$file"
  done

Buat file uji

> file-empty
printf '%s\n' 'line1' 'line2' 'line3'      > file-with-text           
printf '%4s\n' '' '' xx | sed 's/ /\x00/g' > file-with-text-and-nulls
printf '%4s\n' '' '' '' | sed 's/ /\x00/g' > file-with-nulls-and-newlines
printf '%4s'   '' '' '' | sed 's/ /\x00/g' > file-with-nulls-only

keluaran

./file-with-nulls-and-newlines
./file-with-nulls-only

Ini satu-kapal adalah cara yang paling efisien untuk menemukan 100% file nul menggunakan GNU find, xargsdan grep(dengan asumsi yang terakhir dibangun dengan dukungan PCRE):

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00]" --

Keuntungan dari metode ini dibandingkan jawaban lain yang disediakan adalah:

• file non-jarang termasuk dalam pencarian.
• file yang tidak dapat dibaca tidak diteruskan ke grep, menghindari Permission deniedperingatan.
• grepakan berhenti membaca data dari file setelah menemukan byte non-nul ( LC_ALL=Cdigunakan untuk memastikan setiap byte diartikan sebagai karakter ).
• file kosong (nol byte) tidak termasuk dalam hasil.
• lebih sedikit grepproses secara efisien memeriksa banyak file.
• jalur yang berisi baris baru atau mulai dengan -ditangani dengan benar.
• bekerja pada sebagian besar sistem embedded yang tidak memiliki Python / Perl.

Melewati -Zopsi ke grepdan menggunakan xargs -r0 ...memungkinkan tindakan lebih lanjut untuk dilakukan pada file nul 100% (misalnya: pembersihan):

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00]" -- |
  xargs -r0 rm --

Saya juga merekomendasikan menggunakan findopsi -Puntuk menghindari symlink berikut, dan -xdevuntuk menghindari melintasi sistem file (misalnya: mount jarak jauh, bagan perangkat, bind mounts, dll).

Untuk mengabaikan karakter garis akhir , varian berikut harus berfungsi (walaupun saya pikir ini bukan ide yang bagus):

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00\r\n]" --

Menyatukan semuanya, termasuk menghapus file yang tidak diinginkan (100% nul / karakter baris baru) untuk mencegahnya dicadangkan:

find -P . -xdev -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00\r\n]" -- |
  xargs -0 rm --

Saya tidak menyarankan untuk memasukkan file kosong (nol byte), mereka sering ada untuk tujuan yang sangat spesifik .

Untuk menggunakan sed GNU Anda dapat menggunakan -zopsi, yang mendefinisikan sebuah baris sebagai string yang diakhiri tanpa nol dan cocok dengan dan menghapus baris kosong seperti:

if [ "$( sed -z '/^$/d' "$file" | head -c 1 | wc -c )" -eq 0 ]; then
    echo "$file contains only NULL!"
fi

Peralihan perintah kepala hanyalah sebuah optimasi.

Python

File tunggal

Tentukan alias:

alias is_binary="python -c 'import sys; sys.exit(not b\"\x00\" in open(sys.argv[1], \"rb\").read())'"

Menguji:

$ is_binary /etc/hosts; echo $?
1
$ is_binary `which which`; echo $?
0

Banyak file

Temukan semua file biner secara rekursif:

IS_BINARY='import sys; sys.exit(not b"\x00" in open(sys.argv[1], "rb").read())'
find . -type f -exec bash -c "python -c '$IS_BINARY' {} && echo {}" \;

Untuk menemukan semua file non-biner, ubah &&dengan ||.