Bagaimana cara mendeteksi penyandian file teks secara otomatis?

Ada banyak file teks biasa yang dikodekan dalam rangkaian varian.

Saya ingin mengonversikan semuanya menjadi UTF-8, tetapi sebelum menjalankan ikonv, saya perlu mengetahui penyandian aslinya. Sebagian besar browser memiliki Auto Detectopsi dalam penyandian, namun, saya tidak dapat memeriksa file teks itu satu per satu karena ada terlalu banyak.

Hanya setelah mengetahui pengodean asli, saya kemudian dapat mengonversi teks dengan iconv -f DETECTED_CHARSET -t utf-8.

Apakah ada utilitas untuk mendeteksi penyandian file teks biasa? TIDAK HARUS 100% sempurna, saya tidak keberatan jika ada 100 file yang salah dikonversi dalam 1.000.000 file.

Coba modul Python chardet , yang tersedia di PyPi:

pip install chardet

Kemudian jalankan chardetect myfile.txt.

Chardet didasarkan pada kode deteksi yang digunakan oleh Mozilla, sehingga harus memberikan hasil yang wajar, asalkan teks input cukup panjang untuk analisis statistik. Baca dokumentasi proyek .

Seperti disebutkan dalam komentar, ini cukup lambat, tetapi beberapa distribusi juga mengirimkan versi C ++ asli seperti yang ditemukan oleh @Xavier di https://superuser.com/a/609056 . Ada juga versi Java di suatu tempat.

Saya akan menggunakan perintah sederhana ini:

encoding=$(file -bi myfile.txt)

Atau jika Anda ingin hanya set karakter aktual (seperti utf-8):

encoding=$(file -b --mime-encoding myfile.txt)

Pada Linux berbasis Debian, paket uchardet ( Debian / Ubuntu ) menyediakan alat baris perintah. Lihat di bawah deskripsi paket:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Untuk Linux, ada enca dan untuk Solaris Anda dapat menggunakan auto_ef .

Mozilla memiliki basis kode yang bagus untuk deteksi otomatis di halaman web:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Penjelasan terperinci dari algoritma:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Kembali ke chardet (python 2.?) Panggilan ini mungkin cukup:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Meskipun jauh dari sempurna ....

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Bagi mereka yang secara teratur menggunakan Emacs, mereka mungkin menemukan hal-hal berikut yang berguna (memungkinkan untuk memeriksa dan memvalidasi secara manual transfomasi).

Selain itu saya sering menemukan bahwa deteksi otomatis char-set Emacs jauh lebih efisien daripada alat deteksi otomatis char-set lainnya (seperti chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Kemudian, panggilan sederhana ke Emacs dengan skrip ini sebagai argumen (lihat opsi "-l") melakukan pekerjaan.

UTFCast patut dicoba. Tidak bekerja untuk saya (mungkin karena file saya mengerikan) tetapi terlihat bagus.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

isutf8(dari moreutilspaket) melakukan pekerjaan

Juga jika Anda mengajukan -i memberi Anda diketahui

Anda dapat menggunakan perintah php ini yang dapat menebak charset seperti di bawah ini:

Di php Anda dapat memeriksa seperti di bawah ini:

Menentukan daftar penyandian secara eksplisit:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

" Mb_list_encodings " lebih akurat :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Di sini, di contoh pertama, Anda dapat melihat bahwa saya meletakkan daftar penyandian (deteksi urutan daftar) yang mungkin cocok. Untuk mendapatkan hasil yang lebih akurat, Anda dapat menggunakan semua kemungkinan penyandian melalui: mb_list_encodings ()

Catatan fungsi mb_ * membutuhkan php-mbstring

apt-get install php-mbstring 

Lihat jawaban: https://stackoverflow.com/a/57010566/3382822