Java: Cara menentukan pengkodean charset yang benar dari suatu aliran

Dengan mengacu pada utas berikut: Aplikasi Java: Tidak dapat membaca file yang disandikan iso-8859-1 dengan benar

Apa cara terbaik untuk menentukan secara sistematis pengkodean charset dari inputstream / file?

Saya sudah mencoba menggunakan yang berikut ini:

File in =  new File(args[0]);
InputStreamReader r = new InputStreamReader(new FileInputStream(in));
System.out.println(r.getEncoding());

Tetapi pada file yang saya tahu akan dikodekan dengan ISO8859_1 kode di atas menghasilkan ASCII, yang tidak benar, dan tidak memungkinkan saya untuk dengan benar membuat konten file kembali ke konsol.

Saya telah menggunakan perpustakaan ini, mirip dengan jchardet untuk mendeteksi pengodean di Java: http://code.google.com/p/juniversalchardet/

Anda tidak dapat menentukan pengodean byte stream yang sewenang-wenang. Ini adalah sifat dari pengkodean. Pengkodean berarti pemetaan antara nilai byte dan perwakilannya. Jadi, setiap penyandian "bisa" benar.

Metode getEncoding () akan mengembalikan pengkodean yang telah diatur (baca JavaDoc ) untuk stream. Tidak akan menebak pengodean untuk Anda.

Beberapa aliran memberi tahu Anda penyandian mana yang digunakan untuk membuatnya: XML, HTML. Tapi bukan aliran byte yang sewenang-wenang.

Bagaimanapun, Anda bisa mencoba menebak penyandian sendiri jika perlu. Setiap bahasa memiliki frekuensi yang sama untuk setiap karakter. Dalam bahasa Inggris char e muncul sangat sering tetapi ê akan muncul sangat sangat jarang. Dalam aliran ISO-8859-1 biasanya tidak ada karakter 0x00. Tetapi stream UTF-16 memiliki banyak dari mereka.

Atau: Anda bisa bertanya kepada pengguna. Saya telah melihat aplikasi yang memberikan Anda potongan file dalam penyandian yang berbeda dan meminta Anda untuk memilih yang "benar".

lihat ini: http://site.icu-project.org/ (icu4j) mereka memiliki perpustakaan untuk mendeteksi charset dari IOStream bisa sederhana seperti ini:

BufferedInputStream bis = new BufferedInputStream(input);
CharsetDetector cd = new CharsetDetector();
cd.setText(bis);
CharsetMatch cm = cd.detect();

if (cm != null) {
   reader = cm.getReader();
   charset = cm.getName();
}else {
   throw new UnsupportedCharsetException()
}

Inilah favorit saya:

TikaEncodingDetector

Ketergantungan:

<dependency>
  <groupId>org.apache.any23</groupId>
  <artifactId>apache-any23-encoding</artifactId>
  <version>1.1</version>
</dependency>

Sampel:

public static Charset guessCharset(InputStream is) throws IOException {
  return Charset.forName(new TikaEncodingDetector().guessEncoding(is));    
}

GuessEncoding

Ketergantungan:

<dependency>
  <groupId>org.codehaus.guessencoding</groupId>
  <artifactId>guessencoding</artifactId>
  <version>1.4</version>
  <type>jar</type>
</dependency>

Sampel:

  public static Charset guessCharset2(File file) throws IOException {
    return CharsetToolkit.guessEncoding(file, 4096, StandardCharsets.UTF_8);
  }

Anda tentu dapat memvalidasi file untuk charset tertentu dengan mendekodekannya dengan CharsetDecoderdan mengawasi kesalahan "input salah bentuk" atau "karakter tidak dapat dipetakan". Tentu saja, ini hanya memberi tahu Anda jika charset salah; itu tidak memberi tahu Anda apakah itu benar. Untuk itu, Anda memerlukan dasar perbandingan untuk mengevaluasi hasil yang diterjemahkan, mis. Anda tahu sebelumnya jika karakter dibatasi untuk beberapa bagian, atau apakah teks mematuhi beberapa format yang ketat? Intinya adalah bahwa deteksi charset adalah dugaan tanpa jaminan.

Perpustakaan mana yang digunakan?

Pada tulisan ini, mereka adalah tiga perpustakaan yang muncul:

• GuessEncoding
• ICU4j
• juniversalchardet

Saya tidak memasukkan Apache Any23 karena menggunakan ICU4j 3.4 di bawah tenda.

Bagaimana cara mengetahui charset yang tepat (atau sedekat mungkin) yang terdeteksi ?

Tidak mungkin mengesahkan charset yang terdeteksi oleh masing-masing pustaka di atas. Namun, dimungkinkan untuk meminta mereka secara bergantian dan menilai respons yang dikembalikan.

Bagaimana cara mencetak respons yang dikembalikan?

Setiap respons dapat diberikan satu poin. Semakin banyak poin yang dimiliki respons, semakin percaya diri charset yang terdeteksi. Ini adalah metode penilaian sederhana. Anda bisa menguraikan orang lain.

Apakah ada kode sampel?

Berikut ini cuplikan lengkap yang mengimplementasikan strategi yang dijelaskan dalam baris sebelumnya.

public static String guessEncoding(InputStream input) throws IOException {
    // Load input data
    long count = 0;
    int n = 0, EOF = -1;
    byte[] buffer = new byte[4096];
    ByteArrayOutputStream output = new ByteArrayOutputStream();

    while ((EOF != (n = input.read(buffer))) && (count <= Integer.MAX_VALUE)) {
        output.write(buffer, 0, n);
        count += n;
    }
    
    if (count > Integer.MAX_VALUE) {
        throw new RuntimeException("Inputstream too large.");
    }

    byte[] data = output.toByteArray();

    // Detect encoding
    Map<String, int[]> encodingsScores = new HashMap<>();

    // * GuessEncoding
    updateEncodingsScores(encodingsScores, new CharsetToolkit(data).guessEncoding().displayName());

    // * ICU4j
    CharsetDetector charsetDetector = new CharsetDetector();
    charsetDetector.setText(data);
    charsetDetector.enableInputFilter(true);
    CharsetMatch cm = charsetDetector.detect();
    if (cm != null) {
        updateEncodingsScores(encodingsScores, cm.getName());
    }

    // * juniversalchardset
    UniversalDetector universalDetector = new UniversalDetector(null);
    universalDetector.handleData(data, 0, data.length);
    universalDetector.dataEnd();
    String encodingName = universalDetector.getDetectedCharset();
    if (encodingName != null) {
        updateEncodingsScores(encodingsScores, encodingName);
    }

    // Find winning encoding
    Map.Entry<String, int[]> maxEntry = null;
    for (Map.Entry<String, int[]> e : encodingsScores.entrySet()) {
        if (maxEntry == null || (e.getValue()[0] > maxEntry.getValue()[0])) {
            maxEntry = e;
        }
    }

    String winningEncoding = maxEntry.getKey();
    //dumpEncodingsScores(encodingsScores);
    return winningEncoding;
}

private static void updateEncodingsScores(Map<String, int[]> encodingsScores, String encoding) {
    String encodingName = encoding.toLowerCase();
    int[] encodingScore = encodingsScores.get(encodingName);

    if (encodingScore == null) {
        encodingsScores.put(encodingName, new int[] { 1 });
    } else {
        encodingScore[0]++;
    }
}    

private static void dumpEncodingsScores(Map<String, int[]> encodingsScores) {
    System.out.println(toString(encodingsScores));
}

private static String toString(Map<String, int[]> encodingsScores) {
    String GLUE = ", ";
    StringBuilder sb = new StringBuilder();

    for (Map.Entry<String, int[]> e : encodingsScores.entrySet()) {
        sb.append(e.getKey() + ":" + e.getValue()[0] + GLUE);
    }
    int len = sb.length();
    sb.delete(len - GLUE.length(), len);

    return "{ " + sb.toString() + " }";
}

Perbaikan: TheguessEncoding Metode membaca inputstream sepenuhnya. Untuk aliran input yang besar ini dapat menjadi perhatian. Semua perpustakaan ini akan membaca seluruh inputstream. Ini akan menyiratkan konsumsi waktu yang besar untuk mendeteksi rangkaian karakter.

Dimungkinkan untuk membatasi pemuatan data awal hingga beberapa byte dan melakukan deteksi charset hanya pada beberapa byte tersebut.

Lib di atas adalah detektor BOM sederhana yang tentu saja hanya berfungsi jika ada BOM di awal file. Lihatlah http://jchardet.sourceforge.net/ yang memindai teks

Sejauh yang saya tahu, tidak ada perpustakaan umum dalam konteks ini yang cocok untuk semua jenis masalah. Jadi, untuk setiap masalah Anda harus menguji perpustakaan yang ada dan memilih yang terbaik yang memenuhi kendala masalah Anda, tetapi seringkali tidak ada satupun yang sesuai. Dalam kasus ini Anda dapat menulis Encoding Detector Anda sendiri! Seperti yang saya tulis ...

Saya telah menulis alat java meta untuk mendeteksi pengkodean charset dari halaman Web HTML, menggunakan IBM ICU4j dan Mozilla JCharDet sebagai komponen bawaan. Di sini Anda dapat menemukan alat saya, silakan baca bagian README sebelum yang lain. Selain itu, Anda dapat menemukan beberapa konsep dasar masalah ini di makalah saya dan dalam rujukannya.

Di bawah ini saya memberikan beberapa komentar bermanfaat yang saya alami dalam pekerjaan saya:

• Deteksi charset bukanlah proses yang mudah, karena pada dasarnya didasarkan pada data statistik dan apa yang sebenarnya terjadi adalah menebak tidak mendeteksi
• icu4j adalah alat utama dalam konteks ini oleh IBM, imho
• Baik TikaEncodingDetector dan Lucene-ICU4j menggunakan icu4j dan akurasinya tidak memiliki perbedaan yang berarti dari yang icu4j dalam tes saya (paling banyak% 1, seingat saya)
• icu4j jauh lebih umum daripada jchardet, icu4j hanya sedikit bias terhadap pengkodean keluarga IBM sementara jchardet sangat bias untuk utf-8
• Karena meluasnya penggunaan UTF-8 di dunia HTML; jchardet adalah pilihan yang lebih baik daripada icu4j secara keseluruhan, tetapi bukan pilihan terbaik!
• icu4j sangat bagus untuk penyandian khusus Asia Timur seperti EUC-KR, EUC-JP, SHIFT_JIS, BIG5 dan penyandian keluarga GB
• Kedua icu4j dan jchardet adalah bencana dalam berurusan dengan halaman HTML dengan Windows-1251 dan Windows-1256 encodings. Windows-1251 alias cp1251 banyak digunakan untuk bahasa berbasis Cyrillic seperti Rusia dan Windows-1256 alias cp1256 banyak digunakan untuk bahasa Arab
• Hampir semua alat deteksi enkode menggunakan metode statistik, sehingga akurasi output sangat tergantung pada ukuran dan isi input
• Beberapa pengkodean pada dasarnya sama hanya dengan perbedaan parsial, sehingga dalam beberapa kasus pengkodean yang diduga atau terdeteksi mungkin salah tetapi pada saat yang sama benar! Seperti tentang Windows-1252 dan ISO-8859-1. (lihat paragraf terakhir di bawah bagian 5.2 makalah saya)

Saya menemukan perpustakaan pihak ketiga yang bagus yang dapat mendeteksi pengkodean aktual: http://glaforge.free.fr/wiki/index.php?wiki=GuessEncoding

Saya tidak mengujinya secara luas tetapi tampaknya berhasil.

Jika Anda menggunakan ICU4J ( http://icu-project.org/apiref/icu4j/ )

Ini kode saya:

String charset = "ISO-8859-1"; //Default chartset, put whatever you want

byte[] fileContent = null;
FileInputStream fin = null;

//create FileInputStream object
fin = new FileInputStream(file.getPath());

/*
 * Create byte array large enough to hold the content of the file.
 * Use File.length to determine size of the file in bytes.
 */
fileContent = new byte[(int) file.length()];

/*
 * To read content of the file in byte array, use
 * int read(byte[] byteArray) method of java FileInputStream class.
 *
 */
fin.read(fileContent);

byte[] data =  fileContent;

CharsetDetector detector = new CharsetDetector();
detector.setText(data);

CharsetMatch cm = detector.detect();

if (cm != null) {
    int confidence = cm.getConfidence();
    System.out.println("Encoding: " + cm.getName() + " - Confidence: " + confidence + "%");
    //Here you have the encode name and the confidence
    //In my case if the confidence is > 50 I return the encode, else I return the default value
    if (confidence > 50) {
        charset = cm.getName();
    }
}

Ingatlah untuk meletakkan semua try-catch membutuhkannya.

Saya harap ini berhasil untuk Anda.

Jika Anda tidak tahu penyandian data Anda, itu tidak mudah untuk ditentukan, tetapi Anda bisa mencoba menggunakan perpustakaan untuk menebaknya . Juga, ada pertanyaan serupa .

Untuk file ISO8859_1, tidak ada cara mudah untuk membedakannya dari ASCII. Namun demikian, untuk file Unicode orang dapat mendeteksi ini berdasarkan beberapa byte pertama dari file tersebut.

File UTF-8 dan UTF-16 termasuk Byte Order Mark (BOM) di bagian paling awal file. BOM adalah ruang tanpa putus lebar nol.

Sayangnya, karena alasan historis, Java tidak mendeteksi ini secara otomatis. Program seperti Notepad akan memeriksa BOM dan menggunakan penyandian yang sesuai. Menggunakan unix atau Cygwin, Anda dapat memeriksa BOM dengan perintah file. Sebagai contoh:

$ file sample2.sql 
sample2.sql: Unicode text, UTF-16, big-endian

Untuk Java, saya sarankan Anda memeriksa kode ini, yang akan mendeteksi format file umum dan memilih pengkodean yang benar: Cara membaca file dan secara otomatis menentukan pengkodean yang benar

Alternatif untuk TikaEncodingDetector adalah dengan menggunakan Tika AutoDetectReader .

Charset charset = new AutoDetectReader(new FileInputStream(file)).getCharset();

Di Jawa polos:

final String[] encodings = { "US-ASCII", "ISO-8859-1", "UTF-8", "UTF-16BE", "UTF-16LE", "UTF-16" };

List<String> lines;

for (String encoding : encodings) {
    try {
        lines = Files.readAllLines(path, Charset.forName(encoding));
        for (String line : lines) {
            // do something...
        }
        break;
    } catch (IOException ioe) {
        System.out.println(encoding + " failed, trying next.");
    }
}

Pendekatan ini akan mencoba pengkodean satu per satu sampai satu berhasil atau kita kehabisan. (BTW daftar penyandian saya hanya memiliki item-item itu karena itu adalah implementasi rangkaian karakter yang diperlukan pada setiap platform Java, https://docs.oracle.com/javase/9/docs/api/java/nio/charset/Charset.html )

Bisakah Anda memilih set char yang sesuai di Konstruktor :

new InputStreamReader(new FileInputStream(in), "ISO8859_1");