Masalah penyandian FileReader Java

Saya mencoba menggunakan java.io.FileReader untuk membaca beberapa file teks dan mengonversinya menjadi string, tetapi saya menemukan hasilnya salah dikodekan dan tidak dapat dibaca sama sekali.

Inilah lingkungan saya:

• Windows 2003, pengkodean OS: CP1252

• Java 5.0

File saya dikodekan UTF-8 atau dikodekan CP1252, dan beberapa di antaranya (file yang dikodekan UTF-8) dapat berisi karakter China (non-Latin).

Saya menggunakan kode berikut untuk melakukan pekerjaan saya:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

Kode di atas tidak berfungsi. Saya menemukan pengkodean FileReader adalah CP1252 bahkan jika teksnya dikodekan UTF-8. Tetapi JavaDoc dari java.io.FileReader mengatakan bahwa:

Konstruktor kelas ini mengasumsikan bahwa pengkodean karakter default dan ukuran byte-buffer default adalah tepat.

Apakah ini berarti bahwa saya tidak diharuskan untuk mengatur pengkodean karakter sendiri jika saya menggunakan FileReader? Tapi saat ini saya mendapatkan data penyandian yang salah, apa cara yang benar untuk menangani situasi saya? Terima kasih.

Ya, Anda perlu menentukan penyandian file yang ingin Anda baca.

Ya, ini artinya Anda harus mengetahui penyandian file yang ingin Anda baca.

Tidak, tidak ada cara umum untuk menebak penyandian file "teks biasa" apa pun yang diberikan.

Konstruktor satu argumenFileReader selalu menggunakan platform default encoding yang umumnya merupakan ide yang buruk .

Karena Java 11 FileReaderjuga mendapatkan konstruktor yang menerima pengkodean: new FileReader(file, charset)dan new FileReader(fileName, charset).

Di versi java sebelumnya, Anda harus menggunakan .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader menggunakan penyandian default platform Java, yang tergantung pada pengaturan sistem komputer yang digunakannya dan umumnya penyandian paling populer di antara pengguna di lokal itu.

Jika "tebakan terbaik" ini tidak benar, maka Anda harus menentukan pengkodean secara eksplisit. Sayangnya, FileReadertidak mengizinkan ini (pengawasan besar dalam API). Sebagai gantinya, Anda harus menggunakan new InputStreamReader(new FileInputStream(filePath), encoding)dan idealnya mendapatkan encoding dari metadata tentang file tersebut.

Karena Java 11 Anda dapat menggunakannya:

public FileReader(String fileName, Charset charset) throws IOException;

Untuk Java 7+ doc Anda dapat menggunakan ini:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Ini semua Charset doc

Misalnya jika file Anda ada di CP1252, gunakan metode ini

Charset.forName("windows-1252");

Berikut adalah nama kanonik lainnya untuk penyandian Java baik untuk IO dan NIO doc

Jika Anda tidak tahu dengan tepat pengkodean Anda sudah mendapat dalam file, Anda dapat menggunakan beberapa libs pihak ketiga seperti alat ini dari Google ini yang bekerja cukup rapi.

FileInputStream dengan InputStreamReader lebih baik daripada langsung menggunakan FileReader, karena yang terakhir tidak memungkinkan Anda untuk menentukan pengkodean charset.

Berikut adalah contoh menggunakan BufferedReader, FileInputStream dan InputStreamReader bersama-sama, sehingga Anda bisa membaca baris dari file.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Untuk yang lain sebagai bahasa Latin misalnya Cyrillic, Anda dapat menggunakan sesuatu seperti ini:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

dan pastikan bahwa .txtfile Anda disimpan dengan format UTF-8(tetapi bukan sebagai default ANSI). Bersulang!