Tanpa loop: {{{Scanner sc = Scanner baru (file, "UTF-8"); sc.useDelimiter ("$ ^"); // regex tidak cocok dengan apa pun String text = sc.next (); sc.close (); }}}
Aivar
3
sangat menarik sehingga tidak ada yang seperti "read ()" dengan python, untuk membaca seluruh file menjadi sebuah string
kommradHomer
2
Ini adalah cara paling sederhana untuk melakukan ini: mkyong.com/java/…
dellasavia
Jawaban:
567
ASCII adalah file TEKS sehingga Anda akan menggunakannya Readersuntuk membaca. Java juga mendukung pembacaan dari file biner menggunakan InputStreams. Jika file yang sedang dibaca sangat besar maka Anda ingin menggunakan BufferedReaderdi atas aFileReader untuk meningkatkan kinerja membaca.
Bacalah artikel ini tentang cara menggunakan aReader
Saya juga merekomendasikan Anda mengunduh dan membaca buku yang luar biasa (belum gratis) ini berjudul Thinking In Java
Memilih Pembaca benar-benar tergantung pada apa yang Anda butuhkan dari isi file. Jika file tersebut kecil (ish) dan Anda membutuhkan semuanya, itu lebih cepat (diperbandingkan oleh kami: 1,8-2x) untuk hanya menggunakan FileReader dan membaca semuanya (atau setidaknya potongan cukup besar). Jika Anda memprosesnya baris demi baris kemudian buka BufferedReader.
Vlad
3
Apakah urutan baris akan dipertahankan saat menggunakan "Files.lines (..). ForEach (...)". Pemahaman saya adalah bahwa pesanan akan berubah setelah operasi ini.
Daniil Shevelev
39
Files.lines(…).forEach(…)tidak mempertahankan urutan baris tetapi dieksekusi secara paralel, @Dash. Jika pesanan penting, Anda dapat menggunakan Files.lines(…).forEachOrdered(…), yang seharusnya mempertahankan pesanan (meskipun tidak memverifikasi).
Palec
2
@Palec ini menarik, tetapi bisakah Anda mengutip dari dokumen di mana dikatakan bahwa Files.lines(...).forEach(...)dieksekusi secara paralel? Saya pikir ini hanya terjadi ketika Anda secara eksplisit membuat aliran paralel menggunakan Files.lines(...).parallel().forEach(...).
Klitos Kyriacou
3
Formulasi asli saya bukan antipeluru, @KlitosKyriacou. Intinya adalah bahwa forEachtidak menjamin urutan apa pun dan alasannya adalah paralelisasi yang mudah. Jika pesanan harus dipertahankan, gunakan forEachOrdered.
Palec
687
Cara favorit saya untuk membaca file kecil adalah dengan menggunakan BufferedReader dan StringBuilder. Ini sangat sederhana dan to the point (meskipun tidak terlalu efektif, tetapi cukup baik untuk kebanyakan kasus):
BufferedReader br =newBufferedReader(newFileReader("file.txt"));try{StringBuilder sb =newStringBuilder();String line = br.readLine();while(line !=null){
sb.append(line);
sb.append(System.lineSeparator());
line = br.readLine();}String everything = sb.toString();}finally{
br.close();}
Beberapa telah menunjukkan bahwa setelah Java 7 Anda harus menggunakan fitur coba-dengan-sumber daya (yaitu tutup otomatis):
try(BufferedReader br =newBufferedReader(newFileReader("file.txt"))){StringBuilder sb =newStringBuilder();String line = br.readLine();while(line !=null){
sb.append(line);
sb.append(System.lineSeparator());
line = br.readLine();}String everything = sb.toString();}
Ketika saya membaca string seperti ini, saya biasanya ingin melakukan penanganan string per baris, jadi saya pergi untuk implementasi ini.
Padahal jika saya ingin benar-benar hanya membaca file menjadi sebuah String, saya selalu menggunakan Apache Commons IO dengan metode IOUtils.toString () kelas. Anda dapat melihat sumbernya di sini:
try(FileInputStream inputStream =newFileInputStream("foo.txt")){String everything =IOUtils.toString(inputStream);// do something with everything string}
Saya telah membuat sedikit penyesuaian untuk berhenti menambahkan baris baru (\ n) jika baris terakhir tercapai. code while (line! = null) {sb.append (line); line = br.readLine (); // Hanya tambahkan baris baru ketika curline BUKAN baris terakhir .. if (line! = Null) {sb.append ("\ n"); }}code
Ramon Fincken
2
Mirip dengan Apache Common IO IOUtils # toString () adalah sun.misc.IOUtils # readFully (), yang termasuk dalam Sun / Oracle JREs.
gb96
3
Untuk kinerja selalu panggil sb.append ('\ n') sebagai preferensi dari sb.append ("\ n") karena char ditambahkan ke StringBuilder lebih cepat daripada sebuah String
gb96
2
FileReader dapat melempar FileNotFoundException dan BufferedRead dapat melempar IOException sehingga Anda harus menangkap mereka.
Cara termudah adalah dengan menggunakan Scannerkelas di Java dan objek FileReader. Contoh sederhana:
Scanner in =newScanner(newFileReader("filename.txt"));
Scanner memiliki beberapa metode untuk membaca dalam string, angka, dll ... Anda dapat mencari informasi lebih lanjut tentang ini di halaman dokumentasi Java.
atau gunakan percobaan "coba-dengan-sumber daya" (FileReader reader = FileReader baru (file))
Hernán Eche
3
Saya perhatikan file.length (), Seberapa baik ini bekerja dengan file utf-16?
Wayne
5
Teknik ini mengasumsikan bahwa read () mengisi buffer; bahwa jumlah karakter sama dengan jumlah byte; bahwa jumlah byte sesuai dengan memori; dan bahwa jumlah byte cocok dengan integer. -1
Marquis of Lorne
1
@ HermesTrismegistus Saya memberikan empat alasan mengapa itu salah. StefanReich benar sekali setuju dengan saya.
Marquis of Lorne
35
Saya harus membandingkan berbagai cara. Saya akan mengomentari temuan saya tetapi, singkatnya, cara tercepat adalah dengan menggunakan BufferedInputStream tua biasa atas FileInputStream. Jika banyak file harus dibaca maka tiga utas akan mengurangi total waktu pelaksanaan menjadi setengahnya, tetapi menambahkan lebih banyak utas akan semakin menurunkan kinerja hingga membuatnya membutuhkan tiga kali lebih lama untuk menyelesaikan dengan dua puluh utas daripada hanya dengan satu utas.
Asumsinya adalah Anda harus membaca file dan melakukan sesuatu yang bermakna dengan isinya. Dalam contoh di sini adalah membaca baris dari log dan menghitung yang berisi nilai yang melebihi batas tertentu. Jadi saya berasumsi bahwa Java 8-liner Files.lines(Paths.get("/path/to/file.txt")).map(line -> line.split(";"))bukan pilihan.
Saya menguji pada Java 1.8, Windows 7 dan kedua drive SSD dan HDD.
Saya menulis enam implementasi yang berbeda:
rawParse : Gunakan BufferedInputStream melalui FileInputStream dan kemudian potong garis membaca byte demi byte. Ini mengungguli pendekatan single-thread lainnya, tetapi mungkin sangat tidak nyaman untuk file non-ASCII.
lineReaderParse : Gunakan BufferedReader di atas FileReader, baca baris demi baris, pisah baris dengan memanggil String.split (). Ini kira-kira 20% lebih lambat dari rawParse itu.
lineReaderParseParallel : Ini sama dengan lineReaderParse, tetapi menggunakan beberapa utas. Ini adalah opsi tercepat secara keseluruhan dalam semua kasus.
nioAsyncParse : Gunakan AsynchronousFileChannel dengan penangan penyelesaian dan kumpulan utas.
nioMemoryMappedParse : Gunakan file yang dipetakan memori. Ini benar-benar ide yang buruk menghasilkan waktu eksekusi setidaknya tiga kali lebih lama daripada implementasi lainnya.
Ini adalah waktu rata-rata untuk membaca 204 file masing-masing 4 MB pada drive quad-core i7 dan SSD. File-file dihasilkan dengan cepat untuk menghindari cache disk.
Saya menemukan perbedaan lebih kecil dari yang saya harapkan antara berjalan pada SSD atau drive HDD menjadi SSD sekitar 15% lebih cepat. Ini mungkin karena file-file tersebut dihasilkan pada HDD yang tidak terfragmentasi dan dibaca secara berurutan, oleh karena itu drive pemintalan dapat bekerja hampir seperti SSD.
Saya terkejut dengan kinerja implementasi nioAsyncParse yang rendah. Entah saya telah mengimplementasikan sesuatu dengan cara yang salah atau implementasi multi-utas menggunakan NIO dan penyelesaian penangan melakukan hal yang sama (atau bahkan lebih buruk) daripada implementasi satu-utas dengan java.io API. Selain itu parse asinkron dengan CompletionHandler jauh lebih panjang dalam garis kode dan sulit untuk diterapkan dengan benar daripada implementasi langsung pada aliran lama.
Sekarang enam implementasi diikuti oleh kelas yang berisi semuanya ditambah metode parametrizable main () yang memungkinkan untuk bermain dengan jumlah file, ukuran file dan derajat konkurensi. Perhatikan bahwa ukuran file bervariasi plus minus 20%. Ini untuk menghindari efek apa pun karena semua file berukuran persis sama.
rawParse
publicvoid rawParse(finalString targetDir,finalint numberOfFiles)throwsIOException,ParseException{
overrunCount =0;finalint dl =(int)';';StringBuffer lineBuffer =newStringBuffer(1024);for(int f=0; f<numberOfFiles; f++){File fl =newFile(targetDir+filenamePreffix+String.valueOf(f)+".txt");FileInputStream fin =newFileInputStream(fl);BufferedInputStream bin =newBufferedInputStream(fin);int character;while((character=bin.read())!=-1){if(character==dl){// Here is where something is done with each line
doSomethingWithRawLine(lineBuffer.toString());
lineBuffer.setLength(0);}else{
lineBuffer.append((char) character);}}
bin.close();
fin.close();}}publicfinalvoid doSomethingWithRawLine(String line)throwsParseException{// What to do for each lineint fieldNumber =0;finalint len = line.length();StringBuffer fieldBuffer =newStringBuffer(256);for(int charPos=0; charPos<len; charPos++){char c = line.charAt(charPos);if(c==DL0){String fieldValue = fieldBuffer.toString();if(fieldValue.length()>0){switch(fieldNumber){case0:Date dt = fmt.parse(fieldValue);
fieldNumber++;break;case1:double d =Double.parseDouble(fieldValue);
fieldNumber++;break;case2:int t =Integer.parseInt(fieldValue);
fieldNumber++;break;case3:if(fieldValue.equals("overrun"))
overrunCount++;break;}}
fieldBuffer.setLength(0);}else{
fieldBuffer.append(c);}}}
lineReaderParse
publicvoid lineReaderParse(finalString targetDir,finalint numberOfFiles)throwsIOException,ParseException{String line;for(int f=0; f<numberOfFiles; f++){File fl =newFile(targetDir+filenamePreffix+String.valueOf(f)+".txt");FileReader frd =newFileReader(fl);BufferedReader brd =newBufferedReader(frd);while((line=brd.readLine())!=null)
doSomethingWithLine(line);
brd.close();
frd.close();}}publicfinalvoid doSomethingWithLine(String line)throwsParseException{// Example of what to do for each lineString[] fields = line.split(";");Date dt = fmt.parse(fields[0]);double d =Double.parseDouble(fields[1]);int t =Integer.parseInt(fields[2]);if(fields[3].equals("overrun"))
overrunCount++;}
publicvoid nioFilesParse(finalString targetDir,finalint numberOfFiles)throwsIOException,ParseException{for(int f=0; f<numberOfFiles; f++){Path ph =Paths.get(targetDir+filenamePreffix+String.valueOf(f)+".txt");Consumer<String> action =newLineConsumer();Stream<String> lines =Files.lines(ph);
lines.forEach(action);
lines.close();}}classLineConsumerimplementsConsumer<String>{@Overridepublicvoid accept(String line){// What to do for each lineString[] fields = line.split(DL);if(fields.length>1){try{Date dt = fmt.parse(fields[0]);}catch(ParseException e){}double d =Double.parseDouble(fields[1]);int t =Integer.parseInt(fields[2]);if(fields[3].equals("overrun"))
overrunCount++;}}}
nioAsyncParse
publicvoid nioAsyncParse(finalString targetDir,finalint numberOfFiles,finalint numberOfThreads,finalint bufferSize)throwsIOException,ParseException,InterruptedException{ScheduledThreadPoolExecutor pool =newScheduledThreadPoolExecutor(numberOfThreads);ConcurrentLinkedQueue<ByteBuffer> byteBuffers =newConcurrentLinkedQueue<ByteBuffer>();for(int b=0; b<numberOfThreads; b++)
byteBuffers.add(ByteBuffer.allocate(bufferSize));for(int f=0; f<numberOfFiles; f++){
consumerThreads.acquire();String fileName = targetDir+filenamePreffix+String.valueOf(f)+".txt";AsynchronousFileChannel channel =AsynchronousFileChannel.open(Paths.get(fileName),EnumSet.of(StandardOpenOption.READ), pool);BufferConsumer consumer =newBufferConsumer(byteBuffers, fileName, bufferSize);
channel.read(consumer.buffer(),0l, channel, consumer);}
consumerThreads.acquire(numberOfThreads);}classBufferConsumerimplementsCompletionHandler<Integer,AsynchronousFileChannel>{privateConcurrentLinkedQueue<ByteBuffer> buffers;privateByteBuffer bytes;privateString file;privateStringBuffer chars;privateint limit;privatelong position;privateDateFormat frmt =newSimpleDateFormat("yyyy-MM-dd HH:mm:ss");publicBufferConsumer(ConcurrentLinkedQueue<ByteBuffer> byteBuffers,String fileName,int bufferSize){
buffers = byteBuffers;
bytes = buffers.poll();if(bytes==null)
bytes =ByteBuffer.allocate(bufferSize);
file = fileName;
chars =newStringBuffer(bufferSize);
frmt =newSimpleDateFormat("yyyy-MM-dd HH:mm:ss");
limit = bufferSize;
position =0l;}publicByteBuffer buffer(){return bytes;}@Overridepublicsynchronizedvoid completed(Integer result,AsynchronousFileChannel channel){if(result!=-1){
bytes.flip();finalint len = bytes.limit();int i =0;try{for(i =0; i < len; i++){byte by = bytes.get();if(by=='\n'){// ***// The code used to process the line goes here
chars.setLength(0);}else{
chars.append((char) by);}}}catch(Exception x){System.out.println("Caught exception "+ x.getClass().getName()+" "+ x.getMessage()+" i="+String.valueOf(i)+", limit="+String.valueOf(len)+", position="+String.valueOf(position));}if(len==limit){
bytes.clear();
position += len;
channel.read(bytes, position, channel,this);}else{try{
channel.close();}catch(IOException e){}
consumerThreads.release();
bytes.clear();
buffers.add(bytes);}}else{try{
channel.close();}catch(IOException e){}
consumerThreads.release();
bytes.clear();
buffers.add(bytes);}}@Overridepublicvoid failed(Throwable e,AsynchronousFileChannel channel){}};
Atau jika Anda lebih suka Guava (perpustakaan yang lebih modern, dikelola secara aktif), ia memiliki utilitas serupa di kelas File -nya . Contoh sederhana dalam jawaban ini .
Apa yang ingin Anda lakukan dengan teks? Apakah file cukup kecil untuk masuk ke dalam memori? Saya akan mencoba mencari cara paling sederhana untuk menangani file untuk kebutuhan Anda. Pustaka FileUtils sangat menangani untuk ini.
@PeterLawrey mungkin artinya org.apache.commons.io.FileUtils. Tautan Google dapat mengubah konten dari waktu ke waktu, karena makna yang paling luas bergeser, tetapi ini cocok dengan kueri dan terlihat benar.
Palec
2
Sayangnya, saat ini tidak ada readLines(String)dan readLines(File)sudah usang mendukung readLines(File, Charset). Pengkodean dapat diberikan juga sebagai string.
Saya mendokumentasikan 15 cara untuk membaca file di Jawa dan kemudian mengujinya untuk kecepatan dengan berbagai ukuran file - dari 1 KB hingga 1 GB dan berikut adalah tiga cara teratas untuk melakukan ini:
import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOException;BufferedReader br;try{
br =newBufferedReader(newFileReader("/fileToRead.txt"));try{String x;while((x = br.readLine())!=null){// Printing out each line in the fileSystem.out.println(x);}}catch(IOException e){
e.printStackTrace();}}catch(FileNotFoundException e){System.out.println(e);
e.printStackTrace();}
Ini pada dasarnya sama persis dengan jawaban Jesus Ramos, kecuali dengan File, bukan FileReader plus iterasi untuk menelusuri isi file.
Scanner in =newScanner(newFile("filename.txt"));while(in.hasNext()){// Iterates each line in the fileString line = in.nextLine();// Do something with line}
in.close();// Don't forget to close resource leaks
File vs FileReader: Dengan FileReader, file harus ada dan izin sistem operasi harus mengizinkan akses. Dengan File, dimungkinkan untuk menguji izin tersebut atau memeriksa apakah file tersebut adalah direktori. File memiliki fungsi yang berguna: isFile (), isDirectory (), listFiles (), canExecute (), canRead (), canWrite (), exist (), mkdir (), delete (). File.createTempFile () menulis ke direktori temp default sistem. Metode ini akan mengembalikan objek file yang dapat digunakan untuk membuka objek FileOutputStream, dll. Sumber
ThisClark
7
Kelas-kelas aliran buffered jauh lebih berkinerja dalam praktek, begitu banyak sehingga NIO.2 API mencakup metode yang secara khusus mengembalikan kelas-kelas aliran ini, sebagian untuk mendorong Anda selalu menggunakan aliran buffered dalam aplikasi Anda.
Berikut ini sebuah contoh:
Path path =Paths.get("/myfolder/myfile.ext");try(BufferedReader reader =Files.newBufferedReader(path)){// Read from the streamString currentLine =null;while((currentLine = reader.readLine())!=null)//do your code here}catch(IOException e){// Handle file I/O exception...}
Ini gagal untuk saya di Android 4.4. Hanya 1024 byte yang dibaca. YMMV.
Roger Keays
3
Saya belum melihatnya disebutkan dalam jawaban lain sejauh ini. Tetapi jika "Terbaik" berarti kecepatan, maka Java I / O (NIO) yang baru mungkin memberikan kinerja yang tercepat, tetapi tidak selalu yang termudah untuk diketahui oleh seseorang yang sedang belajar.
Anda harus menyatakan bagaimana hal itu dilakukan dan tidak memberikan tautan untuk diikuti
Orar
3
Cara paling sederhana untuk membaca data dari file di Jawa adalah menggunakan kelas File untuk membaca file dan kelas Scanner untuk membaca konten file.
publicstaticvoid main(String args[])throwsException{File f =newFile("input.txt");
takeInputIn2DArray(f);}publicstaticvoid takeInputIn2DArray(File f)throwsException{Scanner s =newScanner(f);int a[][]=newint[20][20];for(int i=0; i<20; i++){for(int j=0; j<20; j++){
a[i][j]= s.nextInt();}}}
PS: Jangan lupa mengimpor java.util. *; agar Pemindai berfungsi.
Ini mungkin bukan jawaban yang tepat untuk pertanyaan itu. Ini hanyalah cara lain untuk membaca file di mana Anda tidak secara eksplisit menentukan path ke file Anda dalam kode Java Anda dan sebaliknya, Anda membacanya sebagai argumen baris perintah.
Saya pikir readAllBytes lebih cepat dan lebih tepat, karena itu tidak menggantikan baris baru \ndan juga baris baru \r\n. Tergantung pada kebutuhan Anda mana yang cocok.
Anda tidak dapat menggunakan ini pada 'file apa pun yang Anda inginkan'. Anda hanya dapat menggunakannya untuk sumber daya yang telah dikemas ke dalam file JAR atau WAR.
try{File f =newFile("filename.txt");Scanner r =newScanner(f);while(r.hasNextLine()){String data = r.nextLine();JOptionPane.showMessageDialog(data);}
r.close();}catch(FileNotFoundException ex){JOptionPane.showMessageDialog("Error occurred");
ex.printStackTrace();}
Jauh lebih cepat, saya ragu, jika Anda menggunakan penggabungan string sederhana alih-alih sebuah StringBuilder ...
PhiLho
6
Saya pikir peningkatan kecepatan utama adalah dari membaca dalam 1MB (1024 * 1024) blok. Namun Anda bisa melakukan hal yang sama hanya dengan melewati 1024 * 1024 sebagai argumen kedua untuk BufferedReader constructor.
gb96
3
Saya tidak percaya ini diuji sama sekali. menggunakan +=cara ini memberi Anda kompleksitas kuadrat (!) untuk tugas yang seharusnya kompleksitas linier. ini akan mulai merangkak untuk file lebih dari beberapa mb. untuk menyiasatinya, Anda harus menyimpan blok teks dalam daftar <string> atau menggunakan stringbuilder yang disebutkan di atas.
kritzikratzi
5
Jauh lebih cepat dari apa? Ini tentu saja tidak lebih cepat daripada menambahkan ke StringBuffer. -1
Marquis of Lorne
1
@ gb96 Saya memikirkan hal yang sama tentang ukuran buffer, tetapi percobaan terperinci dalam pertanyaan ini memberikan hasil yang mengejutkan dalam konteks yang sama: buffer 16KB secara konsisten dan terasa lebih cepat.
chiastic-security
-3
String fileName ='yourFileFullNameWithPath';File file =newFile(fileName);// Creates a new file object for your fileFileReader fr =newFileReader(file);// Creates a Reader that you can use to read the contents of a file read your fileBufferedReader br =newBufferedReader(fr);//Reads text from a character-input stream, buffering characters so as to provide for the efficient reading of characters, arrays, and lines.
Kumpulan baris di atas dapat ditulis dalam 1 baris tunggal sebagai:
Jawaban:
ASCII adalah file TEKS sehingga Anda akan menggunakannya
Readers
untuk membaca. Java juga mendukung pembacaan dari file biner menggunakanInputStreams
. Jika file yang sedang dibaca sangat besar maka Anda ingin menggunakanBufferedReader
di atas aFileReader
untuk meningkatkan kinerja membaca.Bacalah artikel ini tentang cara menggunakan a
Reader
Saya juga merekomendasikan Anda mengunduh dan membaca buku yang luar biasa (belum gratis) ini berjudul Thinking In Java
Di Jawa 7 :
(docs) atau
(docs)
Di Jawa 8 :
(docs)
sumber
Files.lines(…).forEach(…)
tidak mempertahankan urutan baris tetapi dieksekusi secara paralel, @Dash. Jika pesanan penting, Anda dapat menggunakanFiles.lines(…).forEachOrdered(…)
, yang seharusnya mempertahankan pesanan (meskipun tidak memverifikasi).Files.lines(...).forEach(...)
dieksekusi secara paralel? Saya pikir ini hanya terjadi ketika Anda secara eksplisit membuat aliran paralel menggunakanFiles.lines(...).parallel().forEach(...)
.forEach
tidak menjamin urutan apa pun dan alasannya adalah paralelisasi yang mudah. Jika pesanan harus dipertahankan, gunakanforEachOrdered
.Cara favorit saya untuk membaca file kecil adalah dengan menggunakan BufferedReader dan StringBuilder. Ini sangat sederhana dan to the point (meskipun tidak terlalu efektif, tetapi cukup baik untuk kebanyakan kasus):
Beberapa telah menunjukkan bahwa setelah Java 7 Anda harus menggunakan fitur coba-dengan-sumber daya (yaitu tutup otomatis):
Ketika saya membaca string seperti ini, saya biasanya ingin melakukan penanganan string per baris, jadi saya pergi untuk implementasi ini.
Padahal jika saya ingin benar-benar hanya membaca file menjadi sebuah String, saya selalu menggunakan Apache Commons IO dengan metode IOUtils.toString () kelas. Anda dapat melihat sumbernya di sini:
http://www.docjar.com/html/api/org/apache/commons/io/IOUtils.java.html
Dan bahkan lebih sederhana dengan Java 7:
sumber
code
while (line! = null) {sb.append (line); line = br.readLine (); // Hanya tambahkan baris baru ketika curline BUKAN baris terakhir .. if (line! = Null) {sb.append ("\ n"); }}code
Cara termudah adalah dengan menggunakan
Scanner
kelas di Java dan objek FileReader. Contoh sederhana:Scanner
memiliki beberapa metode untuk membaca dalam string, angka, dll ... Anda dapat mencari informasi lebih lanjut tentang ini di halaman dokumentasi Java.Misalnya membaca seluruh konten menjadi
String
:Juga jika Anda memerlukan penyandian khusus, Anda dapat menggunakannya sebagai ganti
FileReader
:sumber
BufferedReader
while ((line = br.readLine()) != null) { sb.append(line); }
?Ini adalah solusi sederhana:
sumber
Berikut cara lain untuk melakukannya tanpa menggunakan perpustakaan eksternal:
sumber
Saya harus membandingkan berbagai cara. Saya akan mengomentari temuan saya tetapi, singkatnya, cara tercepat adalah dengan menggunakan BufferedInputStream tua biasa atas FileInputStream. Jika banyak file harus dibaca maka tiga utas akan mengurangi total waktu pelaksanaan menjadi setengahnya, tetapi menambahkan lebih banyak utas akan semakin menurunkan kinerja hingga membuatnya membutuhkan tiga kali lebih lama untuk menyelesaikan dengan dua puluh utas daripada hanya dengan satu utas.
Asumsinya adalah Anda harus membaca file dan melakukan sesuatu yang bermakna dengan isinya. Dalam contoh di sini adalah membaca baris dari log dan menghitung yang berisi nilai yang melebihi batas tertentu. Jadi saya berasumsi bahwa Java 8-liner
Files.lines(Paths.get("/path/to/file.txt")).map(line -> line.split(";"))
bukan pilihan.Saya menguji pada Java 1.8, Windows 7 dan kedua drive SSD dan HDD.
Saya menulis enam implementasi yang berbeda:
rawParse : Gunakan BufferedInputStream melalui FileInputStream dan kemudian potong garis membaca byte demi byte. Ini mengungguli pendekatan single-thread lainnya, tetapi mungkin sangat tidak nyaman untuk file non-ASCII.
lineReaderParse : Gunakan BufferedReader di atas FileReader, baca baris demi baris, pisah baris dengan memanggil String.split (). Ini kira-kira 20% lebih lambat dari rawParse itu.
lineReaderParseParallel : Ini sama dengan lineReaderParse, tetapi menggunakan beberapa utas. Ini adalah opsi tercepat secara keseluruhan dalam semua kasus.
nioFilesParse : Gunakan java.nio.files.Files.lines ()
nioAsyncParse : Gunakan AsynchronousFileChannel dengan penangan penyelesaian dan kumpulan utas.
nioMemoryMappedParse : Gunakan file yang dipetakan memori. Ini benar-benar ide yang buruk menghasilkan waktu eksekusi setidaknya tiga kali lebih lama daripada implementasi lainnya.
Ini adalah waktu rata-rata untuk membaca 204 file masing-masing 4 MB pada drive quad-core i7 dan SSD. File-file dihasilkan dengan cepat untuk menghindari cache disk.
Saya menemukan perbedaan lebih kecil dari yang saya harapkan antara berjalan pada SSD atau drive HDD menjadi SSD sekitar 15% lebih cepat. Ini mungkin karena file-file tersebut dihasilkan pada HDD yang tidak terfragmentasi dan dibaca secara berurutan, oleh karena itu drive pemintalan dapat bekerja hampir seperti SSD.
Saya terkejut dengan kinerja implementasi nioAsyncParse yang rendah. Entah saya telah mengimplementasikan sesuatu dengan cara yang salah atau implementasi multi-utas menggunakan NIO dan penyelesaian penangan melakukan hal yang sama (atau bahkan lebih buruk) daripada implementasi satu-utas dengan java.io API. Selain itu parse asinkron dengan CompletionHandler jauh lebih panjang dalam garis kode dan sulit untuk diterapkan dengan benar daripada implementasi langsung pada aliran lama.
Sekarang enam implementasi diikuti oleh kelas yang berisi semuanya ditambah metode parametrizable main () yang memungkinkan untuk bermain dengan jumlah file, ukuran file dan derajat konkurensi. Perhatikan bahwa ukuran file bervariasi plus minus 20%. Ini untuk menghindari efek apa pun karena semua file berukuran persis sama.
rawParse
lineReaderParse
lineReaderParseParallel
nioFilesParse
nioAsyncParse
IMPLEMENTASI RUNNABLE PENUH SEMUA KASUS
https://github.com/sergiomt/javaiobenchmark/blob/master/FileReadBenchmark.java
sumber
Berikut adalah tiga metode yang berfungsi dan diuji:
Menggunakan
BufferedReader
Menggunakan
Scanner
Menggunakan
FileReader
Baca seluruh file tanpa loop menggunakan
Scanner
kelassumber
java.nio.file.Files
? Kita sekarang dapat hanya menggunakanreadAllLines
,readAllBytes
danlines
.Metode-metode di dalamnya
org.apache.commons.io.FileUtils
juga sangat berguna, misalnya:sumber
Apa yang ingin Anda lakukan dengan teks? Apakah file cukup kecil untuk masuk ke dalam memori? Saya akan mencoba mencari cara paling sederhana untuk menangani file untuk kebutuhan Anda. Pustaka FileUtils sangat menangani untuk ini.
sumber
org.apache.commons.io.FileUtils
. Tautan Google dapat mengubah konten dari waktu ke waktu, karena makna yang paling luas bergeser, tetapi ini cocok dengan kueri dan terlihat benar.readLines(String)
danreadLines(File)
sudah usang mendukungreadLines(File, Charset)
. Pengkodean dapat diberikan juga sebagai string.Saya mendokumentasikan 15 cara untuk membaca file di Jawa dan kemudian mengujinya untuk kecepatan dengan berbagai ukuran file - dari 1 KB hingga 1 GB dan berikut adalah tiga cara teratas untuk melakukan ini:
java.nio.file.Files.readAllBytes()
Diuji untuk bekerja di Java 7, 8, dan 9.
java.io.BufferedReader.readLine()
Diuji untuk bekerja di Java 7, 8, 9.
java.nio.file.Files.lines()
Ini diuji untuk berfungsi di Java 8 dan 9 tetapi tidak akan berfungsi di Java 7 karena persyaratan ekspresi lambda.
sumber
Di bawah ini adalah satu-baris melakukannya dengan cara Java 8. Mengasumsikan
text.txt
file berada di root direktori proyek Eclipse.sumber
Menggunakan BufferedReader:
sumber
Ini pada dasarnya sama persis dengan jawaban Jesus Ramos, kecuali dengan File, bukan FileReader plus iterasi untuk menelusuri isi file.
... melempar
FileNotFoundException
sumber
Kelas-kelas aliran buffered jauh lebih berkinerja dalam praktek, begitu banyak sehingga NIO.2 API mencakup metode yang secara khusus mengembalikan kelas-kelas aliran ini, sebagian untuk mendorong Anda selalu menggunakan aliran buffered dalam aplikasi Anda.
Berikut ini sebuah contoh:
Anda dapat mengganti kode ini
dengan
Saya merekomendasikan artikel ini untuk mempelajari kegunaan utama Java NIO dan IO.
sumber
Mungkin tidak secepat dengan I / O buffer, tetapi cukup singkat:
The
\Z
pola menceritakanScanner
bahwa pembatas adalah EOF.sumber
if(scanner.hasNext()) content = scanner.next();
Saya belum melihatnya disebutkan dalam jawaban lain sejauh ini. Tetapi jika "Terbaik" berarti kecepatan, maka Java I / O (NIO) yang baru mungkin memberikan kinerja yang tercepat, tetapi tidak selalu yang termudah untuk diketahui oleh seseorang yang sedang belajar.
http://download.oracle.com/javase/tutorial/essential/io/file.html
sumber
Cara paling sederhana untuk membaca data dari file di Jawa adalah menggunakan kelas File untuk membaca file dan kelas Scanner untuk membaca konten file.
PS: Jangan lupa mengimpor java.util. *; agar Pemindai berfungsi.
sumber
Guava menyediakan satu-liner untuk ini:
sumber
Ini mungkin bukan jawaban yang tepat untuk pertanyaan itu. Ini hanyalah cara lain untuk membaca file di mana Anda tidak secara eksplisit menentukan path ke file Anda dalam kode Java Anda dan sebaliknya, Anda membacanya sebagai argumen baris perintah.
Dengan kode berikut,
langsung saja jalankan dengan:
Ini akan membaca konten
input.txt
dan mencetaknya ke konsol Anda.Anda juga dapat membuat Anda
System.out.println()
menulis ke file tertentu melalui baris perintah sebagai berikut:Ini akan membaca dari
input.txt
dan menulis keoutput.txt
.sumber
Anda dapat menggunakan readAllLines dan
join
metode untuk mendapatkan seluruh konten file dalam satu baris:Ini menggunakan pengkodean UTF-8 secara default, yang membaca data ASCII dengan benar.
Anda juga dapat menggunakan readAllBytes:
Saya pikir readAllBytes lebih cepat dan lebih tepat, karena itu tidak menggantikan baris baru
\n
dan juga baris baru\r\n
. Tergantung pada kebutuhan Anda mana yang cocok.sumber
Untuk aplikasi web Maven berbasis JSF, cukup gunakan ClassLoader dan
Resources
folder untuk membaca file apa pun yang Anda inginkan:Masukkan ketergantungan Apache Commons IO ke POM Anda:
Gunakan kode di bawah ini untuk membacanya (mis. Di bawah ini dibaca dalam file .json):
Anda dapat melakukan hal yang sama untuk file teks, file properti, skema XSD , dll.
sumber
Cactoos memberi Anda satu kalimat deklaratif:
sumber
Gunakan ciuman Jawa jika ini tentang kesederhanaan struktur:
sumber
Cukup gunakan java 8 Stream.
sumber
sumber
Metode paling intuitif diperkenalkan di Java 11
Files.readString
PHP memiliki kemewahan ini sejak puluhan tahun yang lalu! ☺
sumber
Kode yang saya programkan ini jauh lebih cepat untuk file yang sangat besar:
sumber
+=
cara ini memberi Anda kompleksitas kuadrat (!) untuk tugas yang seharusnya kompleksitas linier. ini akan mulai merangkak untuk file lebih dari beberapa mb. untuk menyiasatinya, Anda harus menyimpan blok teks dalam daftar <string> atau menggunakan stringbuilder yang disebutkan di atas.Kumpulan baris di atas dapat ditulis dalam 1 baris tunggal sebagai:
Menambahkan ke pembuat string (Jika file Anda besar, disarankan untuk menggunakan pembuat string yang lain menggunakan objek String normal)
sumber