Haruskah saya selalu menggunakan aliran paralel jika memungkinkan?

Dengan Java 8 dan lambdas, mudah untuk mengulangi koleksi sebagai stream, dan juga mudah menggunakan stream paralel. Dua contoh dari dokumen , yang kedua menggunakan parallelStream:

myShapesCollection.stream()
    .filter(e -> e.getColor() == Color.RED)
    .forEach(e -> System.out.println(e.getName()));

myShapesCollection.parallelStream() // <-- This one uses parallel
    .filter(e -> e.getColor() == Color.RED)
    .forEach(e -> System.out.println(e.getName()));

Selama saya tidak peduli dengan pesanan, apakah akan selalu bermanfaat untuk menggunakan paralel? Orang akan berpikir lebih cepat membagi pekerjaan pada lebih banyak core.

Apakah ada pertimbangan lain? Kapan aliran paralel digunakan dan kapan non-paralel digunakan?

^{(Pertanyaan ini diminta untuk memicu diskusi tentang bagaimana dan kapan menggunakan aliran paralel, bukan karena saya pikir selalu menggunakannya adalah ide yang bagus.)}

Aliran paralel memiliki overhead yang jauh lebih tinggi dibandingkan dengan aliran berurutan. Mengkoordinasikan utas membutuhkan banyak waktu. Saya akan menggunakan aliran berurutan secara default dan hanya mempertimbangkan yang sejajar jika

• Saya memiliki sejumlah besar item untuk diproses (atau pemrosesan setiap item membutuhkan waktu dan dapat diparalelkan)

• Saya memiliki masalah kinerja di tempat pertama

• Saya belum menjalankan proses dalam lingkungan multi-utas (misalnya: dalam wadah web, jika saya sudah memiliki banyak permintaan untuk diproses secara paralel, menambahkan lapisan paralelisme tambahan di dalam setiap permintaan dapat memiliki lebih banyak efek negatif daripada efek positif )

Dalam contoh Anda, kinerja tetap akan didorong oleh akses yang disinkronkan ke System.out.println() , dan membuat proses ini paralel tidak akan berpengaruh, atau bahkan yang negatif.

Selain itu, ingatlah bahwa aliran paralel tidak secara ajaib menyelesaikan semua masalah sinkronisasi. Jika sumber daya bersama digunakan oleh predikat dan fungsi yang digunakan dalam proses, Anda harus memastikan bahwa semuanya aman. Secara khusus, efek samping adalah hal-hal yang harus Anda khawatirkan jika Anda lakukan secara paralel.

Bagaimanapun, ukurlah, jangan menebak! Hanya pengukuran yang akan memberi tahu Anda apakah paralelisme itu sepadan atau tidak.

Stream API dirancang untuk membuatnya mudah untuk menulis perhitungan dengan cara yang disarikan dari bagaimana mereka akan dieksekusi, membuat beralih antara sekuensial dan paralel menjadi mudah.

Namun, hanya karena mudah, tidak berarti selalu merupakan ide yang bagus, dan pada kenyataannya, itu adalah ide yang buruk untuk drop.parallel() seluruh tempat hanya karena Anda bisa.

Pertama, perhatikan bahwa paralelisme tidak menawarkan manfaat selain kemungkinan eksekusi lebih cepat ketika lebih banyak core tersedia. Eksekusi paralel akan selalu melibatkan lebih banyak pekerjaan daripada yang berurutan, karena selain menyelesaikan masalah, ia juga harus melakukan pengiriman dan koordinasi sub-tugas. Harapannya adalah Anda akan bisa mendapatkan jawaban lebih cepat dengan memecah pekerjaan di beberapa prosesor; apakah ini benar-benar terjadi tergantung pada banyak hal, termasuk ukuran kumpulan data Anda, berapa banyak perhitungan yang Anda lakukan pada setiap elemen, sifat perhitungan (khususnya, apakah pemrosesan satu elemen berinteraksi dengan pemrosesan yang lain?) , jumlah prosesor yang tersedia, dan jumlah tugas lain yang bersaing untuk prosesor tersebut.

Lebih lanjut, perhatikan bahwa paralelisme juga sering memperlihatkan nondeterminisme dalam perhitungan yang sering disembunyikan oleh implementasi berurutan; kadang-kadang ini tidak masalah, atau dapat dikurangi dengan membatasi operasi yang terlibat (yaitu, operator reduksi harus stateless dan asosiatif.)

Pada kenyataannya, terkadang paralelisme akan mempercepat perhitungan Anda, terkadang tidak, dan terkadang bahkan memperlambatnya. Yang terbaik adalah mengembangkan terlebih dahulu menggunakan eksekusi berurutan dan kemudian menerapkan paralelisme di mana

(A) Anda tahu bahwa sebenarnya ada manfaat untuk peningkatan kinerja dan

(B) bahwa itu benar-benar akan memberikan peningkatan kinerja.

(A) adalah masalah bisnis, bukan masalah teknis. Jika Anda seorang ahli kinerja, Anda biasanya dapat melihat kode dan menentukan (B), tetapi jalur pintar untuk mengukur. (Dan, jangan repot-repot sampai Anda yakin (A); jika kodenya cukup cepat, lebih baik untuk menerapkan siklus otak Anda di tempat lain.)

Model kinerja paling sederhana untuk paralelisme adalah model "NQ", di mana N adalah jumlah elemen, dan Q adalah perhitungan per elemen. Secara umum, Anda memerlukan produk NQ untuk melebihi ambang batas sebelum Anda mulai mendapatkan manfaat kinerja. Untuk masalah Q rendah seperti "tambahkan angka dari 1 ke N", Anda biasanya akan melihat titik impas antara N = 1000 dan N = 10.000. Dengan masalah Q yang lebih tinggi, Anda akan melihat breakevens di ambang yang lebih rendah.

Tetapi kenyataannya cukup rumit. Jadi sampai Anda mencapai keahlian, pertama-tama kenali kapan pemrosesan sekuensial benar-benar merugikan Anda, dan kemudian ukur apakah paralelisme akan membantu.

Aku melihat salah satu presentasi dari Brian Goetz (Bahasa Jawa Arsitek & spesifikasi memimpin untuk Ekspresi Lambda) . Dia menjelaskan secara rinci 4 poin berikut untuk dipertimbangkan sebelum pergi untuk paralelisasi:

Biaya pemisahan / penguraian
- Kadang-kadang pemisahan lebih mahal daripada hanya melakukan pekerjaan!
Pengiriman
tugas / biaya manajemen - Dapat melakukan banyak pekerjaan dalam waktu yang diperlukan untuk menyerahkan pekerjaan ke utas lainnya.
Biaya kombinasi hasil
- Kadang kombinasi melibatkan penyalinan banyak data. Misalnya, menambahkan angka itu murah sedangkan menggabungkan set itu mahal.
Lokalitas
- Gajah di dalam ruangan. Ini adalah poin penting yang mungkin dilewatkan semua orang. Anda harus mempertimbangkan kesalahan cache, jika CPU menunggu data karena cache hilang, maka Anda tidak akan mendapatkan apa pun dengan paralelisasi. Itu sebabnya sumber berbasis array memparalelkan yang terbaik sebagai indeks berikutnya (dekat indeks saat ini) di-cache dan ada sedikit kemungkinan bahwa CPU akan mengalami cache miss.

Dia juga menyebutkan formula yang relatif sederhana untuk menentukan peluang percepatan paralel.

Model NQ :

N x Q > 10000

di mana,
N = jumlah item data
Q = jumlah pekerjaan per item

JB memukul kepala. Satu-satunya hal yang dapat saya tambahkan adalah bahwa Java 8 tidak melakukan pemrosesan paralel murni, itu tidak parsial . Ya saya menulis artikel dan saya sudah melakukan F / J selama tiga puluh tahun jadi saya mengerti masalah ini.

Jawaban lain telah mencakup pembuatan profil untuk menghindari optimasi prematur dan biaya overhead dalam pemrosesan paralel. Jawaban ini menjelaskan pilihan ideal struktur data untuk streaming paralel.

Sebagai aturan, kinerja keuntungan dari paralelisme yang terbaik di sungai lebih ArrayList, HashMap, HashSet, dan ConcurrentHashMapcontoh; array; intrentang; dan longrentang. Apa kesamaan struktur data ini adalah bahwa semuanya dapat secara akurat dan murah dipecah menjadi subrange dari ukuran yang diinginkan, yang membuatnya mudah untuk membagi pekerjaan di antara thread paralel. Abstraksi yang digunakan oleh perpustakaan stream untuk melakukan tugas ini adalah spliterator, yang dikembalikan oleh spliteratormetode on StreamdanIterable .

Faktor penting lain yang dimiliki oleh semua struktur data ini adalah bahwa mereka menyediakan lokalitas referensi yang sangat baik ketika diproses secara berurutan: referensi elemen berurutan disimpan bersama dalam memori. Objek yang dirujuk oleh referensi tersebut mungkin tidak berdekatan satu sama lain dalam memori, yang mengurangi referensi lokalitas. Referensi lokalitas ternyata sangat penting untuk memparalelkan operasi massal: tanpanya, thread menghabiskan banyak waktu mereka, menunggu data ditransfer dari memori ke cache prosesor. Struktur data dengan lokalitas referensi terbaik adalah array primitif karena data itu sendiri disimpan secara berdampingan dalam memori.

Sumber: Item # 48 Gunakan Perhatian Saat Membuat Streaming Paralel, Java 3e yang Efektif oleh Joshua Bloch

Jangan pernah mensejajarkan aliran tanpa batas dengan batas. Inilah yang terjadi:

    public static void main(String[] args) {
        // let's count to 1 in parallel
        System.out.println(
            IntStream.iterate(0, i -> i + 1)
                .parallel()
                .skip(1)
                .findFirst()
                .getAsInt());
    }

Hasil

    Exception in thread "main" java.lang.OutOfMemoryError
        at ...
        at java.base/java.util.stream.IntPipeline.findFirst(IntPipeline.java:528)
        at InfiniteTest.main(InfiniteTest.java:24)
    Caused by: java.lang.OutOfMemoryError: Java heap space
        at java.base/java.util.stream.SpinedBuffer$OfInt.newArray(SpinedBuffer.java:750)
        at ...

Sama jika Anda gunakan .limit(...)

Penjelasan di sini: Java 8, menggunakan .parallel dalam aliran menyebabkan kesalahan OOM

Demikian pula, jangan gunakan paralel jika aliran diurutkan dan memiliki lebih banyak elemen daripada yang ingin Anda proses, misalnya

public static void main(String[] args) {
    // let's count to 1 in parallel
    System.out.println(
            IntStream.range(1, 1000_000_000)
                    .parallel()
                    .skip(100)
                    .findFirst()
                    .getAsInt());
}

Ini mungkin berjalan lebih lama karena utas paralel dapat bekerja pada banyak rentang bilangan alih-alih yang penting 0-100, menyebabkan ini membutuhkan waktu yang sangat lama.