Misalkan saya memiliki array numpy memori yang besar, saya memiliki fungsi funcyang mengambil array raksasa ini sebagai input (bersama dengan beberapa parameter lain). funcdengan parameter yang berbeda dapat dijalankan secara paralel. Sebagai contoh: def func(arr, param): # do stuff to arr,...
Saya memiliki sedikit masalah dengan salah satu proyek saya. Saya telah mencoba untuk menemukan contoh yang terdokumentasi dengan baik tentang penggunaan memori bersama fork()tetapi tidak berhasil. Pada dasarnya skenario adalah bahwa ketika pengguna memulai program, saya perlu menyimpan dua...
Saya memiliki 60GB SciPy Array (Matrix) yang harus saya bagikan antara 5+ multiprocessing Processobjek. Saya telah melihat numpy-sharedmem dan membaca diskusi ini di daftar SciPy. Tampaknya ada dua pendekatan - numpy-sharedmemdan menggunakan a multiprocessing.RawArray()dan memetakan NumPy dtypes...
Saya sering perlu menerapkan fungsi ke grup yang sangat besar DataFrame(tipe data campuran) dan ingin memanfaatkan beberapa inti. Saya dapat membuat iterator dari grup dan menggunakan modul multiprosesing, tetapi itu tidak efisien karena setiap grup dan hasil fungsi harus diawetkan untuk...