Pertanyaan yang diberi tag h5py

Input dan output array numpy ke h5py

Saya memiliki kode Python yang outputnya adalah matriks berukuran, yang semua isinya adalah tipe float. Jika saya menyimpannya dengan ekstensi .datukuran file di urutan 500 MB. Saya membaca bahwa menggunakan sangat h5pymengurangi ukuran file. Jadi, katakanlah saya memiliki array numpy 2D bernama A....

Apakah ada kecepatan analisis atau keunggulan penggunaan memori saat menggunakan HDF5 untuk penyimpanan array besar (bukan file biner datar)?

Saya sedang memproses array 3D besar, yang sering kali perlu saya potong dengan berbagai cara untuk melakukan berbagai analisis data. "Kubus" biasa bisa berukuran ~ 100 GB (dan kemungkinan akan bertambah besar di masa mendatang) Tampaknya format file tipikal yang direkomendasikan untuk kumpulan...