Pertanyaan yang diberi tag hdf5

Pekerjaan "Data besar" mengalir menggunakan panda

Saya telah mencoba mencari jawaban untuk pertanyaan ini selama berbulan-bulan sambil belajar panda. Saya menggunakan SAS untuk pekerjaan saya sehari-hari dan itu sangat bagus untuk itu dukungan di luar inti. Namun, SAS mengerikan sebagai bagian dari perangkat lunak karena berbagai alasan...

Apakah ada kecepatan analisis atau keunggulan penggunaan memori saat menggunakan HDF5 untuk penyimpanan array besar (bukan file biner datar)?

Saya sedang memproses array 3D besar, yang sering kali perlu saya potong dengan berbagai cara untuk melakukan berbagai analisis data. "Kubus" biasa bisa berukuran ~ 100 GB (dan kemungkinan akan bertambah besar di masa mendatang) Tampaknya format file tipikal yang direkomendasikan untuk kumpulan...