Apakah ada alat yang dirancang khusus untuk mengompresi data ilmiah floating point? Jika suatu fungsi halus, jelas ada banyak korelasi antara angka-angka yang mewakili fungsi itu, sehingga data harus dikompres dengan baik. Zipping / gzipping data floating point biner tidak kompres dengan baik....
Saya telah menggunakan HDF5 selama bertahun-tahun, tetapi seiring dengan bertambahnya ukuran dataset, saya mulai mengalami masalah yang sama seperti yang tercantum di sini http://cyrille.rossant.net/moving-away-hdf5/ Bisakah Anda mengarahkan saya ke format seperti HDF5 dengan - Dukungan yang baik...
TL, DR Apa praktik terbaik yang diterima dalam lingkaran komputasi ilmiah untuk menyimpan sejumlah besar data terstruktur secara hierarkis? Sebagai contoh, SQL tidak bermain dengan baik dengan matriks jarang yang besar. Apakah ada alat yang bagus untuk penataan, pergudangan, dan analisis data...
Saya tidak terbiasa dengan format file yang digunakan dalam HDF5, tetapi saya bertanya-tanya apakah file HDF5 cocok untuk kontrol revisi dengan git (atau misalnya Mercurial atau Subversion)? Saya kira apa yang saya maksud adalah: apakah file HDF5 cocok untuk perbedaan berbasis garis atau git harus...