Saya telah membaca banyak informasi tentang perencanaan persyaratan RAM untuk deduplikasi ZFS. Saya baru saja memutakhirkan RAM server file saya untuk mendukung beberapa dedupe yang sangat terbatas pada ZFS zvols yang tidak dapat saya gunakan snapshot dan klon (karena mereka zvol diformat sebagai sistem file yang berbeda) namun akan berisi banyak data duplikat.
Saya ingin memastikan bahwa RAM baru yang saya tambahkan akan mendukung deduplikasi terbatas yang ingin saya lakukan. Dalam perencanaan, angka-angka saya terlihat bagus tetapi saya ingin memastikan .
Bagaimana saya bisa memberitahu saat ukuran tabel ZFS dedupe (DDTS) pada sistem hidup saya? Saya membaca utas milis ini tetapi saya tidak jelas bagaimana mereka mencapai angka-angka itu. (Saya dapat memposting output zdb tankjika perlu tapi saya sedang mencari jawaban umum yang dapat membantu orang lain)
Setelah membaca utas email asli dan jawaban @ewewite yang mengklarifikasi, saya pikir pertanyaan ini membutuhkan jawaban yang diperbarui, karena jawaban di atas hanya mencakup setengahnya.
Sebagai contoh, mari gunakan output di pool saya. Saya menggunakan perintah
zdb -U /data/zfs/zpool.cache -bDDD My_pool. Pada sistem saya, saya memerlukan-Uarg tambahan untuk menemukan file cache ZFS untuk kumpulan, yang disimpan oleh FreeNAS di lokasi yang berbeda dari biasanya; Anda mungkin atau mungkin tidak perlu melakukan itu. Umumnya mencobazdbtanpa-Uterlebih dahulu, dan jika Anda mendapatkan kesalahan file cache, gunakanfind / -name "zpool.cache"atau serupa untuk menemukan file yang dibutuhkan.Ini adalah hasil aktual saya dan saya telah menafsirkannya di bawah ini:
Apa artinya semua itu, dan menghitung ukuran tabel dedup yang sebenarnya:
Output menunjukkan dua sub-tabel, satu untuk blok di mana duplikat ada ( DDT-sha256-zap-duplikat ) dan satu untuk blok di mana tidak ada duplikat ( DDT-sha256-zap-unique ) /. Tabel ketiga di bawah ini memberikan total keseluruhan di kedua hal ini, dan ada ringkasan baris di bawahnya. Melihat hanya pada baris "total" dan ringkasan memberi kita apa yang kita butuhkan:
Mari kita lakukan beberapa angka.
Hitungan blok berfungsi seperti ini: Jumlah entri yang terkait dengan duplikat blok = 771295, jumlah entri yang terkait dengan blok unik = 4637966, total entri dalam tabel DDT harus 771295 + 4637966 = 5409261. Jadi jumlah blok dalam jutaan (biner jutaan) itu!) akan menjadi 5409261 / (1024 ^ 2) = 5,158 juta. Dalam ringkasan kami menemukan ada total 5.16M blok .
RAM yang dibutuhkan berfungsi seperti ini: 771295 entri untuk blok duplikat masing-masing menempati 165 byte dalam RAM, dan 4637966 entri untuk blok unik masing-masing menempati 154 byte dalam RAM, sehingga total RAM yang diperlukan untuk tabel dedup sekarang = 841510439 byte = 841510439 / (1024 ^ 2) MBytes = 803 MB = RAM 0,78 GB .
(Ukuran pada disk yang digunakan dapat dikerjakan dengan cara yang sama, menggunakan angka "ukuran pada disk". Jelas ZFS mencoba menggunakan disk I / O secara efisien dan mengambil keuntungan dari kenyataan bahwa ruang disk yang diambil oleh DDT tidak biasanya masalah. Jadi sepertinya ZFS hanya mengalokasikan sektor 512 byte lengkap untuk setiap entri, atau sesuatu di sepanjang baris itu, bukan hanya 154 atau 165 byte, agar tetap efisien. Ini mungkin tidak termasuk penyisihan beberapa salinan disimpan di disk, yang biasanya ZFS lakukan.)
Jumlah total data yang disimpan, dan manfaat dari deduping itu: Dari total statistik DDT, 715 Gbytes ("715G") data disimpan hanya dengan menggunakan 578 GBytes ("578G") dari penyimpanan yang dialokasikan pada disk. Jadi rasio penghematan ruang dedup kami adalah (715 GB data) / (578 GB ruang yang digunakan setelah dikurangi itu) = 1,237 x, itulah yang dikatakan ringkasannya kepada kami ("dedup = 1,24").
sumber