Bagaimana mengelola penyimpanan HDD besar, integritas data,

Saya sedang menjalankan penyimpanan NAS pribadi.
Saya tidak profesional dalam komputer dan
Saya hanya menggunakan copy-paste untuk melakukan backup. (tidak ada serangan atau sesuatu seperti itu)

Saya memiliki drive arsip 8TB * 8 seagate.
4 drive untuk nas, dan 4 drive untuk cadangan.
Saya jarang memperbarui / menulis di drive ini.

Saya mengalami beberapa kesalahan pada file video.
Jadi saya harus menulis ulang file.

Tetapi ketika saya memeriksa bad sector atau kesalahan lain dengan menggunakan Crystaldisk
Saya tidak dapat menemukan kesalahan ..

Saya tidak tahu cara kerja drive hdd
ini pertanyaannya

1. Apakah mungkin untuk memeriksa sedikit kesalahan / korupsi pada drive hdd? Seperti korupsi bit tunggal ..

2. Cara terbaik untuk mengelola drive hdd arsip jenis ini?
   Saya sedang berpikir untuk membuat hash md5 untuk semua file.
   Tetapi harus ada cara yang lebih baik / lebih pintar untuk melakukan ini.

Semua data sangat penting bagi saya, saya bersedia membayar banyak uang untuk ini ..
Bagaimana layanan penyimpanan cloud mengelola data mereka dengan aman?

Banyak filesystem yang umum digunakan seperti FAT, NTFS, ext2 / 3/4 tidak menjamin integritas data file (misalnya dengan checksum) ... ini ditambah dengan ancaman nyata dari sedikit busuk dapat menyebabkan situasi di mana Anda berada ... Data dikembalikan dari hard disk tanpa kesalahan, tetapi tidak benar.

Ada halaman wiki yang berguna yang membandingkan fitur sistem file sini - untuk kasus penggunaan Anda, kami tertarik pada " Checksum Data "kolom" Kemampuan File " meja, sini .

Pada saat penulisan, daftar filesystem yang memeriksa data (dan Anda mungkin memiliki akses) adalah: ZFS, Brtfs, ReFS.

Menggunakan sistem file yang lebih modern seperti ini memungkinkan ketahanan yang lebih baik terhadap bit-rot. Saya tidak dapat mengomentari yang lain, tetapi gunakan ZFS secara ekstensif sendiri, jadi di situlah sisa jawaban saya akan fokus (khususnya pada jaminan data, mengabaikan banyak fitur berguna lainnya).

Single Disk / Stripe

Menggunakan ZFS dengan a single disk atau striped pool (banyak disk tanpa disk paritas khusus) memberi Anda ketenangan pikiran bahwa jika data dikembalikan, itu benar. Jika data tidak dapat dibaca dengan benar, maka Anda akan melihat kesalahan . Ini dicapai dengan menyimpan checksum dari data serta data itu sendiri.

Perhatikan, bahwa bahkan dengan kolam seperti itu, ZFS copies properti dapat membantu dengan hanya memastikan integritas data - namun menyediakan tidak manfaat sehubungan dengan kegagalan perangkat, jadi saya akan menyarankan agar tidak digunakan.

copies=1 | 2 | 3
    Controls the number of copies of data stored for this dataset. These copies are in
    addition to any redundancy provided by the pool, for example, mirroring or RAID-Z.
    The copies are stored on different disks, if possible. The space used by multiple
    copies is charged to the associated file and dataset, changing the used property
    and counting against quotas and reservations.

Mirror atau RAIDZ

Menggunakan ZFS dengan a mirror, atau raidz1 atau raidz2 pool (1 atau 2 disk paritas) meningkatkan kemampuan di atas untuk mendeteksi kesalahan, dan memungkinkan sistem file untuk mencoba secara otomatis menyembuhkan data yang rusak. Jika pembacaan gagal (karena checksum tidak cocok), maka permintaan baca akan dikirim ke salah satu mirror atau disk paritas. Dalam kejadian yang sangat tidak mungkin bahwa semua sumber memiliki checksum buruk, Anda akan melihat kesalahan, seperti di atas. Tetapi dalam kasus khusus mirror atau parity disk akan berhasil dibaca, data yang benar akan dikembalikan kepada Anda, dan data yang rusak akan ditulis lagi.

Sayangnya saya saat ini tidak mengetahui produk NAS konsumen yang menyediakan dukungan ZFS atau Btrfs, tetapi jika Anda menjalankan ini pada PC, maka distribusi seperti FreeNAS (Menggunakan ZFS) mungkin sangat menarik bagi Anda.

Anda tentu saja dapat menghitung checksum untuk semua file seperti yang Anda sebutkan, tetapi ini menimbulkan masalah ketika mencoba untuk mempertahankan dan memverifikasi checksum.