Pertanyaan ini terinspirasi oleh https://superuser.com/questions/374386/how-to-store-and-preserve-lots-of-data . Ada pertanyaan serupa lainnya, tetapi tidak ada dengan kriteria yang sama.

Ini adalah dua pertanyaan dalam satu.

1. Bagaimana Anda menyimpan catatan keuangan / kritis yang harus bertahan hidup selain dari kebakaran dan harus tersedia selama beberapa dekade?
2. Katakanlah saya ingin menyimpan foto / video keluarga dan ingin orang-orang dapat menemukannya di penyimpanan 100 tahun dari sekarang dan masih dapat menggunakannya. Bagaimana ini akan dilakukan?

Kriteria

1. Jangka panjang berarti 30+ tahun dijamin . Rata-rata 100+ tahun. [Jika ini tidak praktis, gunakan solusi terdekat]
2. Volume tinggi berarti beberapa terabyte.
3. Jawaban dapat berupa solusi 'tanpa kompromi / industri' atau solusi praktis untuk pengguna rumahan / bisnis kecil.
4. Media tidak akan aktif selama jangka waktu. (yaitu, jika Anda menyarankan hard drive, mereka tidak akan berputar).
5. Lebih lanjut, tidak ada harapan perlu membaca arsip ini. Mereka ada untuk tujuan darurat atau "untuk generasi mendatang".
6. Seharusnya tidak memerlukan pemeliharaan (jika memungkinkan).

Pikiran saya:

1. CD-R / DVD-R telah membuktikan kepada saya, bahkan dalam jangka pendek, sebagai media yang mengerikan untuk backup. Mereka tampaknya sangat rapuh dan tampaknya kehilangan data mereka dalam waktu yang sangat singkat bahkan ketika dalam kondisi bersih.
2. Saya tidak dapat membantu tetapi berpikir bahwa menyimpan data pada beberapa hdd 1TB dan kemudian mengharapkan mereka berputar dengan benar satu atau dua dekade kemudian menjadi ide yang buruk. Apakah aku salah?
3. Drive tape industri sepertinya merupakan opsi yang layak?

Kertas

Selain tinta arsip pada kertas arsip dalam penyimpanan tertutup, tidak ada media saat ini yang terbukti bertahan rata-rata 100 tahun tanpa perawatan apa pun.

Kertas Arsip

Kertas-kertas yang lebih tua terbuat dari bahan-bahan seperti linen dan rami, dan juga bersifat alkali alami. atau bebas asam, oleh karena itu berlangsung ratusan tahun. Kertas abad ke-20 dan kertas paling modern biasanya terbuat dari bubur kayu, yang seringkali bersifat asam dan tidak disimpan dalam waktu lama.

Tinta Arsip

Tinta permanen dan tidak luntur ini tahan terhadap cahaya, panas, dan air, dan tidak mengandung kotoran yang dapat mempengaruhi keabadian kertas atau bahan foto. Black Actinic Inks stabil secara kimiawi dan memiliki pigmen anorganik yang tidak memiliki kecenderungan untuk menyerap kotoran seperti pigmen tinta lainnya.

Penyimpanan berlebihan

Torvalds pernah berkata

Hanya para pengecut yang menggunakan cadangan tape: _real_ pria hanya mengunggah barang-barang penting mereka di ftp, dan biarkan seluruh dunia memantulkannya

Yang menyarankan Anda tidak harus bergantung pada satu salinan pada media tunggal.

Bukan media magnetik?

http://www.zdnet.com/blog/perlow/the-bell-tolls-for-your-magnetic-media/9364?tag=content;siu-container

• Contoh khas degradasi media magnetik yang tidak dapat diperbaiki.
• Masalah perangkat keras dan perangkat lunak (dan format data)

Bukan sistem khusus

Pada tahun 2002, ada kekhawatiran besar bahwa cakram akan menjadi tidak dapat dibaca karena komputer yang mampu membaca format telah menjadi langka dan cakram yang mampu mengakses cakram lebih jarang lagi. Selain kesulitan meniru kode asli, masalah utama adalah bahwa gambar diam telah disimpan pada laser disc sebagai video analog single-frame,

http://en.wikipedia.org/wiki/BBC_Domesday_Project#P pelestarian

Penyimpanan Pribadi Jangka Panjang

http://www.zdnet.com/blog/storage/long-term-personal-data-storage/376

• baik media DAN format bisa menjadi tidak dapat dibaca.
• mencetak pada kertas bebas asam dengan tinta pigmen dan simpan di tempat yang sejuk, kering, dan gelap.
• Masalah pertama adalah memilih format data untuk umur panjang maksimum.
• Hindari menggunakan format berpemilik
• USCSF mentransfer semua kaset asli mereka - banyak dalam format yang sekarang usang seperti BetaSP dan VHS - ke format 75Mbit motionJPEG2000

Jawaban singkat

Tidak mungkin untuk menjamin jangka waktu yang lama karena entropi (juga disebut kematian!). Data digital membusuk dan mati, sama seperti hal lain di alam semesta. Tapi itu bisa diperlambat.

Saat ini tidak ada bukti kegagalan dan secara ilmiah terbukti untuk menjamin 30+ tahun pengarsipan data dingin. Beberapa proyek bertujuan untuk melakukan itu, seperti proyek Rosetta Disks dari museum Long Now , meskipun mereka masih sangat mahal dan dengan kepadatan data yang rendah (sekitar 50 MB).

Sementara itu, Anda dapat menggunakan media optik tangguh yang telah terbukti secara ilmiah untuk penyimpanan dingin seperti jenis Blu-ray Disc HTL seperti Panasonic, atau DVD kelas + arsip seperti Verbatim Gold Archival, dan simpan di dalam kotak kedap udara di titik lunak (hindari suhu tinggi) dan keluar dari cahaya.

Juga menjadi REDUNDAN : Buat beberapa salinan data Anda (setidaknya 4), dan hitung hash untuk memeriksa secara teratur bahwa semuanya baik-baik saja, dan setiap beberapa tahun Anda harus menulis ulang data Anda pada disk baru. Juga, gunakan banyak kode koreksi kesalahan , mereka akan memungkinkan Anda untuk memperbaiki data Anda yang rusak!

Jawaban panjang

Mengapa data rusak dengan waktu? Jawabannya terletak pada satu kata: entropi . Ini adalah salah satu kekuatan utama dan tak terhindarkan dari alam semesta, yang membuat sistem menjadi semakin tidak teratur dalam waktu. Korupsi data persis seperti itu: gangguan urutan bit. Jadi dengan kata lain, Semesta membenci data Anda .

Melawan entropi sama seperti melawan kematian: Anda tidak akan pernah berhasil, selamanya. Tetapi, Anda dapat menemukan cara untuk memperlambat kematian, seperti halnya Anda dapat memperlambat entropi. Anda juga dapat mengelabui entropi dengan memperbaiki korupsi (dengan kata lain: Anda tidak dapat menghentikan korupsi, tetapi Anda dapat memperbaiki setelah itu terjadi jika Anda mengambil tindakan sebelumnya!). Sama seperti apa pun tentang hidup dan mati, tidak ada peluru ajaib, atau satu solusi untuk semua, dan solusi terbaik mengharuskan Anda untuk secara langsung terlibat dalam kurasi digital data Anda. Dan bahkan jika Anda melakukan semuanya dengan benar, Anda tidak dijamin untuk menjaga data Anda aman, Anda hanya memaksimalkan peluang Anda.

Sekarang untuk berita baiknya: sekarang ada cara yang cukup efisien untuk menyimpan data Anda, jika Anda menggabungkan media penyimpanan yang berkualitas baik , dan strategi pengarsipan / kurasi yang baik : Anda harus merancang kegagalan .

Apa strategi kurasi yang baik? Mari kita luruskan satu hal: sebagian besar info yang Anda temukan adalah tentang cadangan, bukan tentang arsip. Masalahnya adalah bahwa kebanyakan orang akan mentransfer pengetahuan mereka tentang strategi backup ke arsip, dan dengan demikian banyak mitos sekarang sering terdengar. Memang, menyimpan data selama beberapa tahun (cadangan) dan menyimpan data untuk waktu terlama yang mungkin berlangsung selama beberapa dekade setidaknya (arsip) adalah tujuan yang sama sekali berbeda, dan karenanya memerlukan alat dan strategi yang berbeda.

Untungnya, ada banyak penelitian dan hasil ilmiah, jadi saya menyarankan untuk merujuk pada makalah ilmiah daripada di forum atau majalah. Di sini, saya akan merangkum beberapa bacaan saya.

Selain itu, waspadalah terhadap klaim dan studi ilmiah yang tidak independen , mengklaim bahwa media penyimpanan ini atau itu sempurna. Ingat proyek BBC Domesday yang terkenal: «Digital Domesday Book bertahan 15 tahun, bukan 1000» . Selalu periksa penelitian dengan kertas yang benar-benar independen, dan jika tidak ada, selalu menganggap media penyimpanan tidak baik untuk arsip.

Mari kita perjelas apa yang Anda cari (dari pertanyaan Anda):

• Arsip jangka panjang : Anda ingin menyimpan salinan data "pribadi" Anda yang masuk akal dan tidak dapat diproduksi kembali. Pengarsipan pada dasarnya berbeda dari cadangan , juga dijelaskan di sini : cadangan untuk data teknis dinamis yang secara teratur diperbarui dan dengan demikian perlu disegarkan menjadi cadangan (yaitu, OS, tata letak folder kerja, dll.), Sedangkan arsip adalah data statis yang Anda mungkin akan menulis hanya sekali dan hanya membaca dari waktu ke waktu . Arsip untuk data intemporal , biasanya pribadi.

• Penyimpanan dingin : Anda ingin menghindari pemeliharaan data yang diarsipkan sebanyak mungkin. Ini adalah kendala BESAR, karena media harus menggunakan komponen dan metodologi penulisan yang tetap stabil untuk waktu yang sangat lama, tanpa manipulasi dari bagian Anda, dan tanpa memerlukan koneksi apa pun ke komputer atau pasokan listrik.

Untuk memudahkan analisis kami, pertama-tama pelajari solusi penyimpanan dingin, dan kemudian strategi arsip jangka panjang.

Media penyimpanan dingin

Kami mendefinisikan di atas apa media penyimpanan dingin yang baik: media itu harus menyimpan data untuk waktu yang lama tanpa manipulasi apa pun (karena itulah disebut "dingin": Anda bisa menyimpannya di lemari dan Anda tidak perlu menghubungkannya dengan komputer untuk memelihara data).

Kertas mungkin tampak seperti media penyimpanan paling tangguh di bumi, karena kita sering menemukan naskah kuno dari zaman kuno. Namun, kertas mengalami kelemahan utama: pertama, kerapatan data sangat rendah (tidak dapat menyimpan lebih dari ~ 100 KB di atas kertas, bahkan dengan karakter kecil dan peralatan komputer), dan kertas menurun seiring waktu tanpa ada cara untuk memantaunya: kertas , seperti halnya hard drive, menderita korupsi diam-diam. Tetapi sementara Anda dapat memantau korupsi diam-diam pada data digital, Anda tidak bisa di atas kertas. Misalnya, Anda tidak dapat menjamin bahwa gambar akan mempertahankan warna yang sama hanya dalam satu dekade: warna akan menurun, dan Anda tidak memiliki cara untuk menemukan apa warna aslinya. Tentu saja, Anda dapat pendeta gambar Anda jika Anda ahli dalam restorasi gambar, tetapi ini sangat memakan waktu, sedangkan dengan data digital, Anda dapat mengotomatiskan proses kurasi dan restorasi ini.

Hard Drives (HDD) yang dikenal untuk memiliki rentang hidup rata-rata 3 sampai 8 tahun: mereka tidak hanya menurunkan dari waktu ke waktu, mereka dijamin untuk akhirnya mati (yaitu: tidak dapat diakses). Kurva berikut menunjukkan kecenderungan ini untuk semua HDD mati pada tingkat yang mengejutkan:

Kurva Bathtub menunjukkan evolusi tingkat kegagalan HDD mengingat jenis kesalahan (juga berlaku untuk perangkat rekayasa):

Kurva yang menunjukkan tingkat kegagalan HDD, semua jenis kesalahan digabungkan:

Sumber: Backblaze

Anda dapat melihat bahwa ada 3 jenis HDD yang relatif mengalami kegagalan: yang sekarat cepat (mis: kesalahan produksi, HDD berkualitas buruk, kerusakan kepala, dll.), Yang laju laju sekarat konstan (manufaktur yang baik, mereka mati karena berbagai macam " alasan "normal, ini adalah kasus untuk sebagian besar HDD), dan akhirnya yang kuat yang hidup sedikit lebih lama dari sebagian besar HDD dan akhirnya mati segera setelah" yang normal "(misalnya: HDD beruntung, tidak terlalu banyak digunakan, kondisi lingkungan yang ideal, dll.) Dengan demikian, Anda dijamin bahwa HDD Anda akan mati.

Mengapa HDD sering mati? Maksud saya, data ditulis pada disk magnetik, dan medan magnet dapat bertahan beberapa dekade sebelum menghilang. Alasan mereka mati adalah karena media penyimpanan (disk magnetik) dan perangkat keras membaca (papan elektronik + kepala berputar) digabungkan : mereka tidak dapat dipisahkan, Anda tidak bisa hanya mengekstrak disk magnetik dan membacanya dengan kepala lain, karena pertama-tama papan elektronik (yang mengubah data fisik menjadi digital) berbeda untuk hampir setiap HDD (bahkan dari merek dan referensi yang sama, itu tergantung pada pabrik asal), dan mekanisme internal dengan kepala pemintalan sangat rumit sehingga saat ini tidak mungkin bagi manusia untuk dengan sempurna meletakkan kepala yang berputar pada piringan magnetik tanpa membunuhnya.

Selain itu, HDD diketahui mengalami kerusakan magnetik seiring waktu jika tidak digunakan (termasuk SSD). Dengan demikian, Anda tidak bisa hanya menyimpan data pada hard disk, menyimpannya di lemari dan berpikir bahwa itu akan menyimpan data tanpa koneksi listrik: Anda perlu mencolokkan HDD Anda ke sumber listrik setidaknya sekali per tahun atau per pasangan tahun . Dengan demikian, HDD jelas tidak cocok untuk penyimpanan dingin.

Kaset magnetik : mereka sering digambarkan sebagai tujuan untuk kebutuhan cadangan, dan oleh ekstensi untuk arsip. Masalah dengan pita magnetik adalah pita-pita itu SANGAT sensitif: partikel oksida magnetik dapat dengan mudah rusak oleh matahari, air, udara, goresan, mengalami degradasi oleh waktu atau perangkat elektromagnetik apa pun atau jatuh begitu saja oleh waktu, atau dicetak . Itu sebabnya mereka biasanya hanya digunakan di pusat data oleh para profesional. Juga, tidak pernah terbukti bahwa mereka dapat menyimpan data lebih dari satu dekade. Jadi, mengapa mereka sering disarankan untuk cadangan? Karena dulunya murah: pada zaman dulu, biayanya 10x hingga 100x lebih murah untuk menggunakan pita magnetik daripada HDD, dan HDD cenderung jauh lebih tidak stabil daripada sekarang. Jadi kaset magnetik terutama disarankan untuk cadangan karena efektivitas biaya, bukan karena ketahanan, yang paling menarik minat kami dalam hal pengarsipan data.

Kartu CompactFlash dan Secure Digital (SD) dikenal cukup kokoh dan kuat, mampu bertahan dari kondisi bencana .

Kartu memori di sebagian besar kamera hampir tidak bisa dihancurkan, menurut majalah Digital Camera Shopper. Lima format kartu memori selamat direbus, diinjak-injak, dicuci, dan dibenamkan dalam kopi atau cola.

Namun, seperti media berbasis magnet lainnya, ia bergantung pada medan listrik untuk menyimpan data, dan dengan demikian jika kartu kehabisan jus, data bisa hilang sama sekali. Jadi, tidak cocok untuk penyimpanan dingin (karena Anda perlu sesekali menulis ulang seluruh data pada kartu untuk menyegarkan kembali medan listrik), tetapi ini bisa menjadi media yang baik untuk pencadangan dan pengarsipan jangka pendek atau menengah.

Media optik: Media optik adalah kelas media penyimpanan yang mengandalkan laser untuk membaca data, seperti CD, DVD, atau Blu-ray (BD). Ini dapat dilihat sebagai evolusi kertas, tetapi kami menulis data dalam ukuran yang sangat kecil, sehingga kami membutuhkan bahan yang lebih tepat dan ulet daripada kertas, dan hanya cakram optik yang dapat melakukannya. Dua keuntungan terbesar dari media optik adalah media penyimpanan dipisahkan dari perangkat keras membaca (yaitu, jika pembaca DVD Anda gagal, Anda selalu dapat membeli yang lain untuk membaca disk Anda) dan bahwa itu didasarkan pada laser, yang membuatnya universal dan bukti masa depan (yaitu, selama Anda tahu cara membuat laser, Anda selalu dapat men-tweak untuk membaca bit dari disk optik dengan emulasi, seperti yang dilakukan CAMILEON untuk Domesday BBC Project ).

Seperti teknologi lainnya, iterasi baru tidak hanya menawarkan kepadatan yang lebih besar (ruang penyimpanan), tetapi juga koreksi kesalahan yang lebih baik, dan ketahanan yang lebih baik terhadap kerusakan lingkungan (tidak selalu, tetapi secara umum benar). Debat pertama tentang keandalan DVD adalah antara DVD-R dan DVD + R, dan bahkan jika DVD-R masih umum saat ini, DVD + R diakui lebih andal dan tepat . Sekarang ada cakram DVD kelas arsip, khusus dibuat untuk penyimpanan dingin, mengklaim bahwa mereka dapat bertahan minimal ~ 20 tahun tanpa pemeliharaan apa pun:

Verbatim Gold Archival DVD-R [...] telah dinilai sebagai DVD-R yang paling dapat diandalkan dalam tes stres jangka panjang menyeluruh oleh majalah Jerman terkenal (c't 16/2008, halaman 116-123 ) [...] mencapai daya tahan minimum 18 tahun dan daya tahan rata-rata 32 hingga 127 tahun (pada suhu 25C, kelembaban 50%). Tidak ada disk lain yang mendekati nilai-nilai ini, DVD-R terbaik kedua memiliki daya tahan minimum hanya 5 tahun.

Dari LinuxTech.net .

Selain itu, beberapa perusahaan yang mengkhususkan diri dalam sangat panjang jangka DVD arsip dan luas pasar mereka, seperti M-Disc dari Millenniata atau DataTresorDisc, mengklaim bahwa mereka dapat menyimpan data selama lebih dari 1000 tahun, dan diverifikasi oleh beberapa (non-independen) penelitian (dari 2009) antara lain yang kurang ilmiah .

Ini semua tampak sangat menjanjikan! Sayangnya, tidak ada studi ilmiah independen yang cukup untuk mengkonfirmasi klaim ini, dan beberapa yang tersedia tidak begitu antusias:

Kelembaban (80% RH) dan suhu (80 ° C) mempercepat penuaan pada beberapa DVD selama 2000 jam (sekitar 83 hari) uji dengan pemeriksaan rutin keterbacaan data:

Diterjemahkan dari lembaga Perancis untuk pengarsipan data digital (Archives de France), studi dari 2012.

Grafik pertama menunjukkan DVD dengan evolusi degradasi lambat. Yang kedua DVD dengan kurva degradasi cepat. Dan yang ketiga adalah untuk DVD "sangat jangka panjang" khusus seperti M-Disc dan DataTresorDisc. Seperti yang dapat kita lihat, kinerja mereka tidak cukup sesuai dengan klaim, lebih rendah atau setara dengan standar, DVD kelas non arsip!

Namun, cakram optik anorganik seperti M-Disc dan DataTresorDisc mendapatkan satu keuntungan: mereka cukup peka terhadap degradasi cahaya:

Penuaan dipercepat menggunakan cahaya (750 W / m²) selama 240 jam:

Ini adalah hasil yang bagus, tetapi DVD kelas arsip seperti Verbatim Gold Archival juga mencapai kinerja yang sama, dan lebih jauh, cahaya adalah parameter yang paling dapat dikontrol untuk objek: cukup mudah untuk menempatkan DVD di kotak atau lemari tertutup, dan dengan demikian menghilangkan kemungkinan dampak cahaya apa pun. Akan jauh lebih bermanfaat untuk mendapatkan DVD yang sangat tahan terhadap suhu dan kelembaban daripada cahaya.

Tim peneliti yang sama ini juga mempelajari pasar Blu-ray untuk melihat apakah akan ada merek dengan media yang bagus untuk penyimpanan dingin jangka panjang. Inilah temuan mereka:

Kelembaban dan suhu mempercepat penuaan pada beberapa merek Blu-ray, di bawah parameter yang sama seperti untuk DVD:

Penuaan cepat yang dipercepat pada beberapa merek BluRays, parameter yang sama:

Diterjemahkan dari studi Archives de France, 2012 ini.

Dua ringkasan dari semua temuan (dalam bahasa Prancis) di sini dan di sini .

Dalam kondisi baik, cakram Blu-ray terbaik (dari Panasonic) memiliki kinerja yang mirip dengan DVD kelas arsip terbaik dalam uji suhu + kelembaban, sementara hampir tidak masuk akal terhadap cahaya! Dan cakram Blu-ray ini bahkan bukan kelas arsip. Lebih jauh, cakram Blu-ray menggunakan kode koreksi kesalahan yang lebih baik daripada DVD (mereka sendiri menggunakan versi yang disempurnakan relatif ke CD), yang selanjutnya meminimalkan risiko kehilangan data. Dengan demikian, tampaknya beberapa cakram BluRay mungkin merupakan pilihan yang sangat baik untuk penyimpanan dingin.

Dan memang, beberapa perusahaan mulai bekerja pada cakram Blu-ray penyimpanan kelas kerapatan tinggi, seperti Panasonic dan Sony, mengumumkan bahwa mereka akan dapat menawarkan 300 GB hingga 1TB penyimpanan dengan masa hidup rata-rata 50 tahun. Juga, perusahaan besar beralih ke media optik untuk penyimpanan dingin (karena mengkonsumsi sumber daya jauh lebih sedikit karena Anda dapat menyimpannya tanpa pasokan listrik), seperti Facebook yang mengembangkan sistem robot untuk menggunakan cakram Blu-ray sebagai "dingin penyimpanan " untuk data yang jarang diakses oleh sistem mereka.

Inisiatif pengarsipan Long Now: Ada petunjuk menarik lainnya seperti proyek Rosetta Disc oleh museum Long Now , yang merupakan proyek untuk menulis halaman-halaman Kejadian dalam skala mikroskopis di setiap bahasa di bumi yang diterjemahkan oleh Kejadian. Ini adalah proyek yang hebat, yang merupakan media pertama yang menawarkan media yang memungkinkan untuk menyimpan 50 MB untuk penyimpanan dingin jangka panjang (karena ditulis dalam karbon), dan dengan akses kedepannya karena Anda hanya perlu kaca pembesar untuk mengakses data (tidak ada spesifikasi format aneh atau kerumitan teknologi untuk menangani seperti sinar violet dari Blu-ray, hanya perlu kaca pembesar!). Namun, ini masih dibuat secara manual dan dengan demikian diperkirakan biayanya sekitar $ 20K, yang agak terlalu banyak untuk skema pengarsipan pribadi saya kira.

Solusi berbasis internet: Belum ada media lain untuk menyimpan data Anda di internet. Namun, solusi cadangan cloud tidak cocok, karena perhatian utama daripada perusahaan hosting awan mungkin tidak hidup selama Anda ingin menyimpan data Anda. Alasan lain termasuk fakta bahwa itu sangat lambat untuk cadangan (karena transfer melalui internet) dan sebagian besar penyedia mengharuskan file juga ada di sistem Anda untuk tetap online. Misalnya, baik CrashPlan dan Backblaze akan menghapus file secara permanen yang setidaknya tidak terlihat sekali di komputer Anda dalam 30 hari terakhir, jadi jika Anda ingin mengunggah data cadangan yang Anda simpan hanya di hard drive eksternal, Anda harus mencolokkan HDD USB setidaknya sebulan sekali dan sinkronkan dengan cloud Anda untuk mengatur ulang hitungan mundur. Namun, beberapa layanan cloud menawarkan untuk menjaga file Anda tanpa batas (selama Anda membayar tentu saja) tanpa hitungan mundur, seperti SpiderOak. Jadi, berhati-hatilah dengan kondisi dan penggunaan solusi cadangan berbasis cloud yang Anda pilih.

Alternatif untuk penyedia cadangan cloud adalah dengan menyewa server pribadi Anda secara online, dan jika mungkin, pilih satu dengan mirroring / backup data Anda secara otomatis jika terjadi kegagalan perangkat keras di pihak mereka (beberapa bahkan menjamin Anda terhadap data yang hilang dalam kontrak mereka) , tapi tentu saja lebih mahal). Ini adalah solusi yang bagus, pertama karena Anda masih memiliki data Anda, dan kedua karena Anda tidak perlu mengelola kegagalan perangkat keras, ini adalah tanggung jawab tuan rumah Anda. Dan jika suatu hari tuan rumah Anda gulung tikar, Anda masih bisa mendapatkan kembali data Anda (pilihlah tuan rumah yang serius agar mereka tidak mati malam itu tetapi beri tahu Anda sebelumnya, mungkin Anda bisa meminta untuk memasukkannya ke dalam kontrak), dan hosting ulang di tempat lain.

Jika Anda tidak ingin repot mengatur server online pribadi Anda sendiri, dan jika Anda mampu membelinya, Amazon menawarkan layanan pengarsipan data baru, yang disebut Glacier . Tujuannya adalah untuk secara dingin menyimpan data Anda untuk jangka panjang: dengan demikian, biayanya banyak untuk menyimpan data di Glacier, tetapi biayanya lebih mahal untuk mendapatkan kembali data ini, karena layanan ini dibuat untuk menyimpan data di luar jangkauan , jangan menyimpan data yang ingin sering Anda akses. Ini berarti bahwa layanan ini mengutip harga untuk menulis data, tetapi juga untuk membacanya. Layanan ini memiliki biaya yang sangat besar, tetapi mungkin merupakan kesepakatan yang bagus untuk beberapa data Anda yang paling masuk akal (yaitu: jika Anda memiliki beberapa file teks atau gambar yang SANGAT masuk akal, karena jenis data ini biasanya berukuran kecil, maka tidak akan dikenakan biaya banyak untuk disimpan di Gletser).

Kekurangan cold storage : Namun, ada kelemahan besar pada media penyimpanan dingin mana pun: tidak ada pemeriksaan integritas, karena media penyimpanan dingin TIDAK BISA memeriksa integritas data secara otomatis (mereka hanya bisa menerapkan skema koreksi kesalahan untuk "menyembuhkan" sedikit kerusakan setelah korupsi terjadi, tetapi tidak dapat dicegah atau dikelola secara otomatis!) karena, berlawanan dengan komputer, tidak ada unit pemrosesan untuk menghitung / membuat jurnal / memeriksa dan memperbaiki sistem file. Sedangkan dengan komputer dan beberapa unit penyimpanan, Anda dapat secara otomatis memeriksa integritas arsip Anda dan secara otomatis tercermin ke unit lain jika perlu jika beberapa korupsi terjadi dalam arsip data (selama Anda memiliki beberapa salinan dari arsip yang sama).

Arsip Jangka Panjang

Bahkan dengan teknologi terbaik yang tersedia saat ini, data digital hanya dapat disimpan dalam keadaan dingin selama beberapa dekade (sekitar 20 tahun). Dengan demikian, dalam jangka panjang, Anda tidak bisa hanya mengandalkan cold storage: Anda perlu menyiapkan metodologi untuk proses pengarsipan data Anda untuk memastikan bahwa data Anda dapat diambil di masa mendatang (bahkan dengan perubahan teknologi), dan bahwa Anda meminimalkan risiko. kehilangan data Anda. Dengan kata lain, Anda harus menjadi kurator digital dari data Anda, memperbaiki korupsi ketika itu terjadi dan membuat ulang salinan baru ketika dibutuhkan.

Tidak ada aturan yang sangat mudah, tetapi di sini ada beberapa strategi kurasi yang mapan , dan khususnya alat ajaib yang akan membuat pekerjaan Anda lebih mudah:

• Prinsip redundansi / replikasi : Redundansi adalah satu-satunya alat yang dapat mengembalikan efek entropi , yang merupakan prinsip berdasarkan teori informasi. Untuk menyimpan data, Anda perlu menggandakan data ini. Kode kesalahan adalah aplikasi otomatis dari prinsip redundansi. Namun, Anda juga perlu memastikan bahwa data Anda berlebihan: beberapa salinan dari data yang sama pada disk yang berbeda, beberapa salinan pada media yang berbeda (sehingga jika satu media gagal karena masalah intrinsik, ada sedikit kemungkinan bahwa yang lain pada media yang berbeda juga akan gagal pada waktu yang sama), dll. Terutama , Anda harus selalu memiliki setidaknya 3 salinan data Anda, juga disebut redundansi 3-modular dalam rekayasa, sehingga jika salinan Anda menjadi rusak, Anda dapat memberikan suara mayoritas sederhana untuk memperbaiki file Anda dari 3 salinan Anda. Selalu ingat saran kompas pelaut:

Tidak ada gunanya membawa dua kompas, karena jika ada yang salah, Anda tidak akan pernah tahu mana yang benar, atau jika keduanya salah. Selalu ambil satu kompas, atau lebih dari tiga.

• Kode koreksi kesalahan : ini adalah alat ajaib yang akan membuat hidup Anda lebih mudah dan data Anda lebih aman. Kode koreksi kesalahan (ECC) adalah konstruk matematika yang akan menghasilkan data yang dapat digunakan untuk memperbaiki data Anda. Ini lebih efisien, karena ECC dapat memperbaiki lebih banyak data Anda menggunakan lebih sedikit ruang penyimpanan daripada replikasi sederhana (yaitu, membuat banyak salinan file Anda), dan mereka bahkan dapat digunakan untuk memeriksa apakah file Anda memiliki korupsi, dan bahkan menemukan di mana korupsi itu. Sebenarnya, ini persis merupakan aplikasi dari prinsip redundansi, tetapi dengan cara yang lebih pintar daripada replikasi. Teknik ini banyak digunakan dalam komunikasi jarak jauh saat ini, seperti 4G, WiMax, dan bahkan komunikasi ruang angkasa NASA. Sayangnya, meskipun ECC ada di mana-mana dalam telekomunikasi, mereka tidak dalam perbaikan file, mungkin karena itu agak rumit. Namun, beberapa perangkat lunak tersedia, seperti PAR2 yang terkenal (tapi sekarang sudah tua), DVD Disaster (yang menawarkan untuk menambahkan kode koreksi kesalahan pada disk optik) dan pyFileFixity (yang saya kembangkan sebagian untuk mengatasi keterbatasan dan masalah PAR2). Ada juga sistem file yang secara opsional mengimplementasikan Reed-Solomon seperti ZFS untuk Linux atau ReFS untuk Windows, yang secara teknis merupakan generalisasi dari RAID5.

• Periksa integritas file Anda secara teratur: Hash file Anda, dan periksa dari waktu ke waktu (yaitu, sekali per tahun, tetapi itu tergantung pada media penyimpanan dan kondisi lingkungan). Ketika Anda melihat bahwa file Anda mengalami korupsi, saatnya untuk memperbaiki menggunakan ECC yang Anda buat jika Anda telah melakukannya, dan / atau untuk membuat salinan baru dari data Anda pada media penyimpanan baru. Memeriksa data, memperbaiki korupsi, dan membuat salinan baru adalah siklus kurasi yang sangat baik yang akan memastikan bahwa data Anda aman. Memeriksa khususnya sangat penting karena salinan file Anda dapat rusak secara diam-diam, dan jika Anda kemudian menyalin salinan yang telah dirusak, Anda akan berakhir dengan file yang benar-benar rusak. Ini bahkan lebih penting dengan media penyimpanan dingin, seperti disk optik, yang TIDAK BISA secara otomatis memeriksa integritas data (mereka sudah menerapkan ECC untuk menyembuhkan sedikit, tetapi mereka tidak dapat memeriksa atau membuat salinan baru secara otomatis, itu tugas Anda!). Untuk memantau perubahan file, Anda dapat menggunakan skrip rfigc.py daripyFileFixity atau alat UNIX lainnya seperti md5deep . Anda juga dapat memeriksa status kesehatan beberapa media penyimpanan seperti hard drive menggunakan alat seperti Hard Drive Sentinel atau smartmontools open source .

• Simpan media arsip Anda di lokasi yang berbeda (dengan setidaknya satu salinan di luar rumah Anda!) Untuk menghindari peristiwa bencana kehidupan nyata seperti banjir atau kebakaran. Misalnya, satu cakram optik di tempat kerja Anda, atau cadangan berbasis cloud dapat menjadi ide bagus untuk memenuhi persyaratan ini (bahkan jika penyedia cloud dapat dimatikan kapan saja, selama Anda memiliki salinan lain, Anda akan aman , penyedia cloud hanya akan berfungsi sebagai arsip di luar kantor jika terjadi keadaan darurat).

• Simpan dalam wadah khusus dengan parameter lingkungan yang terkontrol : untuk media optik, simpan jauh dari cahaya dan dalam kotak kedap air untuk menghindari kelembaban. Untuk hard drive dan kartu sd, simpan dalam selongsong anti-magnetik untuk menghindari sisa listrik merusak drive. Anda juga dapat menyimpan dalam kantong / kotak kedap udara dan kedap air dan menyimpannya dalam freezer: suhu lambat akan memperlambat entropi, dan Anda dapat memperpanjang cukup banyak masa hidup media penyimpanan seperti itu (pastikan air menang bisa masuk ke dalam, kalau tidak medium Anda akan cepat mati).

• Gunakan perangkat keras berkualitas baik dan periksa terlebih dahulu (misalnya: ketika Anda membeli kartu SD, uji seluruh kartu dengan perangkat lunak seperti HDD Scan untuk memeriksa bahwa semuanya baik-baik saja sebelum menulis data Anda). Ini sangat penting untuk drive optik, karena kualitasnya dapat secara drastis mengubah kualitas cakram yang Anda bakar, seperti yang ditunjukkan oleh studi Archives de France (pembakar DVD yang buruk akan menghasilkan DVD yang akan bertahan jauh lebih sedikit).

• Pilih dengan hati-hati format file Anda: tidak semua format file tahan terhadap korupsi, beberapa bahkan jelas lemah. Misalnya, gambar .jpg dapat benar-benar rusak dan tidak dapat dibaca dengan merusak hanya satu atau dua byte. Sama untuk arsip 7zip. Ini konyol, jadi berhati-hatilah dengan format file dari file yang Anda arsipkan. Sebagai aturan praktis, teks jernih sederhana adalah yang terbaik, tetapi jika Anda perlu mengompres, gunakan zip non-padat dan untuk gambar, gunakan JPEG2 (belum open-source ...). Info lebih lanjut dan ulasan dari kurator pro digital di sini , di sini , dan di sini .

• Simpan di samping arsip data Anda setiap perangkat lunak dan spesifikasi yang diperlukan untuk membaca data. Ingatlah bahwa spesifikasi berubah dengan cepat, dan dengan demikian di masa depan data Anda mungkin tidak dapat dibaca lagi, bahkan jika Anda dapat mengakses file. Dengan demikian, Anda harus memilih format dan perangkat lunak open source, dan menyimpan kode sumber program di sepanjang data Anda sehingga Anda selalu dapat mengadaptasi program dari kode sumber untuk diluncurkan dari OS atau komputer baru.

• Banyak metode dan pendekatan lain tersedia di sini , di sini dan di berbagai bagian Internet.

Kesimpulan

Saya menyarankan untuk menggunakan apa yang dapat Anda miliki, tetapi selalu menghormati prinsip redundansi (membuat 4 salinan!), Dan selalu memeriksa integritas secara berkala (jadi Anda perlu membuat pra-database database hash MD5 / SHA1 sebelumnya), dan membuat yang baru salinan dalam kasus korupsi. Jika Anda melakukannya, Anda dapat secara teknis menyimpan data selama Anda menginginkan apa pun media penyimpanan Anda. Waktu antara setiap pemeriksaan tergantung pada keandalan media penyimpanan Anda: jika itu floppy disk, periksa setiap 2 bulan, apakah itu HTL Blu-ray, periksa setiap 2/3 tahun.

Sekarang dalam kondisi optimal, saya menyarankan agar cold storage menggunakan cakram Blu-ray HTL atau cakram DVD kelas arsip yang disimpan dalam kotak yang kedap air dan disimpan di tempat yang segar. Selain itu, Anda dapat menggunakan kartu SD dan penyedia berbasis cloud seperti SpiderOak untuk menyimpan salinan data Anda yang berlebihan, atau bahkan hard drive jika lebih mudah diakses oleh Anda.

Gunakan banyak kode koreksi kesalahan , mereka akan menghemat hari Anda. Anda juga dapat membuat banyak salinan dari file ECC ini (tetapi banyak salinan data Anda lebih penting daripada banyak salinan ECC karena file ECC dapat memperbaiki diri mereka sendiri!).

Semua strategi ini dapat diimplementasikan menggunakan seperangkat alat yang saya kembangkan (open source): pyFileFixity . Alat ini sebenarnya dimulai oleh diskusi ini, setelah menemukan bahwa tidak ada alat gratis untuk sepenuhnya mengelola perbaikan file. Juga, silakan merujuk ke readme proyek dan wiki untuk info lebih lanjut tentang perbaikan file dan kurasi digital.

Pada catatan terakhir, saya benar-benar berharap bahwa lebih banyak R&D akan diberikan pada masalah ini. Ini adalah masalah utama bagi masyarakat kita saat ini, memiliki lebih banyak data digital, tetapi tanpa jaminan bahwa massa informasi ini akan bertahan lebih dari beberapa tahun. Itu cukup menyedihkan, dan saya benar-benar berpikir bahwa masalah ini harus diletakkan jauh lebih maju, sehingga ini menjadi titik pemasaran bagi konstruktor dan perusahaan untuk membuat perangkat penyimpanan yang dapat bertahan untuk generasi mendatang.

/ EDIT: baca di bawah ini untuk rutin kurasi praktis .

Tindak lanjut cepat atas jawaban saya sebelumnya di atas , ini akan dibuat lebih ringkas dan diperluas dengan tambahan (tapi bukan yang utama) informasi dan referensi yang saya tidak bisa tambahkan dalam jawaban pertama karena kendala panjang 30K.

Karena arsip jangka panjang adalah proses kurasi, berikut adalah beberapa hal yang perlu Anda perhatikan untuk menjadikan proses Anda lebih efisien dan lebih sedikit waktu (dan sumber daya) yang dikonsumsi:

• Deduplikasi : karena satu-satunya cara untuk memastikan arsip jangka panjang adalah melalui redundansi yang sengaja dirancang, Anda ingin menghindari data berlebihan yang tidak berguna (misalnya, salinan file yang Anda ambil dari kunci usb ke hard drive arsip Anda, tetapi Anda sudah memiliki salinan yang datang dari komputer utama Anda!). Data berlebihan yang tidak diinginkan, yang biasanya disebut duplikat buruk, baik dalam biaya penyimpanan (mereka mengambil lebih banyak sumber daya penyimpanan tetapi Anda akan kesulitan menemukan mereka ketika diperlukan), untuk proses Anda (bagaimana jika Anda memiliki versi berbeda dari file yang sama? Bagaimana Anda bisa tahu salinan mana yang benar?) Dan untuk waktu Anda (akan bertambah pada saat-saat transfert ketika Anda akan menyinkronkan cadangan ke semua arsip Anda). Itu sebabnya layanan arsip profesional biasanya menawarkan deduplikasi otomatis: file yang persis sama akan mendapatkan inode yang sama, dan mereka tidak akan mengambil ruang tambahan. Itulah yang dilakukan SpiderOak misalnya. Ada alat otomatis yang dapat Anda gunakan, dan sistem file ZFS (Linux) atau ReFS (Windows) dapat melakukannya secara otomatis untuk Anda.

• Prioritas / kategorisasi : seperti yang Anda lihat, arsip jangka panjang adalah proses yang memakan waktu yang perlu dilakukan secara rutin (untuk memeriksa kewarasan, menyinkronkan arsip di media, membuat arsip baru di media baru untuk mengganti yang sekarat, memperbaiki file menggunakan kode koreksi kesalahan , dll.). Untuk meminimalkan biaya waktu Anda, cobalah untuk menentukan skema perlindungan yang berbeda tergantung pada prioritas data Anda berdasarkan kategori. Idenya adalah ketika Anda memindahkan data komputer ke salah satu hard drive eksternal yang Anda gunakan untuk arsip jangka panjang, Anda menempatkannya langsung dalam satu folder yang menentukan prioritas cadangan: "tidak penting", "pribadi", "penting", "penting", "kritis" ". Kemudian Anda dapat menentukan strategi cadangan yang berbeda untuk setiap folder: cadangan perlindungan penuh (misalnya, cadangan pada 3 hard drive + cloud + kode koreksi kesalahan + BluRays) hanya untuk data paling penting yang ingin Anda pertahankan seumur hidup Anda (folder kritis) , kemudian perlindungan media untuk data "penting" (mis. cadangan pada 3 hard drive + cloud) dan kemudian "pribadi" hanya disalin ke setidaknya dua hard drive eksternal, dan "tidak penting" tidak mendapat salinan (atau mungkin pada satu hard drive jika sinkronisasi tidak terlalu lama ...). Biasanya, Anda akan melihat bahwa " adalah semua hal yang Anda unduh dari internet atau berbagai file dan media yang Anda miliki yang tidak Anda pedulikan (seperti perangkat lunak dan permainan serta film). Intinya adalah:semakin banyak file yang Anda ingin arsip jangka panjang, semakin sulit (dan memakan waktu) itu , jadi cobalah untuk menjaga file yang mendapatkan perlakuan khusus ini seminimal mungkin.

• Meta-data adalah titik kritis: bahkan dengan strategi kurasi yang baik, biasanya ada satu hal yang tidak dilindungi: meta-data. Meta-data mencakup informasi tentang file Anda, misalnya: pohon direktori (ya, ini hanya beberapa byte, jika Anda kehilangan itu, Anda mendapatkan file Anda dalam kekacauan total!), Nama file dan ekstensi, cap waktu (ini mungkin penting bagi Anda), dll. Ini mungkin bukan masalah besar, tetapi bayangkan hal berikut: bagaimana jika besok, semua file Anda (termasuk file yang dikirim dengan perangkat lunak dan lain-lain) diletakkan di dalam satu folder datar, tanpa nama file atau perpanjangan. Apakah Anda dapat memulihkan file yang Anda butuhkan dari miliaran file di komputer Anda, dengan inspeksi manual? Jangan berpikir ini adalah skenario yang tidak biasa, mungkin terjadi semudah jika Anda mendapatkan pemadaman listrik atau crash di tengah salinan: partisi yang sedang ditulis dapat hancur total (tipe RAW yang terkenal). Untuk mengatasi masalah ini, Anda harus siap dan menyiapkan data Anda untuk pemulihan data: untuk memastikan bahwa Anda menyimpan meta-data, Anda dapat menggumpalkan file dengan meta-datanya menggunakanarsip yang tidak padat seperti ZIP DEFLATE atau DAR (tetapi tidak tar). Beberapa filesystem menawarkan redundansi meta-data otomatis, seperti DVDisaster (untuk disk optik) dan ZFS / ReFS (untuk hard drive). Kemudian dalam kasus crash meta-data, Anda dapat mencoba untuk memulihkan partisi Anda menggunakan TestDisk atau GetDataBack (memungkinkan pemulihan pohon direktori parsial) atau ISOBuster (untuk cakram optik), untuk memulihkan pohon direktori dan meta-data lainnya. Jika ini semua gagal, Anda dapat mundur ke filecraping menggunakan PhotoRec: ini akan mengekstrak semua file yang dikenali tetapi dalam gangguan total dan tanpa nama file atau cap waktu, hanya data itu sendiri yang akan dipulihkan. Jika Anda zip file penting, Anda akan dapat memulihkan meta-data di dalam zip (bahkan jika zip itu sendiri tidak mengandung meta-data lagi, setidaknya di dalam file masih akan memiliki meta-data yang benar). Namun, Anda harus memeriksa secara manual semua file yang dibuat satu per satu secara manual, yang memakan waktu. Untuk melindungi dari kemungkinan ini, Anda dapat membuat sebelumnya file checksum integritas menggunakan pyFileFixity atau PAR2, dan kemudian menggunakan file checksum integritas ini setelah filecraping untuk secara otomatis mengenali dan mengubah nama file tergantung pada konten mereka (ini adalah satu-satunya cara untuk mengotomatisasi meta filecraping pemulihan data, karena filecraping secara teknis hanya dapat memulihkan konten, bukan meta-data).

• Uji sendiri format file dan strategi kurasi Anda : alih-alih memercayai kata-kata artikel tentang jenis format yang lebih baik dari yang lain, Anda dapat mencoba sendiri dengan pyFileFixity filetamper.py atau hanya dengan mengganti beberapa karakter heksadesimal di beberapa file: Anda akan melihat bahwa sebagian besar format file dapat rusak dengan sedikitnya 3 byte yang berbeda. Jadi Anda benar-benar harus memilih dengan hati-hati format file Anda: lebih suka file teks sederhana untuk catatan, dan gunakan format file tangguh untuk media (mereka masih bekerja seperti MPEG-4 Variable Error Correcting Code, ffmpeg mengimplementasikannya, ffmpeg mengimplementasikannya, ref akan ditambahkan ), atau hasilkan kode koreksi kesalahan Anda sendiri.

• Baca studi statistik, jangan percaya klaim : Seperti yang saya katakan di jawaban sebelumnya, klaim mewah dibuat sepanjang waktu tentang umur panjang media penyimpanan tanpa fakta ilmiah, dan Anda harus sangat berhati-hati tentang hal itu. Memang, tidak ada dalam hukum yang mencegah produsen dari membual tentang klaim palsu, dan tidak dapat diverifikasi, umur panjang. Lebih suka merujuk pada studi statistik, seperti laporan tahunan BackBlaze tentang tingkat kegagalan hard drive .

• Butuh media penyimpanan yang lama dijamin . Suatu jaminan tidak dapat mengembalikan data Anda, tetapi ia memberi tahu Anda tentang bagaimana produsen mengevaluasi tingkat kegagalan produknya (karena jika tidak, biayanya terlalu mahal jika tarifnya terlalu tinggi selama periode jaminan).

Pembaruan pada skema yang saya gunakan: Saya menerapkan strategi prioritisasi yang dijelaskan di atas, dan saya menambahkan layanan cadangan cloud SpiderOak ke skema saya, karena ia memiliki rencana dengan penyimpanan tak terbatas dan sepenuhnya dienkripsi, jadi saya mempertahankan kepemilikan tunggal atas data saya. Saya TIDAK menggunakan media cadangan tunggal saya untuk semua data saya, itu hanya lapisan tambahan.

Jadi inilah skema saya saat ini:

• 3 hard drive salinan secara teratur diperiksa dan disinkronkan dan disimpan di dua tempat yang berbeda dan 1 yang selalu ada pada saya (saya menggunakannya untuk menyimpan sampah dan melakukan backup cepat).
• SpiderOak dengan paket penyimpanan tanpa batas
• Disk BluRay untuk data yang benar-benar masuk akal tetapi tidak terlalu besar (saya membatasi hingga 50 GB data yang dapat saya simpan pada disk ini)
• pyFileFixity dan DVDisaster untuk folder saya benar-benar ingin memastikan untuk tetap dalam jangka panjang.

Rutinitas harian saya adalah seperti ini: Saya selalu punya satu 2,5 HDD USB portabel yang dapat saya gunakan untuk menyimpan barang-barang yang tidak penting (memindahkan file dari komputer ke HDD) atau untuk membuat cadangan barang-barang penting (menyalin file ke HDD tetapi menyimpan salinan di komputer saya). komputer). Untuk hal-hal yang sangat penting, saya juga mengaktifkan cadangan online ke SpiderOak (Saya memiliki folder di komputer saya dengan hal-hal penting, jadi saya hanya perlu memindahkan file-file penting di sana dan secara otomatis disinkronkan oleh SpiderOak). Untuk file yang BENAR-BENAR kritis, saya juga menghitung file koreksi kesalahan menggunakan pyFileFixity.

Jadi untuk ringkasan, untuk hal-hal penting, saya menyimpannya di: HDD portabel, cloud SpiderOak dan komputer saya, jadi saya punya 3 salinan setiap saat dengan hanya dua tindakan cepat (salin ke HDD portabel dan pindah ke folder SpiderOak). Jika satu salinan rusak, saya dapat melakukan voting mayoritas untuk memperbaikinya menggunakan pyFileFixity. Ini skema biaya yang sangat rendah (baik dalam harga dan waktu) tetapi sangat efisien dan menerapkan semua prinsip inti dari kurasi digital (redundansi tiga kali lipat, salinan berbeda di lokasi berbeda, medium berbeda, pemeriksaan integritas, dan ecc oleh SpiderOak).

Kemudian, setiap 3 hingga 6 bulan, saya menyinkronkan HDD portabel saya ke HDD kedua saya di rumah, dan kemudian setiap 6 hingga 12 bulan saya menyinkronkan HDD portabel saya ke HDD ketiga yang ada di rumah lain. Ini memberikan manfaat tambahan rotasi (jika dalam 6 bulan saya menyadari ada yang tidak beres dalam cadangan terakhir saya dan saya menghapus file penting, saya bisa mendapatkannya dari salah satu dari dua HDD rumah).

Akhirnya, saya menulis beberapa file yang sangat penting pada disk BluRay menggunakan DVDisaster (dan file ecc tambahan dengan pyFileFixity tapi saya tidak yakin itu perlu). Saya menyimpannya di kotak kedap udara di lemari. Saya hanya memeriksanya setiap beberapa tahun.

Jadi Anda tahu, skema saya sebenarnya bukan beban besar: setiap hari, dibutuhkan beberapa menit untuk menyalin file ke HDD portabel dan ke folder SpiderOak saya, dan kemudian saya hanya menyinkronkan setiap 6 bulan ke satu atau HDD rumah lainnya . Ini bisa memakan waktu hingga satu hari tergantung pada berapa banyak data yang perlu disinkronkan, tetapi ini diotomatisasi oleh perangkat lunak, jadi Anda hanya perlu membiarkan komputer menjalankan perangkat lunak dan Anda melakukan sesuatu yang lain (saya menggunakan netbook $ 100 yang saya beli hanya untuk lakukan itu, sehingga saya dapat bekerja pada komputer utama saya pada saat yang sama tanpa khawatir tentang menabrak komputer saya di tengah salinan yang dapat mengerikan dan menghancurkan hard drive Anda yang sedang ditulis ). Kode koreksi kesalahan dan skema BluRay hanya jarang digunakan untuk data yang sangat kritis, sehingga memakan waktu lebih lama, tetapi jarang.

Skema ini dapat ditingkatkan (seperti biasa), misalnya dengan menggunakan ZFS / ReFS pada hard drive : ini akan menerapkan perlindungan kode koreksi kesalahan Reed-Solomon dan pemeriksaan integritas otomatis (dan dittoblocks !) Tanpa interaksi manual pada bagian saya ( bertentangan dengan pyFileFixity). Meskipun ZFS tidak dapat berjalan di bawah OS Windows (untuk saat ini) , ada ReFS yang memungkinkan kontrol koreksi kesalahan yang serupa di tingkat sistem file. Juga, bisa jadi ide yang baik untuk menggunakan sistem file ini pada HDD eksternal! HDD portabel yang menjalankan ZFS / ReFS dengan koreksi kesalahan dan deduplikasi RS otomatis harus luar biasa! (dan ZFS tampaknya cukup cepat sehingga salin harus cepat!).

Satu catatan terakhir: hati-hati terhadap klaim tentang kemampuan ECC dari sistem file seperti dalam daftar ini , karena sebagian besar hanya terbatas pada metadata (seperti APFS ) atau mirroring RAID 1 ( btrfs ). Sepengetahuan saya, hanya ZFS dan ReFS yang menyediakan kode koreksi kesalahan nyata (dan bukan mirroring sederhana) dari kedua metadata dan data, dengan ZFS menjadi yang paling canggih saat ini (meskipun masih agak eksperimental pada 2018), khususnya karena drive ReFS tidak dapat di-boot .

Tidak ada solusi mudah. Pemeliharaan arsip adalah proses , bukan pekerjaan satu kali. Ketiga jenis media arsip yang tersedia saat ini memiliki plus dan minusnya sendiri, namun argumen ini berlaku untuk semua jenis media:

1. Tidak ada yang menyimpan DVD atau hard disk selama 30 atau 100 tahun, untuk alasan yang jelas. Jadi tidak ada rekam jejak dan tidak ada yang tahu berapa usia media. Tes penuaan buatan tidak terbukti banyak, dan Anda mengandalkan pengujian vendor, (tidak memihak).

2. Anda harus menyimpan media di lingkungan yang terkontrol untuk hasil terbaik (suhu / kelembaban konstan, cahaya redup, dll.). Kalau tidak, kehidupan media dipersingkat secara signifikan.

3. Anda harus memelihara perangkat keras dan perangkat lunak yang membaca media (mis. Antarmuka SATA mungkin tidak tersedia dalam 30 tahun dari sekarang).

Jadi, menurut saya, satu-satunya solusi yang layak untuk pengguna rumahan atau bisnis kecil adalah ini:

1. Menyimpan banyak salinan dari semua data pada beragam jenis media (baik hard disk maupun DVD)
2. Simpan beberapa salinan dari semua data di beberapa lokasi (di rumah dan di kotak penyimpanan bank Anda).
3. Salin semua data ke media baru sesering mungkin (mis. Salin ke hard disk baru dan disk DVD baru setiap 2 tahun. Ketika kepadatan data bertambah, Anda mungkin akan membutuhkan lebih sedikit disk juga.
4. Simpan salinan kertas untuk semua data penting, jika mungkin (mis. Cetak buku besar tahunan untuk bisnis Anda, cetak foto keluarga yang paling berharga, dll.)

Saya akan menggunakan mikrofilm. Saya tidak tahu apakah masih diproduksi, tetapi saya akan terkejut jika tidak. Negatif berbasis perak bertahan ratusan tahun jika disimpan dengan benar. Tentu saja itu adalah investasi besar, dan akan mengambil seluruh ruangan untuk fotografi dan melihat, dan itu tidak termasuk penyimpanan. Jadi itu hanya jika Anda benar-benar BERARTI 100 tahun + tanpa pemeliharaan.

Jika tidak - dan kemungkinan Anda tidak kecuali Anda ingin membuat kapsul waktu -, cukup gunakan cadangan HDD, dan salin seluruh barang ke media baru setiap 10-15 tahun. Sungguh, tidak ada asuransi yang lebih baik terhadap penuaan media daripada menyalin semuanya selama setiap 10 tahun atau lebih. Lebih baik dari mikrofilm, lebih baik dari tablet tanah liat, lebih baik dari obelisk batu yang terkubur di pasir gurun.

Hingga 5TB (atau lebih?) Anda dapat menyimpan hingga 30 tahun dengan aman menggunakan magnetic tape alias tape drive. Kali ini terbukti. Blue-ray recordables akan dengan aman menyimpan barang-barang Anda hingga 30 tahun juga, tetapi kapasitasnya sekitar 100GB.

Jika Anda memiliki lebih banyak uang, Anda akan menyimpannya di film hitam putih 35mm. Diasumsikan bahwa data dapat dipulihkan (tergantung pada kepadatan) untuk 700 tahun ke depan. ( Tautan Jerman ke wikipedia )

Saya merekomendasikan disk nikel berdiameter tiga inci dengan informasi terukir secara mikroskopis ke permukaannya.

http://rosettaproject.org/blog/02008/aug/20/very-long-term-backup/

Untuk rentang waktu semacam itu, apa pun yang sudah ada di atas kertas (atau dapat dengan mudah dicetak tanpa kehilangan informasi) akan lebih baik disimpan dalam bentuk itu. Berhati-hatilah dengan kertas dan toner yang Anda gunakan untuk hardcopy.

Adapun orang lain, saya tidak tahu media digital yang saat ini digunakan yang akan bertahan untuk rentang waktu tersebut. Jika Anda menghabiskan waktu (dan dengan demikian uang) untuk menyegarkan kembali koleksi Anda, maka pita magnetik mungkin menjadi pilihan yang layak - tetapi bahkan kemudian Anda akan memerlukan beberapa redundansi, karena Anda mungkin baru mengetahui bahwa satu pita telah rusak (atau itu mungkin tape drive kebetulan memotong pita saat membacanya).

Dan bahkan ketika Anda bisa mendapatkan media aktual untuk bertahan dalam ujian waktu, Anda masih akan dihadapkan dengan masalah apakah suatu program dapat membaca media pada 30 tahun dari sekarang, apalagi 100 tahun dari sekarang.

Memang benar bahwa CD-R dan DVD-R yang umum tidak cukup andal untuk pengarsipan data penting. Tetapi Anda bisa mendapatkan DVD yang tidak begitu cepat rusak:

https://www.google.com/search?q=archival+dvd-r

Saya pernah membaca bahwa 'M-Disc' telah membuat DVD yang membutuhkan penulis khusus namun dapat dibaca pada pembaca DVD umum. Mereka mengklaim masa hidup 1000 tahun yang dapat diperkirakan, yang menyatakan itu tidak dapat diuji secara akurat. Paparan sinar matahari yang lama, goresan, banyak penggunaan dll dan disk bisa digunakan 100%. Saya tertarik dengan umpan balik dari siapa pun yang menemukan sistem ini.

Berikut adalah kutipan dari Dell yang mungkin menginstal drive M-Disc di laptop / PC baru mereka

M-DISC Ready menggerakkan data laser-etch menjadi bahan seperti batu anorganik untuk mencegah kehilangan data, memastikan file Anda aman dan dapat disimpan hingga 1000 tahun, klaim perusahaan.

Tidak seperti semua DVD yang dapat direkam lainnya yang menggunakan pewarna organik untuk menyimpan data, M Disc tidak akan pudar atau menurun seiring waktu.

Anda perlu memadukan berbagai teknologi, lokasi, dan media untuk mencapai cadangan jangka panjang:

• Burn to DVD - Bluray dengan kecepatan rendah. Simpan dalam cahaya rendah, suhu rendah, kelembaban rendah, bebas goresan.
• Simpan salinan di unit RAID 1, Raid5, Raid6 atau Raid10.
• Simpan salinan lain dalam HDD eksternal
• Simpan salinan di cloud (carbonite, crashplan)
• Menyimpan salinan pada teknologi M-Disc (Mdiscs dan Mdisc burner) tidak tersedia di Amazon.com dengan harga yang sangat bagus. Produsen menyatakan mereka dapat menyimpan data selama 1000 tahun.

Seperti seseorang yang telah disebutkan ada teknologi baru yang disebut M-Disc. Mereka sangat andal: http://www.zdnet.com/torture-testing-the-1000-year-dvd-7000023203/ Kami mulai menggunakannya untuk mengamankan gambar disk mesin produksi. Sudah ada Blu-Rays di pasaran. Satu-satunya kelemahan adalah mereka lebih lambat dari B-RD klasik.

Jika Anda ingin memiliki metode untuk menyelesaikan masalah ini, Anda harus mempelajari bidang Digital Presevation.

http://en.wikipedia.org/wiki/Digital_preservation

Pelestarian digital adalah metode menjaga agar materi digital tetap hidup sehingga tetap dapat digunakan karena kemajuan teknologi membuat spesifikasi perangkat keras dan perangkat lunak asli menjadi usang (wikipedia)

Ada juga model referensi: OAIS http://en.wikipedia.org/wiki/Open_Archival_Information_System

Ada beberapa solusi open source dan komersial untuk menyertainya. Perpustakaan dan Arsip menggunakan teknologi ini untuk melestarikan buku digital untuk jangka waktu yang lama.

Jawaban Anda sederhana:

https://wiki.openstack.org/wiki/Cinder

Openstack adalah sistem penyimpanan yang hampir 'abadi', karena Anda dapat meningkatkan atau mengganti node kesalahan dengan yang baru bahkan dengan teknologi masa depan yang tidak kita ketahui sekarang. Data Anda hidup setidaknya 2, hingga 5 tempat secara bersamaan dalam sistem ini, sehingga catatan penyimpanan lengkap dapat gagal dan data Anda masih ada. Timbangan hingga 50 PB (diverifikasi) - 110 PB. Pada dasarnya ia menambahkan Layer SW pada perangkat keras Anda dan ini membuat penyimpanan Anda tak terbatas hidup. Itu mengatasi penghalang suara kami saat Raid Sets dengan keterbatasannya untuk membangun kembali waktu set raid yang sangat besar. Biaya sekitar 50% dari sistem Penyimpanan Raid tradisional. Saya tahu sistem dari FUJITSU menampilkan ini sebagai arsitektur referensi: CD10000

Penyimpanan data jangka panjang yang praktis menggunakan teknologi saat ini tahun 2014:

... dan inilah yang saya lakukan.

Dapatkan dua drive multi-terabyte, misalnya dua drive masing-masing 3 terabyte. Panggil satu TB-1 dan lainnya TB-2. Cadangkan semuanya ke TB-1. Setelah setahun mendukung TB-1, format ulang TB-2 dan salin TB-1 ke TB-2. Kemudian untuk tahun berikutnya, buat cadangan semuanya ke TB-2. Setelah tahun itu, format ulang TB-1 dan salin TB-2 ke TB-1 sehingga memulai siklus dua tahunan lagi.

Format ulang mengembalikan kekuatan magnet penanda sektor. Dan penyalinan mengembalikan kekuatan magnetik data.

Prinsip yang sama dapat diterapkan pada cadangan kaset dan cadangan CD, atau sebagian besar cadangan lainnya. Tetapi CD sangat merepotkan karena mereka bisa memburuk dalam waktu kurang dari setahun, dan Anda membutuhkan begitu banyak dari mereka untuk mendukung semuanya. Jadi, membakar salinan semua CD cadangan setiap 5 bulan terlalu banyak pekerjaan. Sejauh ini, saya dapat menyimpan seluruh hidup saya pada satu drive multi-terabyte.