Saya anggota sebuah perusahaan produksi dan kami sedang mempersiapkan film fitur pertama kami. Kami telah membahas metode penyimpanan data untuk menjaga semua konten asli kami aman (selama mungkin). Meskipun kami memahami bahwa data tidak pernah 100% aman, kami ingin menemukan solusi teraman untuk kami.
Kami telah mempertimbangkan:
16TB NAS untuk penyimpanan di tempat
4-5 2TB hard drive (murah, tetapi tidak berlebihan), salin rekaman asli ke drive kemudian segel dalam tas bebas statis
Membakar data ke disk Blu-Ray (memakan waktu dan mahal: 200 disk == $ 5000)
Tape drive?
Saya tahu sedikit tentang tape drive, kecuali fakta bahwa mereka lebih dapat diandalkan daripada disk. Setiap pengalaman / pengetahuan dengan jumlah data ini sangat dihargai.
data-recovery
hdvideo
video-capture
Josh T
sumber
sumber
Jawaban:
Ini mengasumsikan Anda pergi untuk arsip daripada cadangan biasa atau data langsung.
Pilih satu set hard drive SATA (1 atau 2 TB), plus beberapa tambahan. Salin data Anda ke disk. Gunakan QuickPar (atau pengarsip yang mendukung volume paritas) untuk membuat file paritas tambahan. Bagikan file paritas di antara hard disk Anda.
Info paritas akan memungkinkan Anda untuk merekonstruksi file jika Anda memiliki cukup file paritas yang tersisa. Jadi jika satu disk mati tetapi disk lain dengan info paritas masih berfungsi, Anda dapat menggunakan file paritas untuk merekonstruksi yang asli.
Untuk redundansi lebih banyak, lakukan semuanya dua kali dan simpan di lokasi terpisah.
Jika Anda benar-benar paranoid, simpan pengontrol PCI dan PCI Express ke SATA di setiap situs juga!
Sunting: Sial, jika paranoia adalah masalahnya, pergilah seluruh babi dan simpan PC dengan ethernet gigabit di setiap situs yang mampu membaca disk!
sumber
dataparanoidism. ; PDrive LTO4 yang kami gunakan dapat menjejalkan 800GB per pita. Kelemahannya adalah biaya dari drive itu sendiri. Jika Anda menolak $ 5K untuk disk Blu-Ray, Anda tidak akan menyukai biaya LTO4. Di sisi lain, gerobak itu sendiri cukup murah berdasarkan per-GB sehingga Anda dapat menyimpan banyak salinan. Kaset ini memiliki masa simpan yang baik, tetapi Anda perlu merencanakan untuk memindahkannya ke media baru saat Anda mengganti tape drive. Dari bagaimana Anda menggambarkan bagaimana Anda akan menggunakan penyimpanan ini, saya tidak berpikir kaset cocok. Tidak, kecuali ini akan menjadi solusi cadangan alih-alih solusi arsip . Masalah yang berbeda.
Anda mungkin ingin mempertimbangkan semacam vendor cadangan berbasis cloud untuk ini, jika perubahan bersih harian Anda cukup kecil. Tentu saja, ini tergantung pada seberapa besar koneksi internet Anda, dan memulihkannya bisa sama menyakitkannya. Layanan ini sangat baru, jadi tidak diketahui bagaimana mereka menangani masalah kebangkrutan untuk data Anda; apa yang terjadi jika mereka keluar dari bisnis?
Penyimpanan disk lokal jelas merupakan cara yang harus dilakukan. Penutup drive dengan drive yang mudah ditukar mungkin adalah taruhan terbaik Anda mengingat kendala biaya Anda. Jika Anda dapat hidup dengan data itu secara offline, maka lakukanlah. Disk murah, dan disk-enclosure lebih murah daripada tape drive. Lebih sedikit bagian yang bergerak.
Saya berasumsi Anda memerlukan ini untuk arsip, bukan penggunaan aktif dalam peran video. Jika ya, itu masalah penyimpanan yang berbeda.
sumber
Dalam penelitian NAS Anda, sudahkah Anda melihat perangkat penyimpanan mandiri DroboPro atau DroboElite ?
Pertimbangkan berapa biayanya jika Anda kehilangan sebagian / seluruh rekaman dan anggaran Anda;)
sumber
Sudahkah Anda mempertimbangkan layanan yang dihosting? Saya tidak yakin berapa harganya, tetapi Anda mungkin ingin mempertimbangkan layanan hosting yang menjual penyimpanan massal. Mungkin AWS ?
sumber
Delapan hingga sepuluh hard drive 2TB; buat dua set. Simpan seperti yang telah disebutkan, secara terpisah ...
Saya akan tinggal jauh dari kaset karena jauh lebih sensitif terhadap kondisi itu disimpan daripada disk; juga, lima tahun dari sekarang, kemungkinannya bagus Anda masih dapat menghubungkan drive SATA ke sesuatu, tetapi Anda mungkin tidak dapat mengakses tape drive yang dapat membaca kaset Anda.
Optik akan menjadi yang terbaik dalam hal stabilitas jangka panjang, tetapi, seperti yang Anda sebutkan, biaya dan logistik membuatnya agak tidak praktis.
sumber
Saya akan merekomendasikan memiliki semacam NAS / RAID untuk file langsung yang sering Anda kerjakan. Jika Anda akan menggunakan drive berkapasitas besar, Anda mungkin ingin menggunakan RAID-6 atau serupa yang seperti cadangan panas RAID-5 + memungkinkan Anda untuk gagal dua disk sebelum RAID Anda terdegradasi, tetapi tidak seperti konfigurasi cadangan panas drive ekstra 2 Anda juga akan memiliki paritas di atasnya sehingga serangan itu tidak perlu membangun kembali paritas untuk cadangan pada kegagalan. Dengan drive yang semakin besar, ada kemungkinan lebih besar gagal drive selama membangun kembali, sehingga memiliki paritas hidup sebanyak mungkin adalah baik.
Selain itu, saya akan merekomendasikan menggunakan hard disk seperti tape drive. Hari-hari ini orang bahkan dapat membeli kasing hard drive (juga ini ) yang memungkinkan Anda untuk mengajukan drive untuk arsip. Anda dapat membuang file ke RAID dan kemudian membuat salinan arsip tambahan ke drive untuk diarsipkan.
Beberapa rumah produksi video seperti Pixel Corps menggunakan pengaturan serupa.
Juga, saya akan sangat merekomendasikan menyimpan file di lebih dari satu lokasi (bukan di bawah atap yang sama). Selain itu, pasti ikuti mantra "jika tidak ditulis di setidaknya dua tempat, Anda belum menyimpannya". Juga, RAID tidak dihitung sebagai cadangan.
sumber
Saya akan menganggap ini sebagian besar untuk penyimpanan tipe cadangan offline: mudah dibuat dan dipulihkan, tetapi tidak banyak digunakan dalam operasi sehari-hari.
Drive 2TB dapat dimiliki untuk sekitar $ 140 hari ini. Jadi, untuk 10TB, 5 drive, $ 700. Bayangkan sekitar $ 400 untuk membangun server semi-berdaya rendah yang menjalankan Debian atau Ubuntu atau rasa Linux lainnya. Jika Anda mendapatkan sistem dengan beberapa NIC, Anda dapat terhubungantarmuka jaringan bersama (berpotensi, saya percaya Anda memerlukan sakelar terkelola yang mendukung trunking) meningkatkan bandwidth yang tersedia di server, dan melindungi dari kegagalan NIC. Anda kemudian dapat mengekspos penyimpanan melalui samba, NFS, atau metode lain ke workstation yang perlu menggunakannya. Untuk volume data sebesar ini, Anda mungkin menginginkan semacam redundansi sehingga ketika (tidak jika) salah satu drive ini menggigitnya, Anda tidak akan tanpa data Anda. RAID5 bukan ide yang baik di sini, karena beberapa alasan, tetapi RAID10 sesuai dengan tagihan. Karena server menjalankan Linux, Anda dapat menggunakan mdadm untuk mengelola array RAID. Anda harus menggandakan jumlah perangkat fisik untuk melakukan ini, sehingga Anda hingga 10 drive. Total biaya server penyimpanan ini:
Jika Anda benar - benar menyukai data Anda, (jika ini benar-benar data produksi yang penting, Anda harus!), Anda dapat membangun server duplikat, dan membuat cadangan cadangan. Anda dapat melakukan ini dengan crontab rsync, yang mungkin sangat lambat, solusi pipa netcat / tar , yang akan lebih cepat untuk memastikan, atau mengatur perangkat raid sebagai basis perangkat drbd . Dengan penyimpanan yang digandakan di kedua mesin secara otomatis, Anda (pada dasarnya) dijamin memiliki cadangan data yang berlebihan. Anda bisa menjadi lebih keren dan mengatur sistem gagal jantung untuk menjamin ketersediaan volume data Anda.
sumber
Buffalo TeraStation III 8TB Penyimpanan Terlampir Jaringan - £ 1,085.56
tautan amazon.co.uk
Saya mendapatkan versi terastation 1tb yang telah saya tingkatkan menjadi 4tb, ia bekerja dengan sempurna di RAID5 untuk saya. Anda dapat melihat membeli versi yang lebih kecil dan meningkatkannya sendiri untuk menghemat uang - atau membeli beberapa terastasi dll.
sumber
Saya tidak tahu banyak tentang tape drive atau semantik menyimpan data pada tape, jadi saya tidak dapat membantu Anda di sana. Mengingat biaya mahal menggunakan bluray sebagai cadangan skala besar, saya akan tetap menggunakan NAS atau drive individu.
Satu hal yang perlu diwaspadai dengan NAS / Raid adalah bahwa, sementara mereka dapat menyimpan sejumlah besar informasi dalam satu drive virtual ... Anda harus menjaga semua drive bersama, dan RAID pada umumnya bukan jangka panjang yang hebat " solusi cadangan ". Anda menjalankan potensi kehilangan lebih dari satu drive, kehilangan perangkat NAS itu sendiri (dan jarang ada jaminan bahwa perangkat pengganti akan dapat membaca data dari drive, bahkan jika itu adalah perangkat yang "identik".)
Mengingat betapa murahnya hard drive saat ini, dan stabilitasnya secara umum, saya akan memilih drive individual. Anda dapat dengan mudah mengambil 10 drive 2TB dengan biaya kecil (mungkin $ 1200 - $ 1500), dan menghasilkan dua set cadangan. Anda mendapatkan cadangan data offline dan redundan, tanpa risiko terlibat dengan RAID atau perangkat NAS. Masing-masing drive juga menawarkan jangkauan kompatibilitas yang lebih besar, karena SATA tidak mungkin untuk pergi ke mana pun dalam waktu dekat.
sumber
Jika Anda benar-benar ingin memastikan Anda tidak akan kehilangan itu, maka Anda ingin setidaknya dua opsi arsip. Mungkin tape dan hard drive. Membuat hanya satu salinan tanpa bentuk redundansi hanyalah cara lain untuk menggulirkan dadu data.
sumber
Tergantung pada kebutuhan penyimpanan, jika Anda ingin mencadangkan masing-masing workstation, lihatlah dock penyimpanan eksternal Thermaltake BlacX untuk drive SATA yang dapat dilepas. Mereka mendukung koneksi USB eksternal dan SATA. Cukup masukkan drive ke dok, salin data dan Anda memiliki cadangan.
Saya punya dok di rumah dan bekerja. Saya membuat cadangan di setiap lokasi dan membawanya ke lokasi lain untuk penyimpanan di luar lokasi. Saya juga memiliki drive awal untuk memindahkan pekerjaan yang sedang berlangsung di antara lokasi.
Dermaga masing-masing sekitar $ 60,00 dan Anda bisa mendapatkan 1,5TB drive untuk di bawah $ 100.
sumber
Josh, Anda belum memperjelas apakah ini berfungsi data atau mengarsipkan data. Jika data berharga, tidak ada perbedaan nyata antara cadangan dan arsip, hanya tempat Anda menyimpan yaitu pada sistem kerja Anda atau sistem arsip. Sekali lagi jika data berharga, sistem kerja dan sistem arsip Anda akan sama jika Anda ingin melindungi data dan mematuhi aturan cadangan.
Arsip lebih berlaku untuk jenis media daripada apa yang disimpan di dalamnya. Arsip menyiratkan bahwa data tidak akan pernah berubah yaitu Ditulis Sekali, dan Baca Berkali-kali, biasa disebut WORM. Drive WORM biasanya berupa tape tetapi hal-hal seperti RDX Quikstor dan RDX Quikstation (stasiun RDX 8 bay) memiliki opsi WORM untuk drive tertentu sehingga tidak dapat ditulis secara berlebihan. Saya menduga bahwa RDX Quikstation mungkin sesuai dengan pengarsipan Anda.
Ingatlah bahwa sistem arsip adalah bagian dari rencana cadangan. Anda tidak boleh mempertimbangkan hanya memiliki satu salinan data apa pun.
Beberapa aturan cadangan adalah:
3-2-1 Aturan.
Tiga (3) salinan data Anda. Satu (1) sumber dan dua (2) cadangan di dua media yang berbeda, satu (1) di antaranya disimpan di luar kantor.
Contoh: Server di tempat dicadangkan ke NAS di tempat, dan dicadangkan di luar kantor ke tape atau RDX. Server di lokasi dicadangkan ke NAS di tempat, dan membuat cadangan di luar NAS. Server di tempat dicadangkan ke NAS di tempat, dan real-time direplikasi ke NAS di tempat. Cadangan di tempat Anda harus berupa disk.
Media:
Cadangan luar kantor Anda tergantung pada waktu. Mencadangkan di luar kantor ke media portabel secara otomatis menyebabkan penundaan waktu. yaitu cadangan semalam hari Senin diambil di luar kantor pada Selasa malam. Jika Anda memiliki bencana sebelum penutupan bisnis pada hari Selasa, Anda kehilangan nilai dua hari. Berapa banyak Anda mampu kehilangan tergantung sepenuhnya pada bisnis Anda dan frekuensi perubahan data.
Penyimpanan media:
Patuhi sepenuhnya aturan untuk penyimpanan media. Beberapa kaset mengharuskan Anda menyimpannya secara vertikal antara rentang suhu dan kelembaban yang sempit, jauh dari sumber medan magnet. Menjatuhkan kaset akan mengurangi keandalannya. Mengirim kaset ke rumah dengan gadis kantor di tasnya di sebelah ponselnya adalah bencana yang menunggu untuk terjadi. Kaset juga memerlukan apa saja hingga dua jam di lingkungan cadangan sebelum dimasukkan ke dalam drive, menyamakan suhu dan kelembaban antara tape dan drive tape. Kaset juga harus dibuang dan diganti pada interval waktu / penulisan yang diperlukan.
Secara pribadi, untuk alasan ini, saya tidak suka rekaman. Biayanya tidak kecil dan juga tidak ada biaya untuk meminta seseorang mengelolanya. Berinvestasi dalam rekaman tetapi tidak mengikuti aturan tidak ada gunanya. Anda dapat melakukannya dengan harga murah tetapi keandalannya menurun.
Hilangkan titik kegagalan tunggal:
Jangan menyebar data cadangan ke berbagai media. Misalnya cadangan penuh pada satu kaset dan diferensial di 6 kaset lainnya telah melipatgandakan risiko Anda kehilangan data 7 kali. Jika saya memiliki cadangan, saya ingin memuat semua file yang diperlukan untuk mengembalikan data. Lebih baik memiliki 7 backup penuh.
Di satu sisi, serangan dianggap sebagai banyak media. Di mana pun Anda menggunakan RAID, pastikan ia memiliki failover otomatis hot swap. Miliki setidaknya satu drive cadangan di ruang drive sebagai cadangan hot swap khusus, dan sistem akan secara otomatis menukar drive mati dengan cadangan hot swap. Jika Anda memiliki data terabyte, pertimbangkan untuk memiliki dua atau lebih hot swap spares di RAID Anda.
Amati Jarak Luar Lokasi:
Jarak luar kantor Anda penting. Ada sedikit gunanya memiliki cadangan di luar kantor jika itu hanya melindungi terhadap kehilangan data dalam beberapa keadaan. Siapa pun yang pernah mengalami gempa bumi, banjir, angin topan, angin topan, dll. Akan memberi tahu Anda hal itu. Gempa bumi baru-baru ini di kota kami melihat banyak perusahaan besar menggelepar tanpa cadangan di luar kantor (kaset masih di sebelah server) atau cadangan yang tidak dapat dibaca. Umumnya 60 mil / 90 km adalah jarak yang baik.
Saya tidak tahu anggaran Anda, jadi memberi nasihat itu sulit. Anggaran berdampak pada pilihan cadangan dan penyimpanan. Saya telah bekerja untuk produser film yang menyediakan dukungan TI, jadi saya memiliki pemahaman tentang bagian-bagian yang bergerak dalam industri Anda. Ada banyak pertanyaan yang tidak terjawab:
Server apa yang Anda miliki, jika ada? Berapa banyak staf yang Anda miliki? Apakah ini satu-satunya film fitur Anda? Berapa ukuran file atau set file terbesar? Apa waktu antara film ini dan selanjutnya? Misalnya jika Anda menghasilkan waktu penuh, Anda memiliki arus kas untuk menutupi pengeluaran bulanan seperti cadangan jarak jauh melalui serat. Aliran uang seperti apa yang akan dihasilkan film? Persyaratan apa yang Anda miliki untuk maju? Pertanyaan-pertanyaan ini dan lainnya mengatur persyaratan, metodologi, dan anggaran Anda.
Misalnya: Jika Anda memproduksi 3 film layar lebar setahun dan iklan setiap bulannya dengan mempekerjakan selusin staf, Anda dapat memiliki: Server dengan RAID yang didukung hingga RAID NAS di tempat. Tautan serat khusus (tidak semahal itu) dengan tautan 100mbit yang tidak tertandingi (tidak dibatasi oleh ISP) direplikasi ke pusat data 60m / 90k jauhnya. Data arsip penting harus ditulis ke tape atau RDX dan disimpan di pusat data atau vault tape. Anggaran adalah satu-satunya faktor penentu Anda untuk tingkat redundansi dan cadangan yang Anda mampu.
Atau jika anggarannya rendah, dan pendapatan berasal dari penjualan dan masa depan tidak diketahui, Anda mungkin mempertimbangkan TAPE, RDX, atau drive USB (tidak disarankan) disimpan di rumah.
Persyaratan saat ini dan masa depan, arus kas dan anggaran, ditimbang terhadap kehilangan data adalah faktor penentu Anda. Saya sarankan Anda mempekerjakan spesialis cadangan berpengalaman dan / atau analis bisnis untuk mengerjakan proses penyimpanan dan cadangan untuk Anda.
sumber