Nasihat Umum tentang solusi arsip. ~ 15tb dan terus bertambah.

9

Saya membutuhkan sistem penyimpanan dan arsip yang lebih baik untuk file bisnis kecil saya. Secara khusus file-file tersebut menyelesaikan proyek video. Di luar batasan waktu dan biaya, apa yang menghambat saya adalah saya tidak percaya pada solusi apa pun yang telah saya renungkan. Karena itu saya menguraikan masalah dan pikiran saya. Saya sangat menghargai segala pendapat.

Anggaran: Saya percaya dalam membelanjakan apa yang diperlukan. Yang sedang berkata, kami adalah bisnis kecil. Saya berharap saya bisa keluar dari ini untuk <5k dan lebih sekitar 1-3k. Itu mungkin mimpi pipa. Katakan saja begitu.

Masalah:

  • File video mentah berukuran besar dalam ukuran file. Kami telah mengakumulasikan mungkin 10 + tb sejauh ini dan itu berkembang cepat.
  • Pengeditan video memerlukan akses baca / tulis cepat ke file sehingga server file pusat atau cloud tidak akan cukup cepat. Oleh karena itu kita mungkin memerlukan solusi pencapaian untuk proyek lama dan proyek saat ini harus tetap lokal.
  • Kami ingin semacam solusi redundansi dan di luar kantor.

Apa yang kami lakukan saat ini:

  • Kami menggunakan hard drive eksternal yang besar dan berkualitas tinggi.
  • Kami selalu membeli berpasangan dan menggandakan konten secara manual. Dengan kata lain, kami bekerja dari satu, dan menduplikasi file ke yang lain yang berfungsi sebagai cadangan / mundur.
  • HD ini cukup cepat dengan firewire800 atau USB3 untuk langsung bekerja.
  • Setelah diisi, kami menyisihkan pasangan.

Apa yang salah dengan solusi saat ini:

  • Meskipun data digandakan di dua drive, drive ini tidak "didukung" atau disimpan di luar kantor.
  • Organisasi di banyak HD eksternal ini sulit. Proyek apa yang ada di drive apa? dll.
  • Akhirnya kita akan memiliki jumlah hard drive yang konyol.
  • Duplikasi bukan RAID.

Pilihan:

Server Lokal

  • Beli server pemasangan rak dan enclosure array hard drive yang dipasang di rak, seperti Norco, (SAS) (20 bay).
  • Semua file video akan disimpan di server ini. Kami dapat menginstal dan membayar layanan cloud untuk membuat cadangan komputer / server yang satu ini. CrashPlan bekerja di Linux dan tidak memiliki batasan berapa banyak data. Har har akan drive fisik yang terhubung ke server sehingga kami berkeliling "tidak ada NAS" aturan perusahaan seperti CrashPlan miliki. Ini bukan komputer pribadi sehingga sinkronisasi dapat berjalan 24/7/365. Ini akan menyelesaikan masalah di luar kantor.
  • Alih-alih menggunakan layanan cadangan online seperti CrashPlan, kami dapat menulis skrip untuk menyinkronkan file-file ini ke akun Amazon Glacier.
  • Kebijakan yang membuat video mengintip dari hard drive eksternal untuk proyek saat ini tetapi harus meletakkan proyek di komputer baru ini saat selesai. Dengan kata lain, terus menggunakan hard drive eksternal untuk proyek saat ini dan menyimpan proyek yang diarsipkan di server ini.

Layanan pencadangan berbasis cloud (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • Biasanya hanya membiarkan Anda membuat cadangan hard drive eksternal yang secara fisik terhubung ke komputer. (tidak ada drive NAS atau jaringan).
  • Biasanya mereka mengharapkan drive eksternal yang dicadangkan untuk tetap terhubung ke komputer Anda dan semua data tetap berada di drive. Jika Anda tidak memasang hard drive eksternal selama berbulan-bulan, apa yang terjadi dengan cadangan? Jika Anda membersihkan ruang dengan menghapus proyek-proyek lama, mereka juga akan dihapus dari layanan online.
  • Mengharuskan pengguna kami untuk membiarkan hard drive eksternal terhubung ke komputer mereka sampai semua data ada di cloud. Ini bisa memakan waktu berminggu-minggu untuk proyek besar.
  • Memulihkan proyek akan sangat lambat karena kecepatan transfer internet.
  • Akun cadangan cloud ini biasanya khusus untuk satu pengguna / satu komputer. Jadi, jika harddisk didukung oleh satu pengguna. Kemudian pengguna kedua bekerja di proyek, apa artinya itu?

NAS Besar

  • NAS adalah "Network Area Storage". Anda memasukkan sebanyak mungkin hard drive yang akan dipegang. Itu akan menyerang mereka. Anda dapat mengakses ini melalui koneksi jaringan atau mungkin USB3 / Firewire.
  • Sebagian besar memiliki Sistem Operasi yang dimasukkan ke dalamnya. Jadi, Anda tidak dapat menjalankan perangkat lunak lain seperti layanan cadangan berbasis cloud. Anda juga tidak dapat melakukan kustomisasi atau menjalankan perangkat lunak Anda sendiri. Anda mendapatkan apa yang Anda beli.
  • NAS besar cukup mahal dan tidak terlalu besar. Anda tidak menemukan banyak dengan lebih dari 4 rongga. Saat ini HD besar adalah 3tb. Jadi 4bays mungkin sekitar <12tb penyimpanan. Tidak super nyaman untuk masa depan.

Gagasan lain adalah:

  • Rekaman Cadangan.
  • Cukup arsipkan proyek-proyek lama langsung ke Gletser Amazon, Lewati membangun server lokal untuk menyimpannya.

Terima kasih atas sarannya !!! Jed

maestrojed
sumber
Setelah proyek selesai, seberapa sering Anda perlu kembali dan bekerja dengan datanya?
Michael Hampton
Pemahaman Anda tentang "Big NAS" sangat kecil. Ada perusahaan mulai dari NetApp ke EMC ke IBM ke Isilon ke banyak lainnya yang ingin duduk bersama Anda.
mfinni
Kami perlu kembali ke data ini sekali atau dua kali sebulan. Jika ada keterlambatan mengakses data ini (Gletser Amazon) saya pikir itu akan diterima jika kita berbicara berjam-jam dan bukan berhari-hari.
maestrojed
Jangan gunakan Glacier, kalau begitu. Pengambilan fess akan menjadi tinggi, dan akuntan Anda akan tersentak saat mendapat tagihan.
HopelessN00b
@ mfinni Saya yakin EMC dan IBM akan memiliki ide-ide hebat dan perangkat keras yang luar biasa (tidak tahu tentang NetApp). Tidak yakin itu cocok dengan anggaran yang saya jelaskan dan juga tidak cocok untuk bisnis kecil. Sepertinya NetApp membuat perangkat keras mirip dengan apa yang saya sebut "Hard Drive Array" yang dibuat oleh Norco. Saya menyebutkan ini dalam membangun ide server saya sendiri. Apakah itu pendekatan yang Anda sarankan?
maestrojed

Jawaban:

12

Tape. Sederhana seperti itu. Quantum memiliki sistem SuperStore yang dapat menangani lebih dari itu dan saya telah melihatnya dengan harga kurang dari 5.000 poin Anda - baru. Hal yang baik adalah Anda dapat menarik kaset untuk penyimpanan sehingga penskalaan ini akan cukup hemat biaya, dan kaset bertahan.

TomTom
sumber
Karena Anda senang dengan waktu pengambilan pada urutan jam, saya sepenuhnya dengan TomTom tentang ini. Kaset kurang dihargai, dan sangat baik untuk hal semacam ini.
MadHatter
Jika Anda menggunakan selotip, pastikan Anda memiliki sesuatu yang memungkinkan Anda untuk menguji selotip tersebut. Dalam pengalaman saya, sekitar 75% dari backup tape tidak berfungsi karena orang menggunakan kaset yang sama beberapa kali dan terkejut ketika mereka tidak dapat mengambil data dari mereka 3 tahun kemudian.
Matius
2
Cukup mengejutkan mengingat bahwa mengambil yang benar disimpan (batuk) memiliki jaminan panjang aarchival (saya pikir 30 tahun). Dan Anda dapat dengan mudah membuat 2 salinan. Ambil skala dengan sangat baik. Ini lebih merupakan - maaf - kebodohan ppl yang kemungkinan tidak pernah menguji pemulihan bahkan sekali .... meskipun saya akan melakukan itu dalam jadwal (1 minggu, 1 bulan, 1 tahun).
TomTom
1
+1 - Ini praktis merupakan kasus buku teks untuk kaset berkapasitas tinggi. Biaya tambahan untuk menambahkan penyimpanan ke arsip berbasis tape (bahkan dengan memotong dua kaset untuk disimpan di dan di luar situs) lebih rendah daripada hard disk drive dan kaset dimaksudkan untuk pengarsipan. KPP didukung oleh asosiasi industri yang telah menunjukkan komitmen untuk membangun produk yang memungkinkan akses pada media lama. Meski begitu, dalam beberapa tahun, ketika Anda mengganti elemen tape, Anda mungkin harus memigrasi data lama ke format kaset baru, jika hanya untuk memerangi bit bit yang potensial. Jika Anda ingin ini menjadi "OPEX" pertimbangkan opsi leasing.
Evan Anderson
1
Rekaman itu bagus tetapi memerlukan disiplin - pengujian reguler, rotasi di luar kantor, dll. Saya pribadi akan menggunakan NAS garis-dekat (mungkin nas4free) dan rsync dengan tarif terbatas untuk kotak identik luar kantor.
quadruplebucky
4

Pertama, saya sarankan menghindari Glacier. Kedengarannya bagus, sampai Anda menghilangkan biaya untuk benar-benar memulihkan sejumlah besar data. Ini adalah kalkulator tidak resmi yang dapat Anda gunakan untuk menghitung biaya penyimpanan dan pengambilan Glacier, dan menilai sendiri . Memulihkan terabyte data dari Glacier adalah prospek yang tidak menarik.

Kedua, saya akan menyarankan bahwa untuk keperluan pencadangan sederhana, Anda bisa pergi dengan server NAS tunggal dengan banyak drive. Bagi saya sepertinya Anda hanya melihat opsi NAS rumah dan kantor kecil, dan Anda harus mempertimbangkan penawaran NAS yang tepat. Memilih Dell, saya akan menunjukkan Server PowerVault NAS Dell , tetapi HP, IBM, SuperMicro, dan hampir semua orang memiliki penawaran serupa. Saya memiliki Dell PowerVault NX yang lebih lama di rumah yang berfungsi sebagai pustaka media saya, dan memiliki dua belas disk SAS near-line 2 TB di dalamnya. Drive SAS nearline 4 TB juga tersedia akhir-akhir ini, sehingga Anda selalu dapat mengisi server NAS yang tepat dengan itu. (Atau beli beberapa server NAS.)

Anda dapat dengan mudah menggunakan salah satunya di LAN lokal Anda, menginstal perangkat lunak cadangan pilihan Anda ( seperti Bacula, jika Anda suka gratis , atau salah satu dari selusin penawaran komersial jika Anda ingin dukungan vendor) dan menggunakan volume RAID besar sebagai target cadangan. Anda kemudian dapat menggunakan layanan pencadangan cloud untuk mencadangkan server NAS ini, dan mendapatkan manfaat dari pencadangan lokal dan jarak jauh. Sekali lagi, ini yang saya lakukan di rumah. Server NAS yang tepat, terabyte data yang dicadangkan ke layanan cloud.

Dan tentu saja, Anda dapat menggunakan tape juga ... membeli drive tape LTO atau perpustakaan - secara pribadi, saya akan berusaha keras untuk menghindari tape atau media cakram optik, tetapi mereka adalah pilihan yang sah, dan mungkin lebih murah daripada disk solusi -untuk-disk.

Akhirnya, saya menyarankan Anda untuk mempertimbangkan kelemahan utama layanan cadangan cloud, yang merupakan ukuran pipa internet Anda. Diperlukan waktu berminggu-minggu atau berbulan-bulan untuk mengunggah terabyte data melalui koneksi internet Anda, dan / atau dikenakan biaya tambahan dari ISP Anda. Jadi, sementara mereka adalah opsi yang layak untuk membuat cadangan data, bahkan data perusahaan, itu adalah kendala yang tidak dipertimbangkan kebanyakan orang sampai mereka sudah menemukannya.

HopelessN00b
sumber
+1. Glacier adalah arsip - serius S ++++ untuk cadangan. Cadangan berarti tidak ada pengembalian untuk usia, maka LOT - dan kuota 5% berarti membayar jika terjadi pengembalian.
TomTom
1

Saya pikir itu tergantung pada anggaran Anda. Jika Anda hanya dapat menghabiskan ~ $ 6rb, Anda mungkin harus membangun NAS Anda sendiri. Saya akan melihat nas4free dan berapa biaya server. Jika Anda dapat menghabiskan $ 20k, Anda mungkin dapat mengisi server dengan banyak disk dan kartu RAID atau perangkat lunak RAID yang layak di Linux atau apa pun.

Untuk sekitar $ 40k Anda dapat memiliki 1U highish end (IBM x3550 M4, 2 port Emulex 10GBit nic, 4 Gbit NIC, 128GB RAM, 2 disk SAS 10 k lokal) dengan 10Gbit iSCSI ke kotak Infortrend SAN dengan 24 disk SAS 4TB yang Anda dapat potong dan dadu sesuai keinginan Anda. RAID6 adalah konfigurasi yang masuk akal.

Tape juga merupakan ide yang bagus, tetapi saya tidak tahu seberapa murah itu sebenarnya. Itu tergantung pada seberapa besar perpustakaan yang Anda dapatkan. Jika perpustakaan 48 tape bagus, Anda dapat melakukannya lagi dengan kartu SAS 1U dan eksternal untuk drive $ 30k dan 2 LTO6 mungkin ... Tetapi kemudian Anda memerlukan lisensi perangkat lunak untuk mengelola cadangan kaset atau sesuatu. Saya hanya menggunakan NetBackup, yang mungkin tidak cocok untuk Anda di sini. Hanya saja, jangan lupa Anda mungkin ingin menggerakkan tape library dengan cara tertentu dalam perangkat lunak. Tapi begitu Anda keluar dari perpustakaan, jangan lupa mencari kaset itu dan memuatnya, ditambah area pementasan untuk akses ...

jmp242
sumber