File Server - Konfigurasi penyimpanan: RAID vs LVM vs ZFS sesuatu yang lain ...?

Kami adalah perusahaan kecil yang melakukan pengeditan video, antara lain, dan membutuhkan tempat untuk menyimpan salinan cadangan file media besar dan membuatnya mudah untuk membagikannya.

Saya sudah menyiapkan kotak dengan Ubuntu Server dan drive 4 x 500 GB. Mereka saat ini diatur dengan Samba sebagai empat folder bersama yang bisa dilihat oleh workstation Mac / Windows dengan baik, tapi saya ingin solusi yang lebih baik. Ada dua alasan utama untuk ini:

1. 500 GB tidak terlalu besar (beberapa proyek lebih besar)
2. Sangat rumit untuk mengelola pengaturan saat ini, karena masing-masing hard drive memiliki jumlah ruang kosong yang berbeda dan data duplikat (untuk cadangan). Ini membingungkan sekarang dan itu hanya akan menjadi lebih buruk setelah ada beberapa server. ("proyek ini pada sever2 di share4" dll)

Jadi, saya perlu cara untuk menggabungkan hard drive sedemikian rupa untuk menghindari kehilangan data lengkap dengan kegagalan satu drive, dan sehingga pengguna hanya melihat satu bagian pada setiap server. Saya telah melakukan perangkat lunak linux RAID5 dan memiliki pengalaman buruk dengannya, tetapi akan mencobanya lagi. LVM terlihat ok tapi sepertinya tidak ada yang menggunakannya. ZFS tampaknya menarik tetapi relatif "baru".

Apa cara paling efisien dan paling tidak berisiko untuk menggabungkan hdd yang nyaman bagi pengguna saya?

Sunting: Tujuan di sini pada dasarnya adalah untuk membuat server yang berisi jumlah hard drive yang sewenang-wenang tetapi membatasi kompleksitas dari perspektif pengguna akhir. (yaitu mereka melihat satu "folder" per server) Mencadangkan data bukan masalah di sini, tetapi bagaimana setiap solusi merespons kegagalan perangkat keras adalah masalah serius. Itu sebabnya saya menyamakan RAID, LVM, ZFS, dan yang-tahu-apa bersama.

Pengalaman saya sebelumnya dengan RAID5 juga pada kotak Ubuntu Server dan ada serangkaian keadaan yang rumit dan tidak mungkin yang menyebabkan hilangnya data lengkap. Aku bisa menghindari bahwa lagi tapi ditinggalkan dengan perasaan bahwa saya menambahkan jalur tambahan yang tidak perlu dari kegagalan untuk sistem.

Saya belum pernah menggunakan RAID10 tetapi kami menggunakan perangkat keras komoditas dan sebagian besar drive data per kotak cukup banyak pada angka 6. Kami memiliki banyak drive 500 GB dan 1,5 TB cukup kecil. (Namun, masih merupakan opsi untuk setidaknya satu server)

Saya tidak punya pengalaman dengan LVM dan telah membaca laporan yang saling bertentangan tentang bagaimana menangani kegagalan drive. Jika pengaturan (non-striped) LVM dapat menangani satu drive gagal dan hanya kehilangan file mana saja yang sebagian disimpan pada drive itu (dan menyimpan sebagian besar file pada drive tunggal saja) kita bahkan bisa hidup dengan itu.

Tetapi selama saya harus belajar sesuatu yang sama sekali baru, saya mungkin akan pergi ke ZFS. Tidak seperti LVM, saya juga harus mengubah sistem operasi saya (?) Sehingga meningkatkan jarak antara tempat saya dan tempat yang saya inginkan. Saya menggunakan versi solaris di uni dan tidak akan keberatan dengan hal itu.

Di ujung lain pada spektrum IT, saya pikir saya juga dapat menjelajahi FreeNAS dan / atau Openfiler, tetapi itu tidak benar-benar menyelesaikan masalah bagaimana-untuk-menggabungkan-drive.

LVM sebenarnya cukup banyak digunakan. Pada dasarnya, LVM berada di atas lapisan perangkat keras (driver). Itu tidak menambah redundansi atau peningkatan keandalan (bergantung pada sistem penyimpanan yang mendasarinya untuk menangani keandalan). Sebaliknya, ia menyediakan banyak fleksibilitas tambahan dan fitur tambahan. LVM seharusnya tidak pernah melihat disk hilang atau gagal, karena kegagalan disk harus ditangani oleh RAID (baik itu perangkat lunak atau perangkat keras). Jika Anda kehilangan disk dan tidak dapat melanjutkan operasi (membangun kembali RAID, dll), maka Anda harus pergi ke cadangan. Mencoba memulihkan data dari array yang tidak lengkap seharusnya tidak diperlukan (jika ya, Anda perlu mengevaluasi kembali seluruh desain Anda).

Di antara hal-hal yang Anda dapatkan dengan LVM adalah kemampuan untuk dengan mudah menumbuhkan dan mengecilkan partisi / sistem file, kemampuan untuk secara dinamis mengalokasikan partisi baru, kemampuan untuk snapshot partisi yang ada, dan mount snapshot sebagai hanya baca atau partisi yang dapat ditulis. Snapshots bisa sangat berguna, terutama untuk hal-hal seperti backup.

Secara pribadi, saya menggunakan LVM untuk setiap partisi (kecuali / boot) pada setiap kotak yang saya buat, dan saya telah melakukannya selama 4 tahun terakhir. Berurusan dengan kotak-kotak non-LVM sangat menyakitkan ketika Anda ingin menambah atau memodifikasi tata letak disk Anda. Jika Anda menggunakan Linux, Anda pasti ingin menggunakan LVM. [Catatan: Hal-hal di atas pada LVM ini telah diperbarui untuk lebih menjelaskan apa itu dan bagaimana cocok ke dalam persamaan penyimpanan.]

Adapun RAID, saya tidak melakukan server tanpa raid. Dengan harga disk semurah mereka, saya akan menggunakan RAID1 atau RAID10. Lebih cepat, lebih sederhana, dan jauh lebih kuat.

Jujur saja, kecuali Anda terhubung ke Ubuntu (yang biasanya saya sarankan), atau jika kotak melakukan tugas-tugas lain, Anda mungkin ingin melihat ke OpenFiler . Ini mengubah kotak Anda menjadi alat penyimpanan dengan antarmuka web dan akan menangani semua RAID / LVM / dll untuk Anda, dan memungkinkan Anda untuk mengekspor penyimpanan sebagai SMB, NFS, iSCSI, dll. Pengaturan kecil yang licin.

ZFS benar-benar andal dan itu memang membuat manajemen penyimpanan Anda jauh lebih mudah. Sebagai bonus: seseorang terintegrasi dengan ZFS di OpenSolaris dan menangani Raid dengan sangat baik. Tunggu beberapa hari, unduh versi 2009.6 yang dirilis pada saat itu dan cobalah mesin uji. Saya yakin Anda akan menyukai ZFS.

Dan tentang komentar Anda ZFS menjadi baru: bukan sangat baru lagi!

Pertanyaan sentralnya adalah: "Seberapa pentingkah data ini?"

Jika jawabannya adalah "Saya dapat membuatnya kembali dengan mudah" Anda ingin RAID5, mungkin dengan LVM di atasnya untuk kesederhanaan manajemen.

Jika jawabannya adalah "Saya bisa membuatnya kembali tetapi akan butuh waktu dan orang-orang akan mengeluh" Anda ingin RAID 6 atau lebih mungkin RAID 1/10.

Jika jawabannya adalah "Tidak ada yang melakukan pekerjaan apa pun saat saya membuatnya kembali dan memastikannya sempurna" Anda ingin ZFS / Raid-Z

Perhatikan bahwa Anda selalu dapat membuatnya kembali. RAID bukan cadangan.

Untuk menghubungkan banyak drive dalam sasis yang sama, pengontrol RAID perangkat keras adalah alat terbaik. Ini akan memberikan banyak konektor SATA untuk drive Anda, redondancy melalui RAID-5 atau lebih baik RAID-6, dan mungkin memberikan kinerja yang lebih baik juga.

Kinerja RAID perangkat lunak seringkali lebih baik daripada RAID perangkat keras dalam tolok ukur, namun penyajian file dan RAID perangkat lunak keduanya intensif CPU dan bersaing untuk prosesor Anda saat bekerja. Pengalaman saya menunjukkan bahwa kecuali Anda menggunakan sistem dual quad-core, RAID perangkat keras yang dikonfigurasi dengan benar akan mengalahkan perangkat lunak RAID dengan mudah.

Pengontrol perangkat keras yang baik dengan dukungan linux yang baik:

• Pinang
• 3Ware
• seri Adaptec baru (yang lama slooooow)
• LSI MegaRAID

RAID TIDAK seperti LVM. Anda dapat menggunakan RAID untuk membuat partisi toleransi kesalahan, tetapi LVM digunakan untuk memudahkan partisi disk dan edisi sistem file. Anda dapat menggunakan RAID over LVM atau ZFS (ZFS is dapat berfungsi baik RAID dan LVM). Menurut pendapat saya, ZFS bekerja lebih baik daripada LVM, tetapi:

• pada Solaris 10/11 / OpenSOlaris saja, Anda tidak dapat menggunakannya dari linux
• ZFS adalah manajemen disk dan sistem file, LVM memungkinkan untuk menggunakan sistem file apa pun yang Anda butuhkan

Di Ubuntu saya lebih suka menggunakan RAID5 MD dengan LVM.

Lihatlah apa yang ditawarkan Nexenta dan OpenSolaris dan saya pikir Anda akan sangat senang dengan apa yang bisa Anda dapatkan tanpa biaya. Dikabarkan bahwa rilis OpenFiler berikutnya akan menggunakan port ZBS FreeBSD juga (meskipun, mereka sangat ketinggalan dari perspektif fitur).

Yang sedang berkata, saya mencoba untuk menghindari melakukan RAID5, RAID6 atau RAID50 dalam perangkat lunak dan lebih suka menggunakan pengontrol perangkat keras untuk melepas semua pekerjaan XOR. RAID1 dan RAID10 dalam perangkat lunak Linux berfungsi dengan baik, dan dari sana saya menempatkan LVM di atasnya untuk memungkinkan lebih banyak fleksibilitas dalam apa yang dilakukan dengan blok yang saya miliki setelah redundansi di tempat. RAID + LVM + XFS adalah konfigurasi Linux favorit saya, tetapi saya akan mengambil ZFS kapan saja.

RAID vs LVM tidak benar-benar perbandingan yang baik mereka melakukan peran yang terpisah, dan sering digunakan bersama. RAID digunakan untuk redundansi drive, LVM dapat digunakan untuk memecah perangkat RAID Anda menjadi volume logis, digunakan untuk mengubah ukuran dengan mudah, dan untuk mengambil foto.

Saya menjalankan file server untuk perusahaan / situasi yang sangat mirip. Pada dasarnya departemen grafis 3 orang dengan penyimpanan 30TB dan anggaran yang ketat dari perusahaan kecil. Proyek khas kami berjalan dari 0,5TB hingga 6TB. Dan server file melayani pertanian rendering yang cukup besar yang benar-benar dapat menggebraknya.

Dalam pengaturan saya, saya menjalankan server 3U yang menjalankan Linux dengan array RAID6 perangkat keras eksternal yang menyertainya. Saya mengatur volume fisik dan logis dengan LVM dan menjalankan sistem file XFS. Apa yang akan saya lakukan adalah membuat volume logis untuk setiap proyek dan kemudian memperluasnya seiring proyek tumbuh. Ketika proyek itu selesai saya bisa mengarsipkan pekerjaan itu untuk merekam dan menerbangkan volume logis. Ini akan mengembalikan ruang itu kembali ke grup volume di mana ia akan dialokasikan kembali ke proyek berikutnya.

Ini adalah cara yang sangat bersih untuk menggunakan penyimpanan kami tetapi ada dua kelemahan dari pendekatan ini. Anda akhirnya harus mengatur ukuran volume logis dengan mencoba menyeimbangkan jumlah ruang yang dialokasikan ke volume logis sehingga Anda memiliki cukup ruang untuk melakukan pekerjaan Anda tetapi tidak mengalokasikan terlalu banyak dan akhirnya membuang-buang ruang. Kebun rendering kami mampu menghasilkan banyak data TB sehari dan jika Anda tidak memperhatikan hal ini, Anda akan kehabisan ruang dengan tergesa-gesa. Saya akhirnya menyiapkan beberapa skrip yang memantau tren di ruang yang tersedia pada volume logis dan secara otomatis menumbuhkannya. Bahkan dengan itu di tempat dengan 80 atau lebih Volume Logis ada banyak ruang yang tidak digunakan diikat dalam semua volume logis. Saya sudah mengisyaratkan masalah ke-2 .... LVM tidak t benar-benar melakukan provisi tipis dan XFS hanya memungkinkan Anda untuk mengembangkan sistem file. Jadi, alokasi ruang yang berlebihan ke volume logis dapat menambah banyak ruang yang tidak dapat digunakan.

Ini semua setup sekitar 5 tahun yang lalu dan jika saya mengaturnya hari ini saya akan menggunakan OpenSolaris dan ZFS. Alasan utama adalah pendekatan penyimpanan gabungan ZFS berarti manajemen volume yang lebih sedikit. Anda masih dapat memisahkan setiap proyek ke dalam sistem file sendiri tetapi tanpa harus mengatur ukuran volume masing-masing. ZFS memiliki beberapa fitur lain yang sangat bagus yang menjadikannya pilihan yang lebih baik tetapi ada pertanyaan lain tentang serverfault yang membahasnya.

Menurut saya ZFS adalah solusi gratis terbaik yang tersedia saat ini.

Beberapa hal yang perlu dipertimbangkan jika Anda tetap menggunakan Linux:

• Pikirkan juga sistem file. Contoh 4x 500GB Anda adalah tentang kapasitas terbesar yang saya sarankan dengan hati nurani yang baik untuk ext3. Saya tidak menyarankan untuk membuat sistem file ext3 yang lebih besar karena waktu fsck misalnya bisa sangat besar. Buat beberapa yang lebih kecil daripada satu sistem file besar.
• Seperti yang Anda sebutkan data video: ext3 menangani file besar secara tidak efisien karena harus membuat blok metadata tidak langsung, ganda-tidak langsung, dan tiga-tidak langsung untuk menyimpan data file besar dan Anda akan membayar harganya. Saat ini, ext4 mendukung extents dan menangani ini lebih baik Tetapi kemudian, ini agak baru dan mis. Red Hat Enterprise Linux 5 belum mendukungnya. (Beberapa distro Perusahaan akan mendukung alternatif seperti XFS).
• Jika ada kerusakan data pada blok data apa pun, Anda akan kesulitan melihat ini dengan sistem file Linux. ZFS di sisi lain checksum semua metadata dan data dan juga memverifikasi checksum setiap kali data dibaca dari disk. (Ada juga menggosok latar belakang)
• RAID membangun kembali waktu di Linux sebanding dengan ukuran disk karena lapisan RAID tidak tahu isi dari filesystem (lapisan). Waktu pembuatan ulang RAID-Z ZFS tergantung pada jumlah data aktual pada disk yang gagal karena hanya blok yang digunakan yang akan disalin / dibangun kembali pada disk pengganti.
• Apakah Anda ingin memotret sistem file Anda? Snapshots LVM bahkan tidak bisa dibandingkan dengan snapshot instan ZFS. Yang terakhir juga dapat dengan mudah diekspos kepada pengguna akhir misalnya untuk memudahkan pemulihan.
• Gunakan RAID6 (RAID-Z2) dan tidak hanya RAID5 (RAID-Z) dengan disk besar (> 500GB) karena kemungkinan bahwa disk lain akan gagal selama dibangun kembali.

Gunakan utilitas "mdadm" untuk membuat array RAID-5 dari drive Anda.

Ini memberikan redundansi yang Anda butuhkan, jadi jika drive mati Anda dapat menggantinya tanpa kehilangan data, dan juga memberi Anda penggunaan 3 dari 4 drive.

Saya juga merekomendasikan Anda membuat volume LVM di atas RAID, sehingga Anda dapat mempartisi ruang yang diperlukan.

Anda mungkin ingin melihat AFS. Ini akan memberi Anda ukuran ketersediaan (Anda dapat mengakses file-file ini baik di dalam maupun di luar jaringan Anda) dan redundansi (file dapat direplikasi). Untuk alur kerja tempat Anda membuka file, kerjakan beberapa saat lalu simpan, ini akan lebih baik (dari sudut pandang jaringan) daripada NFS, setidaknya NFS yang lebih lama.

Seperti jawaban lain mengatakan, LVM banyak digunakan, dan dapat menggabungkan beberapa disk menjadi satu "grup volume" yang terlihat seperti satu perangkat blok besar. Perlu diingat, bahwa melakukan hal ini meningkatkan kemungkinan kegagalan Anda - hanya perlu satu disk untuk gagal dalam grup volume untuk mengeluarkan seluruh sistem file, dan jika Anda memiliki empat disk yang digabungkan bersama, ini adalah empat kali lebih mungkin. Terbaik untuk menggunakan LVM di atas RAID1 atau serupa untuk mengurangi ini. RAID perangkat lunak Linux cukup memadai untuk ini, walaupun RAID perangkat keras mungkin lebih nyaman.

Maaf ini akan menjadi komentar tapi saya tidak punya ...

Bagaimana cara RAID-Z atau RAIDZ2 memberikan redundansi yang lebih baik daripada RAID6?

ZFS memiliki checksumming di mana-mana

Tentang pertanyaan aslinya. Apa pun data yang akan saya gunakan 2 paritas aktif per 10 disk. Saya akan menggunakan kartu RAID kualitas baik yang 3ware sangat baik. Secara pribadi saya menggunakan perangkat keras RAID dengan cadangan baterai. LVM agar Anda dapat memigrasikan data dengan mudah di akhir masa pakai perangkat keras. XFS sebagai sistem file.

Mengapa Anda tidak menggunakan disk atau kartu SSD agar server sistem melakukan booting dan 500 GB sebagai penyimpanan saja. Gunakan satu disk 500GB dan saat penukaran penuh, secara manual. Anda bisa melakukan backup nanti di komputer lain dengan tenang. Karena ketika harddisk berputar (berputar) itu bisa rusak. Pokoknya jika Anda menghubungkan semua disk pada saat yang sama mereka semua berbalik dan dapat merusak jika Anda menggunakannya atau tidak. Kemungkinan kegagalan meningkat ketika Anda memiliki lebih banyak disk yang dihidupkan. Gunakan satu per waktu dan tukar ketika penuh atau dalam periode waktu mengantisipasi kegagalan (gunakan juga kemampuan SMART untuk menyingkirkan itu). Gunakan carry disk atau gunakan adaptor disk SCSI / SATA eksternal sehingga Anda tidak perlu membongkar server komputer setiap kali Anda bertukar disk. Itu adalah bentuk yang paling aman dan dapat diandalkan. Menggunakan RAID lebih mahal dan Anda hanya membuang beberapa disk (karena Anda membiarkannya dinyalakan dengan risiko menjadi rusak karena hanya membiarkannya dinyalakan? Bodoh, atau tidak?). Jika Anda ingin lebih banyak dataatput maka gunakan konfigurasi RAID untuk itu saya kira adalah pilihan yang baik tetapi tidak pernah percaya pada konfigurasi komputer. Pencadangan harus dilakukan selalu secara manual dengan seseorang (administrator jaringan atau server). Itu adalah salah satu karya administrator. Anda dapat menggunakan kaset, DVD, BlueRay, atau disk lain untuk melakukan pencadangan. Tetapi Anda selalu akan membutuhkan media penyimpanan yang andal dan disk yang berjalan bukan salah satunya. Disk yang dimatikan dan disimpan dengan baik (di tempat yang segar dan bebas dari kelembaban) adalah media penyimpanan yang andal. Jika Anda ingin lebih banyak dataatput maka gunakan konfigurasi RAID untuk itu saya kira adalah pilihan yang baik tetapi tidak pernah percaya pada konfigurasi komputer. Pencadangan harus dilakukan selalu secara manual dengan seseorang (administrator jaringan atau server). Itu adalah salah satu karya administrator. Anda dapat menggunakan kaset, DVD, BlueRay, atau disk lain untuk melakukan pencadangan. Tetapi Anda selalu akan membutuhkan media penyimpanan yang andal dan disk yang berjalan bukan salah satunya. Disk yang dimatikan dan disimpan dengan baik (di tempat yang segar dan bebas dari kelembaban) adalah media penyimpanan yang andal. Jika Anda ingin lebih banyak dataatput maka gunakan konfigurasi RAID untuk itu saya kira adalah pilihan yang baik tetapi tidak pernah percaya pada konfigurasi komputer. Pencadangan harus dilakukan selalu secara manual dengan seseorang (administrator jaringan atau server). Itu adalah salah satu karya administrator. Anda dapat menggunakan kaset, DVD, BlueRay, atau disk lain untuk melakukan pencadangan. Tetapi Anda selalu akan membutuhkan media penyimpanan yang andal dan disk yang berjalan bukan salah satunya. Disk yang dimatikan dan disimpan dengan baik (di tempat yang segar dan bebas dari kelembaban) adalah media penyimpanan yang andal. Tetapi Anda selalu akan membutuhkan media penyimpanan yang andal dan disk yang berjalan bukan salah satunya. Disk yang dimatikan dan disimpan dengan baik (di tempat yang segar dan bebas dari kelembaban) adalah media penyimpanan yang andal. Tetapi Anda selalu akan membutuhkan media penyimpanan yang andal dan disk yang berjalan bukan salah satunya. Disk yang dimatikan dan disimpan dengan baik (di tempat yang segar dan bebas dari kelembaban) adalah media penyimpanan yang andal.