ZFS vs XFS

Kami sedang mempertimbangkan untuk membangun server penyimpanan ~ 16TB. Saat ini, kami mempertimbangkan ZFS dan XFS sebagai sistem file. Apa kelebihan dan kekurangannya? Apa yang harus kita cari? Apakah ada opsi ketiga yang lebih baik?

Saya menemukan XFS lebih cocok untuk sistem file yang sangat besar dengan kemungkinan banyak file besar. Saya sudah memiliki sistem file XFS 3.6TB yang berfungsi selama lebih dari 2 tahun sekarang tanpa masalah. Pasti berfungsi lebih baik daripada ext3, dll pada ukuran itu (terutama ketika berhadapan dengan banyak file besar dan banyak I / O).

Apa yang Anda dapatkan dengan ZFS adalah penggabungan perangkat, striping, dan fitur-fitur canggih lainnya yang dibangun ke dalam sistem file itu sendiri. Saya tidak dapat berbicara secara spesifik (saya akan membiarkan orang lain berkomentar), tetapi dari apa yang dapat saya katakan, Anda ingin menggunakan Solaris untuk mendapatkan manfaat maksimal di sini. Juga tidak jelas bagi saya berapa banyak ZFS membantu jika Anda sudah menggunakan perangkat keras RAID (seperti saya).

ZFS akan memberi Anda kelebihan di luar RAID perangkat lunak. Struktur perintah ditata dengan sangat cermat, dan intuitif. Itu juga mendapat kompresi, snapshots, kloning, kirim / terima sistem file, dan perangkat cache (drive SSD baru yang bagus) untuk mempercepat pengindeksan meta-data.

Kompresi:

#zfs set compression=on filesystem/home

Mendukung sederhana untuk membuat snapshot copy-on-write yang dapat dipasang langsung:

# zfs snapshot filesystem/home/user@tuesday
# cd filesystem/home/user/.zfs/snapshot/tuesday

Kloning Filesystem:

# zfs clone filesystem/home/user@tuesday filesystem/home/user2

Sistem File kirim / terima:

# zfs send filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"

Kirim / terima tambahan:

# zfs send -i filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"

Perangkat caching:

# zpool add filesystem cache ssddev

Ini semua hanyalah puncak gunung es, saya akan sangat menyarankan Anda menginstal Open Solaris dan mencoba ini.

http://www.opensolaris.org/os/TryOpenSolaris/

Sunting : Ini sudah sangat tua, Open Solaris telah dihentikan, cara terbaik untuk menggunakan ZFS mungkin di Linux , atau FreeBSD .

Pengungkapan penuh: Saya dulunya adalah arsitek penyimpanan Sun, tetapi saya belum bekerja untuk mereka lebih dari setahun, saya hanya senang dengan produk ini.

menggunakan snapshot lvm dan xfs pada sistem file live adalah resep untuk bencana terutama ketika menggunakan sistem file yang sangat besar.

Saya telah berjalan secara eksklusif pada LVM2 dan xfs selama 6 tahun terakhir di server saya (di rumah bahkan sejak zfs-fuse terlalu lambat) ...

Namun, saya tidak dapat lagi menghitung mode kegagalan yang berbeda yang saya temui saat menggunakan foto. Saya sudah berhenti menggunakannya sama sekali - itu terlalu berbahaya.

Satu-satunya pengecualian yang akan saya buat sekarang adalah cadangan mailserver / webserver pribadi saya, di mana saya akan melakukan backup semalam menggunakan snapshot singkat, yang selalu sama dengan ukuran sumber fs, dan akan dihapus segera setelahnya.

Aspek terpenting yang perlu diingat:

1. jika Anda memiliki sistem file (ish) besar yang memiliki snapshot, kinerja penulisan sangat buruk
2. jika Anda memiliki sistem file (ish) besar yang memiliki snapshot, waktu boot akan tertunda dengan puluhan menit sementara disk akan mengocok dan mengaduk selama impor grup volume. Tidak ada pesan yang akan ditampilkan. Efek ini terutama mengerikan jika root pada lvm2 (karena menunggu perangkat root akan habis dan sistem tidak bisa boot)
3. jika Anda memiliki foto, sangat mudah kehabisan ruang. Setelah Anda kehabisan ruang, foto itu rusak dan tidak dapat diperbaiki.
4. Snapshots tidak dapat digulung / digabungkan saat ini (lihat http://kerneltrap.org/Linux/LVM_Snapshot_Merging ). Ini berarti satu-satunya cara untuk mengembalikan data dari snapshot adalah dengan benar-benar menyalin (rsync?). BAHAYA BERBAHAYA: Anda tidak ingin melakukan ini jika kapasitas snapshot tidak setidaknya ukuran sumber fs; Jika tidak, Anda akan segera menabrak dinding bata dan berakhir dengan sumber fs dan snapshot rusak. (Aku pernah disana!)

Beberapa hal tambahan untuk dipikirkan.

• Jika drive mati dalam array RAID perangkat keras terlepas dari sistem file yang ada di atasnya semua blok pada perangkat harus dibangun kembali. Bahkan yang tidak memiliki data apa pun. ZFS di sisi lain adalah manajer volume, sistem file, dan mengelola redundansi dan striping data. Jadi itu cerdas hanya bisa membangun kembali blok yang berisi data. Ini menghasilkan waktu pembuatan kembali yang lebih cepat selain ketika volume penuh 100%.

• ZFS memiliki penggosokan latar belakang yang memastikan bahwa data Anda tetap konsisten pada disk dan memperbaiki setiap masalah yang ditemukan sebelum mengakibatkan hilangnya data.

• Sistem file ZFS selalu dalam keadaan konsisten sehingga tidak perlu fsck.

• ZFS juga menawarkan lebih banyak fleksibilitas dan fitur dengan snapshot dan klonnya dibandingkan dengan snapshot yang ditawarkan oleh LVM.

Setelah menjalankan kolam penyimpanan besar untuk produksi video format besar di Linux, LVM, XFS stack. Pengalaman saya adalah mudahnya mengelola mikro penyimpanan Anda. Ini dapat menghasilkan sejumlah besar ruang dan waktu / masalah yang dialokasikan tidak terpakai dengan mengelola Volume Logika Anda. Ini mungkin bukan masalah besar jika Anda memiliki administrator penyimpanan penuh waktu yang tugasnya mengelola mikro penyimpanan. Tapi saya telah menemukan bahwa pendekatan penyimpanan kumpulan ZFS menghilangkan masalah manajemen ini.

ZFS benar-benar luar biasa. Saya menggunakannya sebagai server file rumah saya untuk server file HD 5 x 1 TB, dan saya juga menggunakannya dalam produksi dengan hampir 32 TB ruang hard drive. Cepat, mudah digunakan, dan berisi beberapa perlindungan terbaik terhadap korupsi data.

Kami menggunakan OpenSolaris pada server ini khususnya karena kami ingin memiliki akses ke fitur-fitur yang lebih baru dan karena itu menyediakan sistem manajemen paket baru dan cara peningkatan.

OS mana yang Anda rencanakan untuk dijalankan? Atau apakah itu bagian lain dari pertimbangan? Jika Anda menjalankan Solaris, XFS bahkan bukan pilihan sejauh yang saya tahu. Jika Anda tidak menjalankan Solaris, bagaimana Anda berencana menggunakan ZFS? Dukungan terbatas pada platform lain.

Jika Anda berbicara tentang server Linux, saya akan tetap menggunakan Ext3 secara pribadi, jika hanya karena ia menerima paling banyak pengujian. zfs-fuse masih sangat muda. Juga, saya pernah mengalami masalah dengan XFS, ketika bug menyebabkan kerusakan data setelah pembaruan kernel. Kelebihan XFS daripada Ext3 jelas tidak melebihi biaya yang diperlukan untuk memulihkan mesin, yang terletak di pusat data jarak jauh.

Saya tidak berpikir Anda harus fokus pada kinerja. Apakah data Anda aman dengan XFS, ext4, dll? Tidak. Baca tesis PhD dan makalah penelitian ini:

XFS tidak aman terhadap korupsi data: pages.cs.wisc.edu/~vshree/xfs.pdf

Dan tidak ada ext3, JFS, ReiserFS, dll: zdnet.com/blog/storage/how-microsoft-puts-your-data-at-risk/169?p=169&tag=mantle_skin%3bcontent "Saya menemukan tesis PhD yang menarik dari Vijayan Prabhakaran, Sistem File BESI yang menganalisis bagaimana lima sistem file penjurnalan komoditas - NTFS, ext3, ReiserFS, JFS dan XFS - menangani masalah penyimpanan.

Singkatnya dia menemukan bahwa semua sistem file miliki

. . . failure policies that are often inconsistent, sometimes buggy, and generally inadequate in their ability to recover from partial disk failures. "

Tetapi ZFS berhasil melindungi data Anda. Berikut ini makalah penelitian tentang ini: zdnet.com/blog/storage/zfs-data-integrity-tested/811

Bukan jawaban yang berorientasi pada FS maaf tetapi perlu diketahui bahwa sejumlah pengontrol disk tidak akan berurusan dengan> 2TB LUNS / logical-disks - ini dapat membatasi cara Anda mengatur penyimpanan Anda sedikit. Saya hanya ingin Anda waspada sehingga Anda dapat memeriksa sistem end-to-end Anda untuk memastikan itu akan menangani 16TB secara keseluruhan.

Itu tergantung fitur apa yang Anda inginkan ..., dua pilihan yang masuk akal adalah xfs dan zfs seperti yang Anda katakan, kode xfs sudah teruji dengan baik Saya pertama kali menggunakannya 8 tahun yang lalu di bawah IRIX

Dimungkinkan untuk mendapatkan snapshot dari xfs (menggunakan lvm dan xfs_freeze)

Dimungkinkan untuk memiliki perangkat log yang terpisah misalnya SSD

mkfs.xfs -l logdev=/dev/sdb1,size=10000b /dev/sda1

XFS besar biasanya membutuhkan banyak memori untuk diperiksa

Masalah dengan nol yang muncul adalah fitur "keamanan", yang saya pikir menghilang beberapa waktu lalu.

Terlepas dari apa yang telah disebutkan, dari sudut pandang kinerja xfs pada MD raid berkinerja lebih baik daripada zfs pada media streaming. Saya telah menggunakan perangkat keras yang sama persis selama setengah dekade dengan xfs dan kira-kira jumlah waktu yang sama dengan zfs di server media saya. Pada Intel Atom 330 dengan xfs, saya tidak pernah mengalami stuter, pada zfs pada adegan kompleks, perangkat keras yang sama tidak dapat mengikuti dan mulai menjatuhkan bingkai.

Daripada membangun sendiri, alternatifnya adalah Sun 7410 alias Toro. Ini memiliki beberapa perangkat lunak yang sangat berguna yang dibundel dengan solusinya.

Nah teman-teman, jangan lupa tentang penambahan terbaru untuk zfs: deduplication. Dan mari kita bicara tentang iscsi, nfs atau berbagi seseorang dengan cepat. Seperti yang telah dikatakan orang lain, ekspor sistem file zfs, snapshots, raidz (= raid5) memblokir checksum, lebar strip dinamis, pengelolaan cache dan banyak lainnya. Saya memilih zfs.