Pilihan sistem file terbaik untuk NFS menyimpan gambar disk VMware

Saat ini kami menggunakan iSCSI SAN sebagai penyimpanan untuk beberapa server VMware ESXi. Saya sedang menyelidiki penggunaan target NFS di server Linux untuk mesin virtual tambahan. Saya juga terbuka pada gagasan untuk menggunakan sistem operasi alternatif (seperti OpenSolaris) jika itu akan memberikan keuntungan yang signifikan.

Apa sistem file berbasis Linux yang mendukung file bersebelahan yang sangat besar (seperti gambar disk VMware)? Atau, bagaimana orang menemukan ZFS di OpenSolaris untuk beban kerja semacam ini?

(Pertanyaan ini awalnya ditanyakan pada SuperUser ; jangan ragu untuk memigrasi jawaban di sini jika Anda tahu caranya).

Saya benar-benar merekomendasikan Anda melihat ZFS, tetapi untuk mendapatkan kinerja yang layak, Anda harus mengambil perangkat khusus sebagai Zent Intent Log (ZIL). Pada dasarnya ini adalah perangkat kecil (beberapa GB) yang dapat menulis sangat cepat (20-100K IOPS) yang memungkinkan ZFS segera mengonfirmasi bahwa penulisan telah disinkronkan ke penyimpanan, tetapi tunggu hingga 30 detik untuk benar-benar melakukan penulisan ke hard disk di kolam Anda. Dalam hal terjadi crash / outage, transaksi yang tidak terikat dalam ZIL akan diulang saat mount. Sebagai hasilnya, sebagai tambahan pada UPS Anda mungkin menginginkan drive dengan catu daya internal / super-kapasitor sehingga setiap IO yang tertunda membuatnya menjadi penyimpanan permanen jika terjadi kehilangan daya. Jika Anda memilih perangkat ZIL khusus, tulis dapat memiliki latensi tinggi yang mengarah ke semua jenis masalah. Dengan asumsi Anda tidak tertarik pada Sun '

• DDRDrive X1 - 4GB DDR2 + 4GB SLC Flash dalam kartu PCIe x1 yang dirancang secara eksplisit untuk penggunaan ZIL. Menulis ke RAM; dalam hal kehilangan daya, itu menyinkronkan RAM ke NAND dalam <60detik didukung oleh superkapasitor. (50k-300k IOPS; $ 2000 Langsung, $ 1500 untuk .edu)
• Intel X25-E 32GB 2.5 inch SSD (SLC, tetapi tanpa tutup super, 3300 write IOPS); [$ 390 @ Amazon] [11]
• OCZ Vertex 2 Pro 40GB 2.5inch SSD (supercap, tetapi MLC, 20k-50k tulis IOPS); $ 435 @ Amazon .

Setelah Anda mendapatkan pengaturan OpenSolaris / Nexenta + ZFS, ada beberapa cara untuk memindahkan blok antara OpenSolaris dan ESX boxen Anda; apa yang tepat untuk Anda sangat tergantung pada infrastruktur yang ada (sakelar L3, kartu Fiber) dan prioritas Anda (redundansi, latensi, kecepatan, biaya). Tetapi karena Anda tidak memerlukan lisensi khusus untuk membuka kunci fungsi iSCSI / FC / NFS, Anda dapat mengevaluasi apa pun yang Anda punya perangkat kerasnya dan memilih favorit Anda:

• Target iSCSI (overhead CPU; tidak ada dukungan TOE di OpenSolaris)
• Target Saluran Serat (Kartu Fiber tidak murah)
• NFS (VMWare + NFS dapat menjadi rewel, terbatas hingga 32 mount)

Jika Anda tidak dapat menghabiskan $ 500 untuk evaluasi, uji dengan dan tanpa ZIL dinonaktifkan untuk melihat apakah ZIL adalah hambatan. (Mungkin itu). Jangan lakukan ini dalam produksi . Jangan main-main dengan deduplikasi ZFS dulu kecuali jika Anda juga memiliki banyak ram dan SSD untuk L2ARC. Ini pasti bagus setelah Anda menyiapkannya, tetapi Anda pasti mencoba melakukan NFS Tuning sebelum bermain dengan dedup. Setelah Anda menjenuhinya dengan tautan 1-2 Gb, ada peluang pertumbuhan dalam 8gb FC, 10gigE, dan infiniband, tetapi masing-masing memerlukan investasi yang signifikan bahkan untuk evaluasi.

Saya tidak akan melakukan ini. Dalam pengalaman saya, Linux (khususnya CentOS 3/4/5) adalah pilihan yang buruk untuk server NFS. Saya telah memiliki beberapa dan menemukan bahwa di bawah beban, latensi dan throughput cenderung turun karena alasan kami tidak pernah bisa mendapatkan kepala kami di sekitar.

Dalam kasus kami, kami membandingkan kinerja Linux back-to-back dengan Solaris (pada Ultra-SPARC) dan NetApp; keduanya menghasilkan hasil dalam hal kinerja apel-ke-apel dan dalam istilah samar-samar "para insinyur tidak banyak mengeluh tentang latensi ketika server berada di bawah beban". Ada beberapa upaya untuk menyempurnakan server Linux NFS; baik NetApps dan sistem Solaris berjalan apa adanya. Dan karena kedua sistem Solaris dan NetApp yang terlibat lebih tua, server Linux dapat dikatakan memiliki semua kelebihan dan masih gagal meyakinkan.

Jika Anda punya waktu, itu akan menjadi percobaan yang berharga untuk menyiapkan perangkat keras yang sama dengan OpenSolaris (sekarang Solaris secara efektif terlalu mahal untuk digunakan), Linux, dan mungkin satu atau dua varian BSD, dan membalap mereka. Jika Anda dapat membuat beberapa metrik kinerja (jumlah I / O disk di VM yang dihosting di toko, misalnya) mungkin membuat artikel kertas putih atau internet yang menarik. (Jika Anda punya waktu.)

Mengenai NFS secara umum, orang-orang NetApp mengatakan kepada saya beberapa kali bahwa tolok ukur mereka menunjukkan NFS hanya memiliki biaya 5 hingga 10% dalam kinerja untuk VM - dan jika aplikasi Anda cukup sensitif sehingga ini merupakan masalah, Anda tidak boleh melakukan virtualisasi itu di tempat pertama.

Tapi saya harus mengakui bahwa setelah semua waktu dan air mata, toko VM produksi non-lokal kami semua diberi makan oleh iSCSI, kebanyakan dari NetApp.

Kami menggunakan OpenSolaris 2009/06 dengan konfigurasi RAID 10 ZFS untuk menyediakan NFS ke server VMWare ESXi kami. Ini berfungsi cukup baik untuk kebutuhan kita sejauh ini. Kami menggunakan drive jenis SATA Raid (Seagate ES.2 1TB drive). Kami masih memiliki beberapa penyesuaian yang harus dilakukan.

Saya penggemar berat NFS datastores untuk VMware, NetApp memiliki implementasi yang sangat baik.

TR-3808 membandingkan penskalaan datastore bersama NetApp FC, iSCSI, dan NFS yang terhubung, yang merupakan bacaan yang sangat baik.

Anda mungkin ingin mempertimbangkan bug 3+ tahun dengan ZFS ARC yang masih bertahan sebelum melompat terlalu dalam dengan ZFS ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(Yang ini jahat karena juga akan keluar dari batas VM hypervisor!)