Masalah
Kami memiliki masalah dengan kinerja pada platform yang ada, jadi saya beralih ke pikiran sarang untuk pendapat kedua tentang ini. Masalah kinerja sejauh ini berkaitan dengan IOPS daripada throughput.
Skenario
Pusat blade dengan 16 host, masing-masing dengan 64GB RAM. (Ini adalah Dell M1000e w / M610s, tapi itu mungkin tidak relevan) 500 VMs, semua server web (atau teknologi web terkait seperti MySQL, load balancers, dll.), Sekitar 90% adalah Linux dan sisanya Windows. Hypervisor adalah VMWare vSphere. Kami harus menyediakan host HA, sehingga penyimpanan lokal tidak aktif. Dengan demikian host hanya memiliki kartu SD untuk boot.
Sedikit pemikiran latar belakang
Saat ini kami memiliki hingga 6 host (pusat blade akan memiliki kapasitas penuh dalam waktu beberapa tahun pada pertumbuhan saat ini) dan kami menjalankan iSCSI ke Dell MD3220i w / MD1220 untuk ekspansi.
Opsi yang mungkin telah kami pertimbangkan, dan pemikiran langsung bersama mereka:
- Menyebarkan VM di seluruh datastore NFS, dan menjalankan penyimpanan NFS yang memenuhi persyaratan kinerja hingga sejumlah VM yang diberikan. NFS tampaknya lebih murah untuk skala, serta telah diabstraksi sedikit lebih dari penyimpanan tingkat blok sehingga kita dapat memindahkannya sesuai kebutuhan.
- Menambahkan lebih banyak pengontrol / target MD3220i. Kami prihatin bahwa melakukan hal ini dapat memiliki efek negatif dalam cara VMWare menangani memiliki banyak target.
- Mengganti semua disk dari Nearline SAS ke SSD. Ini seharusnya sepenuhnya menyelesaikan masalah IOPS, tetapi memiliki efek samping yang jelas dari memangkas kapasitas penyimpanan kami. Juga masih sangat mahal.
- vSphere 5 memiliki alat penyimpanan. Kami belum banyak meneliti, tetapi harus bekerja dengan baik?
Pertanyaan
Jenis penyimpanan apa yang akan Anda jalankan di bawah semua itu? Tidak perlu menskala ke pusat blade lain, hanya perlu memberikan kinerja yang relatif baik untuk semua VM tersebut.
Saya tidak mencari jawaban "Beli SAN x karena itu yang terbaik". Saya mencari pemikiran tentang berbagai teknologi SAN (iSCSI, FC, FCoE, InfiniBand, NFS, dll), berbagai jenis penyimpanan (SATA, SAS, SSD), dan metodologi untuk menangani penyimpanan selama 100-an VM (Konsolidasi, Pemisahan , Sharding, dll).
Benar-benar ada pikiran, tautan, panduan, petunjuk, dll. Saya juga senang mendengar pemikiran tentang opsi-opsi di atas yang telah kami pertimbangkan.
Terima kasih banyak sebelumnya atas segala masukan!
Perbarui 5 Maret '12
Beberapa tanggapan yang fantastis sejauh ini, terima kasih banyak semuanya!
Pergi dengan tanggapan terhadap pertanyaan ini sejauh ini, saya mulai berpikir rute berikut adalah caranya:
- Tingkatkan penyimpanan yang tersedia ke kluster VMWare dan letakkan disk VM pada penyimpanan yang sesuai untuk beban kerjanya.
- Berpotensi memanfaatkan SAN yang mampu mengelola penempatan data ke penyimpanan yang sesuai secara otomatis.
- Infiniband tampaknya menjadi yang paling hemat biaya untuk mendapatkan bandwidth yang diperlukan dengan host pada kapasitas penuh.
Jelas kedengarannya layak menggunakan layanan pra-penjualan dari vendor SAN utama untuk memahami skenario tersebut.
Saya akan terus mempertimbangkan masalah ini untuk sementara waktu. Sementara itu, saran lagi diterima dengan penuh rasa terima kasih!
sumber
Jawaban:
Kunci untuk platform penyimpanan VMWare yang baik adalah memahami jenis beban yang dihasilkan VMWare.
Cara terbaik untuk mendekati membangun penyimpanan untuk platform VMWare adalah mulai dengan dasar-dasarnya.
sumber
Penggunaan VMWare besar saya adalah NFS dan iSCSI lebih dari 10GbE. Itu berarti dual-port 10GbE HBA di server, serta kepala penyimpanan. Saya penggemar penyimpanan berbasis ZFS untuk ini. Dalam kasus saya itu melilit NexentaStor komersial , tetapi beberapa memilih untuk roll sendiri.
Fitur utama penyimpanan berbasis ZFS dalam konteks ini adalah fungsi caching ARC / L2ARC, yang memungkinkan Anda untuk meningkatkan penyimpanan. Data paling aktif akan menemukan jalannya dalam penyimpanan RAM dan SSD sebagai tingkat kedua. Menjalankan kumpulan penyimpanan utama Anda dari drive SAS 10 ribu atau 15 ribu juga akan bermanfaat.
Ini adalah contoh lain dari pembuatan profil dan memahami beban kerja Anda. Bekerja dengan seseorang yang dapat menganalisis pola penyimpanan Anda dan membantu Anda merencanakan. Di sisi ZFS / NexentaStor, saya suka PogoStorage . Tanpa jenis wawasan tersebut, metode transportasi (FC, FCoE, iSCSI, NFS) mungkin tidak masalah. Apakah Anda memiliki pemantauan infrastruktur yang ada? Seperti apa kegiatan I / O sekarang?
sumber
Pertanyaan kuncinya adalah: "di mana hambatannya?" Anda menyebutkan IOPS, tetapi apakah itu berarti bahwa Anda secara positif mengidentifikasi disk itu sendiri sebagai penghambat, atau hanya bahwa port SAN tidak berjalan pada kapasitas, atau bahwa VM berada di iowait jauh lebih banyak daripada yang Anda inginkan?
Jika Anda benar-benar mengidentifikasi bahwa disk adalah faktor pembatas, maka beralihlah ke NFS atau infiniband atau apa pun yang tidak akan membuat Anda jongkok untuk kinerja Anda - Anda memerlukan SSD (atau setidaknya penyimpanan berjenjang dengan SSD dalam campuran) atau satu bundel lebih banyak gelendong (solusi yang dengan sendirinya jauh lebih mahal baru-baru ini sejak produksi motor stepper dunia tersapu ke laut).
Jika Anda tidak 100% yakin di mana sebenarnya hambatannya, Anda harus menemukannya terlebih dahulu - mengganti sebagian infrastruktur penyimpanan Anda lebih atau kurang secara acak berdasarkan dugaan orang lain di sini tidak akan menjadi sangat efektif (terutama mengingat seberapa mahal perubahan yang akan diterapkan).
sumber
esxtop
pada semua host (menunjukkan pemanfaatan disk), mengambil total CMD / s dan membandingkannya dengan tolok ukur pada SAN yang kami gunakan. CMD total secara konsisten tinggi ketika mengambil hasil benchmark sebagai informasi utama. SSD tampaknya menjadi pilihan yang baik dari sudut pandang teknologi, harganya masih sangat mahal, GB / £. Mungkin bisa menjadi solusi meski dengan penyimpanan berjenjang. Di samping catatan / FYI, menurut siaran pers baru-baru ini saya menerima WD kembali ke tingkat produksi pada disk.Jika Anda ingin iscsi atau nfs maka minimal Anda akan menginginkan beberapa port 10 / 40GB atau infiniband yang merupakan pilihan termurah sejauh ini tetapi solusi penyimpanan asli untuk infiniband tampaknya terbatas. Masalahnya akan menjadi modul untuk bladecenter apa saja opsinya, biasanya 8gb fc atau 10 \ 1gbe dan mungkin infiniband. Perhatikan bahwa infiniband dapat digunakan dengan nfs dan tidak ada yang tertutup untuk itu dalam hal kinerja \ harga. jika pusat blade mendukung infiniband qdr saya akan melakukan itu dengan sejumlah host linux dengan infiniband qdr qdr via nfs. Berikut ini tautan yang bagus untuk menggambarkan http://www.zfsbuild.com/2010/04/15/why-we-chose-infiniband-instead-of-10gige
tetapi jika bladecenter dapat mendukung qdr infiniband dan Anda dapat membeli infiniband asli maka itu solusinya yang harus Anda pilih.
Saat ini Anda bisa mendapatkan switch 40gbe jauh lebih murah (itu pemikiran aneh) kemudian switch 10gbe tapi saya ragu Anda tengah blade akan mendukung itu.
sumber
Penyimpanan lokal habis? Saya cukup senang dengan throughput tulis pada RAID 5s lokal saya - dicerminkan dengan DRBD8 ke mitra-cluster mesin XEN saya ... (tapi ini "tidak didukung", tentu saja).
Selain itu, saya cukup yakin bahwa mySQL adalah masalah kinerja Anda (saya tidak pernah melihat DB yang lebih buruk). Cobalah untuk menghapusnya dan / atau mencoba untuk memasukkan seluruh DB ke dalam cache sistem file (untuk akses baca) ...
sumber