Memilih teknologi SAN untuk 100-an Server Web VM

15

Masalah

Kami memiliki masalah dengan kinerja pada platform yang ada, jadi saya beralih ke pikiran sarang untuk pendapat kedua tentang ini. Masalah kinerja sejauh ini berkaitan dengan IOPS daripada throughput.

Skenario

Pusat blade dengan 16 host, masing-masing dengan 64GB RAM. (Ini adalah Dell M1000e w / M610s, tapi itu mungkin tidak relevan) 500 VMs, semua server web (atau teknologi web terkait seperti MySQL, load balancers, dll.), Sekitar 90% adalah Linux dan sisanya Windows. Hypervisor adalah VMWare vSphere. Kami harus menyediakan host HA, sehingga penyimpanan lokal tidak aktif. Dengan demikian host hanya memiliki kartu SD untuk boot.

Sedikit pemikiran latar belakang

Saat ini kami memiliki hingga 6 host (pusat blade akan memiliki kapasitas penuh dalam waktu beberapa tahun pada pertumbuhan saat ini) dan kami menjalankan iSCSI ke Dell MD3220i w / MD1220 untuk ekspansi.

Opsi yang mungkin telah kami pertimbangkan, dan pemikiran langsung bersama mereka:

  • Menyebarkan VM di seluruh datastore NFS, dan menjalankan penyimpanan NFS yang memenuhi persyaratan kinerja hingga sejumlah VM yang diberikan. NFS tampaknya lebih murah untuk skala, serta telah diabstraksi sedikit lebih dari penyimpanan tingkat blok sehingga kita dapat memindahkannya sesuai kebutuhan.
  • Menambahkan lebih banyak pengontrol / target MD3220i. Kami prihatin bahwa melakukan hal ini dapat memiliki efek negatif dalam cara VMWare menangani memiliki banyak target.
  • Mengganti semua disk dari Nearline SAS ke SSD. Ini seharusnya sepenuhnya menyelesaikan masalah IOPS, tetapi memiliki efek samping yang jelas dari memangkas kapasitas penyimpanan kami. Juga masih sangat mahal.
  • vSphere 5 memiliki alat penyimpanan. Kami belum banyak meneliti, tetapi harus bekerja dengan baik?

Pertanyaan

Jenis penyimpanan apa yang akan Anda jalankan di bawah semua itu? Tidak perlu menskala ke pusat blade lain, hanya perlu memberikan kinerja yang relatif baik untuk semua VM tersebut.

Saya tidak mencari jawaban "Beli SAN x karena itu yang terbaik". Saya mencari pemikiran tentang berbagai teknologi SAN (iSCSI, FC, FCoE, InfiniBand, NFS, dll), berbagai jenis penyimpanan (SATA, SAS, SSD), dan metodologi untuk menangani penyimpanan selama 100-an VM (Konsolidasi, Pemisahan , Sharding, dll).

Benar-benar ada pikiran, tautan, panduan, petunjuk, dll. Saya juga senang mendengar pemikiran tentang opsi-opsi di atas yang telah kami pertimbangkan.

Terima kasih banyak sebelumnya atas segala masukan!

Perbarui 5 Maret '12

Beberapa tanggapan yang fantastis sejauh ini, terima kasih banyak semuanya!

Pergi dengan tanggapan terhadap pertanyaan ini sejauh ini, saya mulai berpikir rute berikut adalah caranya:

  • Tingkatkan penyimpanan yang tersedia ke kluster VMWare dan letakkan disk VM pada penyimpanan yang sesuai untuk beban kerjanya.
  • Berpotensi memanfaatkan SAN yang mampu mengelola penempatan data ke penyimpanan yang sesuai secara otomatis.
  • Infiniband tampaknya menjadi yang paling hemat biaya untuk mendapatkan bandwidth yang diperlukan dengan host pada kapasitas penuh.

Jelas kedengarannya layak menggunakan layanan pra-penjualan dari vendor SAN utama untuk memahami skenario tersebut.

Saya akan terus mempertimbangkan masalah ini untuk sementara waktu. Sementara itu, saran lagi diterima dengan penuh rasa terima kasih!

SimonJGreen
sumber
juga Mellanox memiliki switch 40gbe \ kesepakatan yang bagus, datang sangat dekat dengan infiniband dalam hal $ / kinerja. Pada saat itu saya akan mempertimbangkan nexenta dengan beberapa kartu 40gbe sebagai pilihan.
tony roth

Jawaban:

13

Kunci untuk platform penyimpanan VMWare yang baik adalah memahami jenis beban yang dihasilkan VMWare.

  • Pertama, karena Anda meng-host banyak server, beban kerjanya biasanya acak. Ada banyak aliran IO yang berjalan pada saat yang sama, dan tidak banyak dari mereka yang berhasil di-cache.
  • Kedua, itu variabel. Selama operasi normal, Anda mungkin melihat 70% pembacaan acak, namun begitu Anda memutuskan untuk memindahkan VM ke datastore baru atau sesuatu, Anda akan melihat tulisan sekuensial 60GB yang besar. Jika Anda tidak berhati-hati tentang arsitektur, ini dapat melumpuhkan kemampuan penyimpanan Anda untuk menangani IO normal.
  • Ketiga, sebagian kecil dari lingkungan Anda biasanya akan menghasilkan sebagian besar dari beban kerja penyimpanan.

Cara terbaik untuk mendekati membangun penyimpanan untuk platform VMWare adalah mulai dengan dasar-dasarnya.

  • Anda memerlukan kemampuan untuk melayani beban kerja baca acak yang besar, yang berarti drive lebih cepat lebih kecil, dan juga SSD. Sebagian besar sistem penyimpanan modern memungkinkan Anda untuk memindahkan data secara otomatis tergantung pada bagaimana itu diakses. Jika Anda akan menggunakan SSD, Anda ingin memastikan ini adalah bagaimana Anda menggunakannya. Itu harus ada di sana sebagai cara untuk mengurangi hot spot secara bertahap. Apakah Anda menggunakan SSD atau tidak, itu bermanfaat untuk dapat menempatkan semua pekerjaan di semua drive, sehingga sesuatu dengan jenis penyimpanan penyimpanan akan bermanfaat.
  • Anda memerlukan kemampuan untuk menulis layanan berselang besar, yang tidak terlalu peduli dengan kecepatan spindle drive yang mendasarinya, tetapi tidak peduli tentang efisiensi tumpukan controller dan ukuran cache. Jika Anda memiliki mirror caching (yang bukan opsional kecuali Anda bersedia untuk kembali ke backup setiap kali Anda memiliki kegagalan controller), bandwidth antara dua cache yang digunakan untuk mirroring akan menjadi hambatan Anda untuk menulis berurutan besar, biasanya. Pastikan bahwa apa pun yang Anda dapatkan memiliki interkoneksi pengontrol (atau kluster) berkecepatan tinggi untuk cache tulis. Lakukan yang terbaik untuk mendapatkan jaringan ujung depan berkecepatan tinggi dengan port sebanyak yang Anda bisa dapatkan dengan tetap realistis pada harga. Kunci untuk kinerja ujung depan yang baik adalah menempatkan beban penyimpanan Anda di sebanyak mungkin sumber daya ujung depan.
  • Anda dapat secara serius mengurangi biaya dengan memiliki tier untuk penyimpanan prioritas rendah, serta penyediaan tipis. Jika sistem Anda tidak secara otomatis memigrasi blok individual ke drive besar / lambat yang murah (seperti SAS atau SATA nearline dengan ukuran 7200 RPM dan 2TB +), coba lakukan secara manual. Drive lambat besar adalah target yang sangat baik untuk arsip, cadangan, beberapa sistem file, dan bahkan server dengan penggunaan rendah.
  • Bersikeras bahwa penyimpanan terintegrasi VAAI sehingga VMWare dapat mendelokasi bagian-bagian yang tidak terpakai dari VM serta datastore.
Kemangi
sumber
Beberapa komentar luar biasa di sana, terima kasih. Pasti sesuatu untuk pergi dan merenungkan.
SimonJGreen
10

Penggunaan VMWare besar saya adalah NFS dan iSCSI lebih dari 10GbE. Itu berarti dual-port 10GbE HBA di server, serta kepala penyimpanan. Saya penggemar penyimpanan berbasis ZFS untuk ini. Dalam kasus saya itu melilit NexentaStor komersial , tetapi beberapa memilih untuk roll sendiri.

Fitur utama penyimpanan berbasis ZFS dalam konteks ini adalah fungsi caching ARC / L2ARC, yang memungkinkan Anda untuk meningkatkan penyimpanan. Data paling aktif akan menemukan jalannya dalam penyimpanan RAM dan SSD sebagai tingkat kedua. Menjalankan kumpulan penyimpanan utama Anda dari drive SAS 10 ribu atau 15 ribu juga akan bermanfaat.

Ini adalah contoh lain dari pembuatan profil dan memahami beban kerja Anda. Bekerja dengan seseorang yang dapat menganalisis pola penyimpanan Anda dan membantu Anda merencanakan. Di sisi ZFS / NexentaStor, saya suka PogoStorage . Tanpa jenis wawasan tersebut, metode transportasi (FC, FCoE, iSCSI, NFS) mungkin tidak masalah. Apakah Anda memiliki pemantauan infrastruktur yang ada? Seperti apa kegiatan I / O sekarang?

putih
sumber
Seberapa besar penyebaran ini karena penasaran? Dan beban kerja seperti apa?
SimonJGreen
Banyak host. Terbesar memiliki 90 VM penggunaan campuran, termasuk Linux, infra Windows (File / AD / Exchange), VDI dan sistem basis data. RAM pada unit penyimpanan tinggi (96GB +) dan saya memiliki 1.2TB L2ARC membaca cache pada SSD perusahaan.
ewwhite
Anda harus memaafkan ketidaktahuan saya di sini, dan untuk menjadi jelas saya tidak ragu Anda melakukan hal yang benar. Mengapa Anda memiliki banyak RAM di unit penyimpanan? Apakah ini digunakan untuk buffer?
SimonJGreen
2
Ah saya baru saja membaca tentang ZFS dan ARC / L2ARC. Saus yang luar biasa :)
SimonJGreen
8

Pertanyaan kuncinya adalah: "di mana hambatannya?" Anda menyebutkan IOPS, tetapi apakah itu berarti bahwa Anda secara positif mengidentifikasi disk itu sendiri sebagai penghambat, atau hanya bahwa port SAN tidak berjalan pada kapasitas, atau bahwa VM berada di iowait jauh lebih banyak daripada yang Anda inginkan?

Jika Anda benar-benar mengidentifikasi bahwa disk adalah faktor pembatas, maka beralihlah ke NFS atau infiniband atau apa pun yang tidak akan membuat Anda jongkok untuk kinerja Anda - Anda memerlukan SSD (atau setidaknya penyimpanan berjenjang dengan SSD dalam campuran) atau satu bundel lebih banyak gelendong (solusi yang dengan sendirinya jauh lebih mahal baru-baru ini sejak produksi motor stepper dunia tersapu ke laut).

Jika Anda tidak 100% yakin di mana sebenarnya hambatannya, Anda harus menemukannya terlebih dahulu - mengganti sebagian infrastruktur penyimpanan Anda lebih atau kurang secara acak berdasarkan dugaan orang lain di sini tidak akan menjadi sangat efektif (terutama mengingat seberapa mahal perubahan yang akan diterapkan).

womble
sumber
benar sekali, saya selalu menganggap bahwa orang yang memposting pertanyaan telah melakukan pekerjaan rumah mereka. Tetapi dengan mengatakan itu setelah melakukan beberapa konsultasi kinerja saya kebanyakan hanya menyerah dan mengatakan menambahkan lebih banyak atau lebih cepat drive dan lebih dari 98% masalah teratasi. 2% lainnya terlalu berkomitmen melebihi keyakinan.
tony roth
4
"Saya selalu berasumsi bahwa orang yang memposting pertanyaan telah melakukan pekerjaan rumah mereka" - asumsi baaaaaad ...
womble
Jawaban ini sempurna. Pada banyak kesempatan saya telah menetapkan untuk mengatasi masalah seperti ini dan saya memiliki gagasan tentang apa masalahnya. Sembilan dari sepuluh berakhir dengan air mata ketika saya mengetahui bahwa saya tidak cukup tahu tentang masalahnya. Profil dengan hati-hati, tentukan apa hambatannya dan kemudian lanjutkan. Anda dapat meminta bantuan "mind hive", atau Anda dapat meminta bantuan vendor SAN. Juga, jika Anda mengalami masalah pembuatan profil, NetApp dan / atau EMC akan dengan senang hati membantu Anda mengetahui statistik Anda dan kemudian mengukur solusi untuk Anda. Keduanya memiliki perangkat lunak yang baik untuk melakukan ini.
SvrGuy
Saya mendasarkan diagnosis ini pada output gabungan esxtoppada semua host (menunjukkan pemanfaatan disk), mengambil total CMD / s dan membandingkannya dengan tolok ukur pada SAN yang kami gunakan. CMD total secara konsisten tinggi ketika mengambil hasil benchmark sebagai informasi utama. SSD tampaknya menjadi pilihan yang baik dari sudut pandang teknologi, harganya masih sangat mahal, GB / £. Mungkin bisa menjadi solusi meski dengan penyimpanan berjenjang. Di samping catatan / FYI, menurut siaran pers baru-baru ini saya menerima WD kembali ke tingkat produksi pada disk.
SimonJGreen
Bagaimana patokan pada SAN dilakukan? Faktor pembatas bisa masih jaringan, sebagai lawan disk tersebut. Setidaknya Anda memiliki tolok ukur untuk memulai, jika Anda ingin mulai bermain dengan hal-hal yang berbeda untuk membuat segalanya berjalan lebih cepat, yang sangat penting.
womble
4

Jika Anda ingin iscsi atau nfs maka minimal Anda akan menginginkan beberapa port 10 / 40GB atau infiniband yang merupakan pilihan termurah sejauh ini tetapi solusi penyimpanan asli untuk infiniband tampaknya terbatas. Masalahnya akan menjadi modul untuk bladecenter apa saja opsinya, biasanya 8gb fc atau 10 \ 1gbe dan mungkin infiniband. Perhatikan bahwa infiniband dapat digunakan dengan nfs dan tidak ada yang tertutup untuk itu dalam hal kinerja \ harga. jika pusat blade mendukung infiniband qdr saya akan melakukan itu dengan sejumlah host linux dengan infiniband qdr qdr via nfs. Berikut ini tautan yang bagus untuk menggambarkan http://www.zfsbuild.com/2010/04/15/why-we-chose-infiniband-instead-of-10gige

tetapi jika bladecenter dapat mendukung qdr infiniband dan Anda dapat membeli infiniband asli maka itu solusinya yang harus Anda pilih.

Saat ini Anda bisa mendapatkan switch 40gbe jauh lebih murah (itu pemikiran aneh) kemudian switch 10gbe tapi saya ragu Anda tengah blade akan mendukung itu.

tony roth
sumber
Ini adalah opsi konektivitas dari pusat blade: dell.com/us/enterprise/p/poweredge-m1000e/pd Infiniband memang terlihat bagus, dan pada jumlah tamu VM ini biayanya dapat dibenarkan. Apa yang akan Anda lakukan di sisi SAN?
SimonJGreen
apa pun yang memiliki dukungan infiniband harus menjadi solusi san Anda.
tony roth
sepertinya dell tidak memiliki penyimpanan berbasis IB, jadi saya pikir pilihan itu mungkin strech dalam kasus ini. Baik Sun dan SGI memiliki SAN berbasis IB tidak yakin berapa biayanya.
tony roth
Mereka tidak menawarkan penyimpanan IB, tetapi mereka menawarkan konektivitas IB. Saya tidak ragu menggunakan vendor penyimpanan lain, kami tidak punya cinta untuk Dell dalam hal itu.
SimonJGreen
1
maka baik matahari atau sgi akan memiliki solusi untuk Anda, tidak yakin apa model # saat ini.
tony roth
-3

Penyimpanan lokal habis? Saya cukup senang dengan throughput tulis pada RAID 5s lokal saya - dicerminkan dengan DRBD8 ke mitra-cluster mesin XEN saya ... (tapi ini "tidak didukung", tentu saja).

Selain itu, saya cukup yakin bahwa mySQL adalah masalah kinerja Anda (saya tidak pernah melihat DB yang lebih buruk). Cobalah untuk menghapusnya dan / atau mencoba untuk memasukkan seluruh DB ke dalam cache sistem file (untuk akses baca) ...

Nils
sumber
OP memiliki solusi VMWare yang ada dan berjalan dengan host tanpa disk. Penyimpanan lokal tidak masuk akal.
ewwhite
Penyimpanan lokal mungkin termasuk menggunakan bilah penyimpanan lokal juga. Tapi VMWare tidak akan mendukung itu, saya kira.
Nils
Saya tidak percaya bahwa Dell menawarkan bilah penyimpanan lokal - dan saya tidak yakin saya pernah melihatnya dengan orang lain. Saya telah melihat bilah drive yang terpasang pada satu blade, tidak menawarkan penyimpanan kepada siapa pun di blade. Anda akan membutuhkan interkoneksi untuk itu, pada dasarnya itu akan menjadi SAN-chassis lokal, kan?
mfinni
Maaf @Nils, saya cukup yakin Anda tidak membaca pertanyaan dengan benar.
SimonJGreen
Nils - melihat D2200sb: "Backplane enklosur menyediakan koneksi PCI Express ke blade server c-Class yang berdekatan dan memungkinkan akses penyimpanan berkinerja tinggi tanpa kabel tambahan. ... Gunakan Perangkat Lunak SAN Appliance (VSA) HP P4000 Virtual untuk ubah D2200sb menjadi SAN iSCSI untuk digunakan oleh semua pengungkit dalam enklosur dan server apa pun di jaringan. "
mfinni