Mesin virtual dan I / O beban kerja yang berat, apakah sudah waras?

Saya telah melihat banyak layanan virtualisasi (Azure) dan produk (vmware, kvm, hyperv) I / O dan sistem warung di bawah beban kerja I / O yang berat.

Pertanyaan saya adalah:

Apakah pernah waras menggunakan solusi tervirtualisasi ketika melakukan beban kerja berat I / O?
Apa praktik terbaik dalam hal semacam ini?
Apa yang menyebabkan masalah ini, apakah ada kemacetan sistem yang terkenal, atau hanya masalah pertengkaran berlebihan?

virtualization performance-tuning io berburu bryan
sumber

Makalah penelitian IBM yang relevan . Saya juga akan mempertimbangkan menggunakan wadah, misalnya Docker. Dari kertas: "Wadah juga dapat menghilangkan perbedaan antara IaaS dan server non-virtual" bare metal "karena mereka menawarkan kontrol dan isolasi VMs dengan kinerja bare metal."

oleksii

1. Penelitian apa yang telah Anda lakukan? Kami berharap Anda melakukan sejumlah besar penelitian sebelum bertanya. Menampilkan penelitian Anda membantu orang lain, dan membantu orang memberi Anda jawaban yang lebih baik. Lihat serverfault.com/help/how-to-ask dan pusat bantuan . 2. Pertanyaan ini cukup luas, mungkin terlalu luas untuk situs ini. Saran standar adalah: satu pertanyaan per pertanyaan. 3. Situs ini tidak cocok untuk pertanyaan yang membutuhkan opini. Bisakah Anda menanyakan sesuatu yang lebih spesifik dan lebih obyektif daripada "praktik terbaik dalam hal semacam ini"?

1. 10 tahun menjalankan berbagai mesin virtual, kvn, xen, virtualbox, amazon, azure, hyperv. Saya telah menemukan bahwa kinerja pada umumnya menjadi bencana, tetapi ada begitu banyak kegembiraan dan modal ventura yang melayang-layang sehingga ortodoksi TI saat ini adalah bahwa semuanya harus divirtualisasi. Ingin tahu apakah itu hanya aku, atau jika profesional ops lainnya juga merasa skeptis.

bryan hunt

Jika Anda mendapati kinerja tersebut secara BENCANA umum maka - setelah 10 tahun bekerja dengan virtualisasi - sekarang saatnya untuk menerima kekalahan dalam menjadi seorang admin dan mencari sesuatu yang dapat Anda lakukan, ketika seluruh dunia tidak memiliki masalah melakukan hal itu. Serius, saya pikir Anda mendramatisir di sini. Atau tidak pernah menyadari bahwa virtualisasi perlu membeli subsistem IO yang layak. Saya selalu menemukan hal yang mengerikan ketika orang memuat 10+ mesin virtual - pada disk desktop dan mengeluh tentang kecepatan IO.

TomTom

Ini lebih dari pengamatan. Saya tidak selalu memiliki suara dalam solusi yang dipilih. Saya ops. Aku hanya menyimpan apa pun yang dilemparkan padaku dan berlari.

bryan hunt

Jawaban:

Apakah pernah waras menggunakan solusi tervirtualisasi ketika melakukan beban kerja berat I / O?

Ya, memang sangat waras, bahkan bagi sebagian besar organisasi sekarang virtual adalah default dan melakukan hal-hal pada kotak fisik adalah pengecualian. Kami memiliki lebih dari 100k VMs dari semua bentuk dan banyak di antaranya> 40k IOPS tanpa masalah sama sekali.

Apa praktik terbaik dalam hal semacam ini?

Kuncinya di sini bukanlah apakah itu divirtualisasi atau tidak - itu memahami kebutuhan IO Anda dengan baik dan mencocokkan sumber daya penyimpanan virtual. Sesederhana itu, jika Anda tahu apa yang Anda butuhkan / inginkan dan memiliki anggaran untuk mencocokkannya dengan sistem penyimpanan Anda maka lapisan virtualisasi benar-benar memainkan sedikit atau tidak ada bagian - kecuali Anda BENAR-BENAR mendorong hal-hal tentu saja (saya berbicara puluhan / ratusan juta TIO).

Apa yang menyebabkan masalah ini, apakah ada kemacetan sistem yang terkenal, atau hanya masalah pertengkaran berlebihan?

Kurangnya pemahaman atau mencoba melakukan terlalu banyak dengan sumber daya penyimpanan yang terlalu sedikit, itulah yang biasanya menyebabkan masalah orang.

Chopper3
sumber

Apakah pernah waras menggunakan solusi tervirtualisasi ketika melakukan beban kerja berat I / O?

Apakah server database secara teratur menarik 1 gb / detik IO acak dihitung? Miliki satu di sini.

Atau server file virtual memberikan hingga 600mb / detik ke cluster HPC. Yang satu itu berlari 8 Velicoraptors dalam Raid 10, berdedikasi.

Apa praktik terbaik dalam hal semacam ini?

Berikan banyak IO. Saya pikir SQL VM ini memiliki sekitar 8 atau 10 SSD khusus.

Apa yang menyebabkan masalah ini, apakah ada kemacetan sistem yang terkenal,

Orang tidak mengerjakan matematika dasar. Jika subsistem IO tidak mampu menangani beban, itu juga tidak akan melakukannya di bawah virtualisasi. Butuh BANYAK IO - lalu berikan subsistem penyimpanan khusus dengan ukuran yang sesuai.

TomTom
sumber

"Berikan banyak UI"

maksudmu

Selain matematika dasar & konsep bahwa Anda masih membutuhkan IO yang sama dengan non-virtual, ada juga QOS / prioritisasi. Sebagian besar platform virtualisasi menawarkan setidaknya dukungan dasar untuk ini, akan banyak membantu untuk mencegah VM yang mengalami gangguan menghambat DB prod Anda.

Milo de Vries
sumber

Ya. Butuh 5000IOPS maka hard disk dengan 350 tidak akan memotongnya. Muat lebih banyak vms pada disk yang sama dan tidak, itu tidak akan berfungsi secara ajaib. Saya selalu heran betapa banyak orang yang mengabaikan matematika dasar.

TomTom