Bagaimana cara saya menjalankan bake-off MySQL dengan benar?

Saya ingin menguji kinerja (alias bake-off) rpm server MySQL terhadap beberapa garpu lain seperti server Percona, MariaDB, dan mungkin beberapa lainnya. Saya berharap bahwa dengan mengajukan pertanyaan ini saya dapat lebih memahami metodologi di balik pengaturan tes kinerja yang tepat. Saya berencana menggunakan sysbench untuk menjalankan tes saya yang sebenarnya, tetapi saya terbuka untuk apa pun.

1. Langkah apa yang harus saya ambil untuk memastikan bahwa hasil tes dalam perbandingan apel dengan apel dan bahwa hanya RDBMS adalah variannya?
2. Di mana saya memulai?
3. Bagaimana cara mengevaluasi hasil?
4. Apa saran yang bisa Anda berikan kepada saya?

Ini adalah hal pertama yang saya pikirkan

1. Setup 3 server DB (konfigurasi HW / OS identik) masing-masing diinstal

   • MySQL
   • Percona
   • MariaDB

2. Dapatkan Server Keempat terinstal dengan MONyog (versi eval berlangsung 30 hari)

3. Daftarkan 3 server DB di MONyog

4. Gunakan Bagan Metrik Kinerja di MONyog atau Siapkan Bagan Anda Sendiri di MONyog

5. Gunakan SysBench terhadap semua 3 Server DB atas kebijakan Anda

Ini hanya garis besar dasar. Percayalah, Anda dapat menggunakan Monyog langsung dari kotak . Lihatlah kesaksian saya di Situs Web MonYog (Cari nama saya di halaman). Saya akhirnya meyakinkan perusahaan saya untuk membeli Versi Utlimate segera setelah kesaksian saya, yang mereka tonton bersama saya ketika itu terjadi.

Peringatan: Jangan dapatkan Monyog sampai Anda memiliki 3 server DB dan Sysbench Siap untuk mendapatkan penggunaan MonYog 30 hari terbaik.

UPDATE 2011-06-20 13:18 EDT

Jika Anda menjaga InnoDB Buffer Pool Small (default untuk innodb_buffer_pool_size adalah 8M) dan menjaga log biner dinonaktifkan (tidak termasuk log-bin di my.cnf), maka metrik ini harus diukur

• Innodb_buffer_pool_pages_flushed
• Innodb_buffer_pool_write_requests
• Innodb_row_lock_time_avg
• Innodb_os_log_fsyncs
• Pertanyaan , Pertanyaan
• SELECTs (( Com_select + Qcache_hits ) / Pertanyaan)
• INSERT (( Com_insert + Com_replace ) / Pertanyaan)
• UPDATE ( Com_update / Pertanyaan)
• DELETEs ( Com_delete / Pertanyaan)

Banyak di antaranya adalah grafik default di Bagian Monitor / Penasihat MONyog, dan lebih banyak grafik dapat dibuat untuk memeriksa metrik MySQL yang diinginkan lainnya . MONyog juga memungkinkan Anda mengekspor grafik sebagai data CSV.

UPDATE 2011-10-12 14:17 EDT

Percona melakukan bake-off di antara beberapa rilis MySQL

• MySQL 4.1
• MySQL 5.0
• MySQL 5.1 (dengan InnoDB bawaan)
• MySQL 5.1 dengan InnoDB-plugin
• MySQL 5.5
• MySQL 5.6

Semua tes dilakukan dengan MySQL yang belum dikonfigurasi. Hasil?

• MySQL 4.1 melakukan single-threaded terbaik
• MySQL 5.1 dengan skala plug-in InnoDB pada beberapa core lebih baik dari 5.1 InnoDB built, 5.5 dan 5.6

Apa yang saya dapatkan dari ini? Anda harus mengonfigurasi MySQL 5.5 / 5.6 untuk mengaktifkan perangkat tambahan multicore .

Ini harus sangat membantu Anda karena ini adalah tolok ukur industri defacto untuk database, TPC-C, http://www.tpc.org/tpcc/spec/tpcc_current.pdf

Bahkan jika Anda tidak menggunakan mengeksekusi tolok ukur ini, informasi yang terkandung dalam dokumen definisi pengujian harus memberi Anda banyak wawasan tentang pengaturan tolok ukur Anda sendiri untuk menguji opsi database Anda.