Bagaimana skala php5 + MySQL di atas 200 permintaan / detik?

Saya mengubah homepage saya untuk kinerja, saat ini menangani sekitar 200 permintaan / detik pada 3.14.by yang memakan 6 query SQL, dan 20 req / detik pada 3.14.by/forum yang merupakan forum phpBB.

Anehnya, jumlahnya hampir sama pada beberapa VPS dan dedicated server Atom 330.

Perangkat lunak server adalah sebagai berikut: Apache2 + mod_php prefork 4 childs (mencoba angka berbeda di sini), php5, APC, nginx, memcached untuk penyimpanan sesi PHP.

MySQL dikonfigurasikan untuk memakan sekitar 30% dari RAM yang tersedia (~ 150Mb pada VPS, 700Mb pada server khusus)

Sepertinya ada hambatan di tempat yang tidak memungkinkan saya untuk naik, saran? (Yaitu saya tahu bahwa melakukan kurang dari 6 SQL akan membuatnya lebih cepat, tetapi ini tidak terlihat seperti faktor pembatas, karena sqld makan tidak lebih dari beberapa% di atas karena permintaan cache)

Adakah yang menguji menendang apache2 yang sudah diprogram dan hanya menyisakan nginx + php yang lebih cepat?

Beberapa tolok ukur lagi

Small 40-byte static file: 1484 r/s via nginx+apache2, 2452 if we talk to apache2 directly. 
Small "Hello world" php script: 458 r/s via ngin+apache2.

Pembaruan: Tampaknya hambatan adalah kinerja MySQL pada data yang di-cache. Halaman dengan SQL tunggal menunjukkan 354req / detik, dengan 6 SQL - 180 req / detik. Menurut Anda, apa yang bisa saya ubah di sini? (Saya dapat membayar 100-200Mb untuk MySQL)

[client]
port        = 3306
socket      = /var/run/mysqld/mysqld.sock

[mysqld_safe]
socket      = /var/run/mysqld/mysqld.sock
nice        = 0

[mysqld]
default-character-set=cp1251
collation-server=cp1251_general_cs

skip-character-set-client-handshake

user        = mysql
pid-file    = /var/run/mysqld/mysqld.pid
socket      = /var/run/mysqld/mysqld.sock
port        = 3306
basedir     = /usr
datadir     = /var/lib/mysql
tmpdir      = /tmp
skip-external-locking

bind-address        = 127.0.0.1

key_buffer      = 16M
max_allowed_packet  = 8M
thread_stack        = 64K
thread_cache_size   = 16
sort_buffer_size    = 8M
read_buffer_size    = 1M

myisam-recover      = BACKUP
max_connections        = 650
table_cache            = 256
thread_concurrency     = 10

query_cache_limit       = 1M
query_cache_size        = 16M

expire_logs_days    = 10
max_binlog_size         = 100M

[mysqldump]
quick
quote-names
max_allowed_packet  = 8M

[mysql]
[isamchk]
key_buffer      = 8M

!includedir /etc/mysql/conf.d/

Jelas, ada banyak yang bisa Anda coba. Taruhan terbaik Anda adalah mengejar log Anda untuk kueri yang tidak menggunakan indeks (mengaktifkan log untuk itu) dan kueri yang tidak dioptimalkan lainnya. Saya telah menyusun daftar besar opsi terkait kinerja selama bertahun-tahun, jadi saya telah memasukkan sebagian kecil di sini untuk informasi Anda - semoga membantu. Berikut adalah beberapa catatan umum untuk hal-hal yang dapat Anda coba (jika belum):

MySQL

• query_cache_type = 1 - cache SQL queries aktif. Jika diatur ke 2, kueri hanya di-cache jika petunjuk SQL_CACHE diteruskan kepada mereka. Demikian pula dengan tipe 1, Anda dapat menonaktifkan cache untuk permintaan tertentu dengan petunjuk SQL_NO_CACHE
• key_buffer_size = 128M (default: 8M) - buffer memori untuk indeks tabel MyISAM. Pada dedicated server, bertujuan untuk mengatur key_buffer_size ke setidaknya seperempat, tetapi tidak lebih dari setengah, dari jumlah total memori di server
• query_cache_size = 64M (default: 0) - ukuran cache kueri
• back_log = 100 (default: 50, maks: 65535) - Antrian permintaan koneksi luar biasa. Hanya masalah ketika ada banyak koneksi dalam waktu singkat
• join_buffer_size = 1M (default: 131072) - buffer yang digunakan saat melakukan pemindaian tabel penuh (tidak ada indeks)
• table_cache = 2048 (default: 256) - seharusnya max_user_connections dikalikan dengan jumlah maksimum BERGABUNG dengan kueri SQL terberat Anda. Gunakan variabel "open_tables" pada waktu puncak sebagai panduan. Lihat juga variabel "opens_tables" - harus dekat dengan "open_tables"
• query_prealloc_size = 32K (default: 8K) - memori persisten untuk parsing dan eksekusi pernyataan. Tingkatkan jika memiliki kueri yang kompleks
• sort_buffer_size = 16M (default: 2M) - membantu menyortir (ORDER BY dan GROUP BY operasi)
• read_buffer_size = 2M (default: 128K) - Membantu dengan pemindaian berurutan. Tambah jika ada banyak pemindaian berurutan.
• read_rnd_buffer_size = 4M - membantu tabel MyISAM mempercepat membaca setelah sortir
• max_length_for_sort_data - ukuran baris untuk menyimpan alih-alih penunjuk baris dalam file sortir. Dapat menghindari pembacaan tabel acak
• key_cache_age_threshold = 3000 (default: 300) - waktu untuk menyimpan cache kunci di zona panas (sebelum diturunkan ke pemanasan)
• key_cache_division_limit = 50 (default: 100) - memungkinkan mekanisme penggusiran cache yang lebih canggih (dua level). Menunjukkan persentase yang harus disimpan untuk level bawah. delay_key_write = ALL - buffer kunci tidak dibilas untuk tabel pada setiap pembaruan indeks, tetapi hanya ketika tabel ditutup. Ini mempercepat menulis pada tombol, tetapi jika Anda menggunakan fitur ini, Anda harus menambahkan pemeriksaan otomatis dari semua tabel MyISAM dengan memulai server dengan opsi --myisam-recover = BACKUP, FORCE
• memlock = 1 - proses kunci dalam memori (untuk mengurangi swapping in / out)

Apache

• ubah metode pemijahan (ke mpm misalnya)
• nonaktifkan log jika memungkinkan
• AllowOverride None - bila memungkinkan, nonaktifkan .htaccess. Itu menghentikan apache untuk mencari file .htaccess jika mereka tidak digunakan sehingga menyimpan permintaan pencarian file
• SendBufferSize - Diatur ke OS default. Pada jaringan yang padat, Anda harus mengatur parameter ini mendekati ukuran file terbesar yang biasanya diunduh
• KeepAlive Off (Aktif Aktif) - dan instal lingerd untuk menutup koneksi jaringan dengan benar dan lebih cepat
• DirectoryIndex index.php - Menyimpan daftar file sesingkat dan absolut mungkin.
• Opsi FollowSymLinks - untuk menyederhanakan proses akses file di Apache
• Hindari menggunakan mod_rewrite atau setidaknya regex kompleks
• ServerToken = prod

PHP

• variable_order = "GPCS" (Jika Anda tidak memerlukan variabel lingkungan)
• register_globals = Tidak aktif - selain dari risiko keamanan, itu juga memiliki dampak kinerja
• Usahakan include_path seminimal mungkin (menghindari pencarian sistem file tambahan)
• display_errors = Off - Nonaktifkan menampilkan kesalahan. Sangat disarankan untuk semua server produksi (tidak menampilkan pesan kesalahan jika terjadi masalah).
• magic_quotes_gpc = Mati
• magic_quotes _ * = Mati
• output_buffering = Hidup
• Nonaktifkan logging jika memungkinkan
• expose_php = Mati
• register_argc_argv = Mati
• always_populate_raw_post_data = Mati
• letakkan file php.ini di mana php akan mencarinya terlebih dahulu.
• session.gc_divisor = 1000 atau 10000
• session.save_path = "N; / path" - Untuk situs besar, pertimbangkan untuk menggunakannya. Pisahkan file sesi menjadi subdirektori

OS Tweaks

• Pasang hard disk bekas dengan opsi -o noatime (tanpa waktu akses). Juga tambahkan opsi ini ke file / etc / fstab.
• Tweak / proc / sys / vm / swappiness (dari 0 hingga 100) untuk melihat apa yang memiliki hasil terbaik
• Gunakan RAM Disks - mount --bind -ttmpfs / tmp / tmp

Jika hambatannya bukan CPU, maka IO - baik jaringan atau disk. Jadi .. Anda perlu melihat berapa banyak IO yang terjadi. Saya tidak akan mengira itu adalah jaringannya (kecuali Anda berada pada tautan setengah dupleks 10mbps, tetapi ada baiknya memeriksa sakelar kalau-kalau deteksi otomatis tidak melakukan tugasnya dengan benar).

Itu meninggalkan disk IO, yang bisa menjadi faktor besar terutama pada VPS. Gunakan sar atau iostat untuk melihat cakram, kemudian google cara menemukan detail lebih lanjut jika cakram Anda banyak digunakan.

Saya akan mencari caching dengan Nginx ( memcached ) atau Varnish .

Paling tidak Anda harus server file statis dengan Nginx seperti kata SaveTheRbtz.

Karena server sepertinya tidak menjadi masalah, mungkin generator bebannya. Cobalah untuk menjalankannya di beberapa mesin.

Kedengarannya bagi saya seperti Anda mungkin memukul jumlah maksimum koneksi yang diizinkan oleh Apache. Lihatlah konfigurasi Apache Anda. Meningkatkan batas server dan klien maks akan membantu jika Anda belum terikat oleh batas lain seperti I / O atau memori. Lihatlah nilai yang ada untuk mpm_prefork_module atau mpm_worker_module dan sesuaikan sesuai dengan kebutuhan Anda.

ServerLimit 512
MaxClients 512

Apakah beban ini dihasilkan oleh alat atau beban dunia nyata?

Anda mungkin ingin memeriksa memcached. Saya telah melihat masalah pada tingkat koneksi yang tinggi yang menyebabkan latensi dalam aplikasi.

Jika menggunakan generator beban, apa yang Anda dapatkan ketika menekan halaman statis kecil?

Selama pemuatan, Anda mungkin ingin memeriksa tumpukan jaringan untuk kondisi TIME_WAIT. Mungkin Anda sedang mengisi antrian koneksi Anda.

Ada sekitar 100 alasan dan item yang dapat Anda lihat tetapi tanpa informasi lebih lanjut, saya hanya membuang tebakan pada saat ini.

99% persen dari masalah waktu seperti ini akan ditelusuri kembali ke database. Pastikan indeks memukul Anda terlebih dahulu. Jika itu tidak berhasil, mulai caching semua yang Anda bisa.

Saya sarankan Anda untuk menggunakan (jika mungkin) pooler koneksi untuk menjaga database terhubung ke aplikasi web Anda (tidak perlu menyambung kembali pada setiap permintaan). Itu bisa membuat perbedaan kecepatan yang sangat besar.

Juga, cobalah menganalisis semua pertanyaan Anda dengan EXPLAIN (dan mengapa tidak membuat profil pertanyaan Anda dengan SHOW PROFILE?).