Nginx proxy_read_timeout vs. proxy_connect_timeout

Saya sudah mulai menggunakan Nginx sebagai proxy terbalik untuk satu set server yang menyediakan semacam layanan.

Layanan bisa agak lambat di kali (berjalan di Jawa dan JVM kadang-kadang terjebak dalam "pengumpulan sampah penuh" yang mungkin memakan waktu beberapa detik), jadi saya telah mengatur proxy_connect_timeoutke 2 detik, yang akan memberi Nginx cukup waktu untuk mencari mengetahui bahwa layanan macet di GC dan tidak akan merespons dalam waktu, dan harus meneruskan permintaan ke server yang berbeda.

Saya juga telah mengatur proxy_read_timeoutuntuk mencegah proksi terbalik macet jika layanan itu sendiri membutuhkan terlalu banyak waktu untuk menghitung respons - sekali lagi, itu harus memindahkan permintaan ke server lain yang seharusnya cukup bebas untuk mengembalikan respons tepat waktu.

Saya telah menjalankan beberapa tolok ukur dan saya dapat melihat dengan jelas bahwa beberapa proxy_connect_timeoutberfungsi dengan baik karena beberapa permintaan kembali tepat pada waktu yang ditentukan untuk waktu habis koneksi, karena layanan macet dan tidak menerima koneksi masuk (layanan menggunakan Jetty sebagai tertanam wadah servlet). Ini proxy_read_timeoutjuga berfungsi, karena saya dapat melihat permintaan yang kembali setelah batas waktu yang ditentukan di sana.

Masalahnya adalah bahwa saya akan mengharapkan untuk melihat beberapa permintaan yang habis setelah itu proxy_read_timeout + proxy_connect_timeout, atau hampir sepanjang waktu itu, jika layanan macet dan tidak akan menerima koneksi ketika Nginx mencoba mengaksesnya, tetapi sebelum Nginx dapat kehabisan waktu - itu akan dirilis dan mulai memproses, tetapi terlalu lambat dan Nginx akan dibatalkan karena batas waktu baca. Saya percaya bahwa layanan memiliki kasus seperti itu, tetapi setelah menjalankan beberapa tolok ukur, total jutaan permintaan - saya gagal melihat satu permintaan yang kembali dalam apa pun di atas proxy_read_timeout(yang merupakan batas waktu lebih besar).

Saya akan sangat menghargai komentar tentang masalah ini, meskipun saya pikir itu bisa disebabkan oleh bug di Nginx (saya belum melihat kode, jadi ini hanya asumsi) bahwa penghitung waktu habis tidak mendapatkan reset setelah koneksi berhasil, jika Nginx tidak membaca apa pun dari server hulu.

Saya sebenarnya tidak dapat mereproduksi ini di:

2011/08/20 20:08:43 [notice] 8925#0: nginx/0.8.53
2011/08/20 20:08:43 [notice] 8925#0: built by gcc 4.1.2 20080704 (Red Hat 4.1.2-48)
2011/08/20 20:08:43 [notice] 8925#0: OS: Linux 2.6.39.1-x86_64-linode19

Saya mengatur ini di nginx.conf saya:

proxy_connect_timeout   10;
proxy_send_timeout      15;
proxy_read_timeout      20;

Saya kemudian menyiapkan dua server uji. Satu yang hanya akan habis pada SYN, dan yang akan menerima koneksi tetapi tidak pernah menanggapi:

upstream dev_edge {
  server 127.0.0.1:2280 max_fails=0 fail_timeout=0s; # SYN timeout
  server 10.4.1.1:22 max_fails=0 fail_timeout=0s; # accept but never responds
}

Lalu saya mengirim satu koneksi tes:

[m4@ben conf]$ telnet localhost 2480
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET / HTTP/1.1
Host: localhost

HTTP/1.1 504 Gateway Time-out
Server: nginx
Date: Sun, 21 Aug 2011 03:12:03 GMT
Content-Type: text/html
Content-Length: 176
Connection: keep-alive

Kemudian tonton error_log yang menunjukkan ini:

2011/08/20 20:11:43 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while connecting to upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://10.4.1.1:22/", host: "localhost"

kemudian:

2011/08/20 20:12:03 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:2280/", host: "localhost"

Dan kemudian access.log yang memiliki batas waktu 30-an yang diharapkan (10 + 20):

504:32.931:10.003, 20.008:.:176 1 127.0.0.1 localrhost - [20/Aug/2011:20:12:03 -0700] "GET / HTTP/1.1" "-" "-" "-" dev_edge 10.4.1.1:22, 127.0.0.1:2280 -

Berikut adalah format log yang saya gunakan yang mencakup batas waktu hulu individu:

log_format  edge  '$status:$request_time:$upstream_response_time:$pipe:$body_bytes_sent $connection $remote_addr $host $remote_user [$time_local] "$request" "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $edge $upstream_addr $upstream_cache_status';

Masalahnya adalah bahwa saya akan mengharapkan untuk melihat beberapa permintaan timeout setelah proxy_read_timeout + proxy_connect_timeout, atau hampir sepanjang waktu itu, jika layanan macet dan tidak akan menerima koneksi ketika Nginx mencoba mengaksesnya, tetapi sebelum Nginx dapat timeout - itu akan dirilis dan mulai diproses, tetapi terlalu lambat dan Nginx akan dibatalkan karena batas waktu baca.

Connect timeout berarti kios TCP saat berjabat tangan (misalnya, tidak ada SYN_ACKs). TCP akan mencoba mengirim ulang SYN, tetapi Anda hanya memberikan 2 detik. ke Nginx untuk pergi menggunakan Server lain, sehingga tidak punya waktu untuk mengirim kembali SYNs.

UPD. : Tidak dapat menemukan di dokumen, tetapi tcpdump menunjukkan bahwa ada 3 detik. keterlambatan antara 1 mengirim SYN dan upaya 2 untuk mengirim SYN.