Bagaimana cara mengatur waktu tunggu untuk permintaan http.Get () di Golang?

Saya membuat pengambil URL di Go dan memiliki daftar URL untuk diambil. Saya mengirim http.Get()permintaan ke setiap URL dan mendapatkan tanggapan mereka.

resp,fetch_err := http.Get(url)

Bagaimana cara mengatur waktu tunggu khusus untuk setiap permintaan Dapatkan? (Waktu default sangat lama dan itu membuat fetcher saya sangat lambat.) Saya ingin fetcher saya memiliki waktu tunggu sekitar 40-45 detik, setelah itu harus mengembalikan "waktu permintaan habis" dan beralih ke URL berikutnya.

Bagaimana saya bisa mencapai ini?

Ternyata di Go 1.3 http.Client memiliki kolom Timeout

client := http.Client{
    Timeout: 5 * time.Second,
}
client.Get(url)

Itu trik untuk saya.

Anda perlu menyiapkan Klien Anda sendiri dengan Transport Anda sendiri yang menggunakan fungsi Dial kustom yang melingkupi DialTimeout .

Sesuatu seperti (sepenuhnya belum teruji ) ini :

var timeout = time.Duration(2 * time.Second)

func dialTimeout(network, addr string) (net.Conn, error) {
    return net.DialTimeout(network, addr, timeout)
}

func main() {
    transport := http.Transport{
        Dial: dialTimeout,
    }

    client := http.Client{
        Transport: &transport,
    }

    resp, err := client.Get("http://some.url")
}

Untuk menambah jawaban Volker, jika Anda juga ingin mengatur waktu tunggu baca / tulis selain waktu tunggu koneksi, Anda dapat melakukan hal seperti berikut ini

package httpclient

import (
    "net"
    "net/http"
    "time"
)

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) {
    return func(netw, addr string) (net.Conn, error) {
        conn, err := net.DialTimeout(netw, addr, cTimeout)
        if err != nil {
            return nil, err
        }
        conn.SetDeadline(time.Now().Add(rwTimeout))
        return conn, nil
    }
}

func NewTimeoutClient(connectTimeout time.Duration, readWriteTimeout time.Duration) *http.Client {

    return &http.Client{
        Transport: &http.Transport{
            Dial: TimeoutDialer(connectTimeout, readWriteTimeout),
        },
    }
}

Kode ini telah diuji dan berfungsi dalam produksi. Inti lengkap dengan tes tersedia di sini https://gist.github.com/dmichael/5710968

Ketahuilah bahwa Anda perlu membuat klien baru untuk setiap permintaan karena dari conn.SetDeadlinemana merujuk suatu titik di masa mendatangtime.Now()

Jika Anda ingin melakukannya sesuai permintaan, penanganan yang salah diabaikan agar singkatnya:

ctx, cncl := context.WithTimeout(context.Background(), time.Second*3)
defer cncl()

req, _ := http.NewRequestWithContext(ctx, http.MethodGet, "https://google.com", nil)

resp, _ := http.DefaultClient.Do(req)

Cara cepat dan kotor:

http.DefaultTransport.(*http.Transport).ResponseHeaderTimeout = time.Second * 45

Ini mutasi keadaan global tanpa koordinasi apapun. Namun mungkin tidak masalah bagi pengambil url Anda. Jika tidak, buat instance pribadi dari http.RoundTripper:

var myTransport http.RoundTripper = &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        ResponseHeaderTimeout: time.Second * 45,
}

var myClient = &http.Client{Transport: myTransport}

resp, err := myClient.Get(url)
...

Tidak ada hal di atas yang diuji.

Anda dapat menggunakan https://github.com/franela/goreq yang menangani batas waktu dengan cara dan cara yang sederhana.

timeout := time.Duration(5 * time.Second)
transport := &http.Transport{Proxy: http.ProxyURL(proxyUrl), ResponseHeaderTimeout:timeout}

Ini mungkin membantu, tetapi perhatikan itu ResponseHeaderTimeoutdimulai hanya setelah koneksi dibuat.