Bagaimana Anda mengirim permintaan HTTP HEAD dengan Python 2?

Apa yang saya coba lakukan di sini adalah mendapatkan header dari URL tertentu sehingga saya dapat menentukan jenis MIME. Saya ingin dapat melihat apakah http://somedomain/foo/akan mengembalikan dokumen HTML atau gambar JPEG misalnya. Oleh karena itu, saya perlu mencari cara untuk mengirim permintaan HEAD agar saya dapat membaca tipe MIME tanpa harus mengunduh konten. Adakah yang tahu cara mudah untuk melakukan ini?

edit : Jawaban ini berfungsi, tetapi saat ini Anda hanya harus menggunakan perpustakaan permintaan seperti yang disebutkan oleh jawaban lain di bawah ini.

Gunakan httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Ada juga getheader(name)untuk mendapatkan tajuk tertentu.

urllib2 dapat digunakan untuk melakukan permintaan HEAD. Ini sedikit lebih bagus daripada menggunakan httplib karena urllib2 mem-parsing URL untuk Anda alih-alih meminta Anda untuk membagi URL menjadi nama host dan jalur.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Header tersedia melalui response.info () seperti sebelumnya. Menariknya, Anda dapat menemukan URL tujuan Anda dialihkan:

>>> print response.geturl()
http://www.google.com.au/index.html

RequestsCara wajib :

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Saya yakin pustaka Requests harus disebutkan juga.

Hanya:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Sunting: Saya baru saja menyadari ada httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

teks tautan

Untuk kelengkapan, memiliki jawaban Python3 yang setara dengan jawaban yang diterima menggunakan httplib .

Ini pada dasarnya adalah kode yang sama hanya saja pustaka tidak lagi disebut httplib tetapi http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Sebagai tambahan, saat menggunakan httplib (setidaknya di 2.5.2), mencoba membaca respon dari permintaan HEAD akan memblokir (di readline) dan kemudian gagal. Jika Anda tidak mengeluarkan bacaan pada tanggapan, Anda tidak dapat mengirim permintaan lain pada koneksi, Anda harus membuka yang baru. Atau terima penundaan yang lama di antara permintaan.

Saya telah menemukan bahwa httplib sedikit lebih cepat dari urllib2. Saya menghitung waktu dua program - satu menggunakan httplib dan yang lainnya menggunakan urllib2 - mengirim permintaan HEAD ke 10.000 URL. Yang httplib lebih cepat beberapa menit. Statistik total httplib adalah: real 6m21.334s pengguna 0m2.124s sys 0m16.372s

Dan statistik total urllib2 adalah: real 9m1.380s user 0m16.666s sys 0m28.565s

Apakah ada orang lain yang punya masukan tentang ini?

Dan pendekatan lain (mirip dengan jawaban Pawel):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Hanya untuk menghindari metode tak terbatas di tingkat instance.

Mungkin lebih mudah: gunakan urllib atau urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () adalah objek mirip kamus, jadi Anda bisa melakukan f.info () ['content-type'], dll.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

Catatan dokumen bahwa httplib biasanya tidak digunakan secara langsung.