Apa perbedaan antara modul urllib, urllib2, urllib3 dan request?

Dalam Python, apa perbedaan antara urllib, urllib2, urllib3dan requestsmodul? Kenapa ada tiga? Mereka tampaknya melakukan hal yang sama ...

Saya tahu itu sudah dikatakan, tapi saya sangat merekomendasikan requestspaket Python.

Jika Anda menggunakan bahasa selain python, Anda mungkin berpikir urllibdan urllib2mudah digunakan, tidak banyak kode, dan sangat cakap, begitulah cara saya berpikir. Tetapi requestspaket ini sangat berguna dan singkat sehingga setiap orang harus menggunakannya.

Pertama, mendukung API yang sepenuhnya tenang, dan semudah:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Terlepas dari apakah GET / POST, Anda tidak perlu menyandikan parameter lagi, itu hanya membutuhkan kamus sebagai argumen dan baik untuk pergi:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Plus itu bahkan memiliki decoder JSON bawaan (sekali lagi, saya tahu json.loads()tidak banyak lagi yang bisa ditulis, tapi ini pasti nyaman):

resp.json()

Atau jika data respons Anda hanya berupa teks, gunakan:

resp.text

Ini hanya puncak gunung es. Ini adalah daftar fitur dari situs permintaan:

• Domain dan URL Internasional
• Keep-Alive & Connection Pooling
• Sesi dengan Kegigihan Cookie
• Verifikasi SSL gaya peramban
• Otentikasi Dasar / Intisari
• Cookie Kunci / Nilai yang Elegan
• Dekompresi Otomatis
• Badan Respons Unicode
• Unggah File Banyak Bagian
• Timeout Koneksi
• Dukungan .netrc
• Daftar barang
• Python 2.6—3.4
• Aman untuk benang.

urllib2 menyediakan beberapa fungsionalitas tambahan, yaitu urlopen()fungsi ini memungkinkan Anda untuk menentukan header (biasanya Anda harus menggunakan httplib di masa lalu, yang jauh lebih bertele-tele.) Lebih penting lagi, urllib2 menyediakan Requestkelas, yang memungkinkan untuk lebih pendekatan deklaratif untuk melakukan permintaan:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Perhatikan bahwa urlencode()hanya di urllib, bukan urllib2.

Ada juga penangan untuk mengimplementasikan dukungan URL yang lebih canggih di urllib2. Jawaban singkatnya adalah, kecuali Anda bekerja dengan kode lawas, Anda mungkin ingin menggunakan pembuka URL dari urllib2, tetapi Anda masih perlu mengimpor ke urllib untuk beberapa fungsi utilitas.

Jawaban bonus Dengan Google App Engine, Anda dapat menggunakan httplib, urllib, atau urllib2, tetapi semuanya hanyalah pembungkus untuk Google URL Fetch API. Artinya, Anda masih tunduk pada batasan yang sama seperti port, protokol, dan panjang respons yang diizinkan. Anda dapat menggunakan inti dari perpustakaan seperti yang Anda harapkan untuk mengambil URL HTTP.

urllib dan urllib2 adalah modul Python yang melakukan hal-hal terkait permintaan URL tetapi menawarkan fungsionalitas yang berbeda.

1) urllib2 dapat menerima objek Permintaan untuk mengatur tajuk untuk permintaan URL, urllib hanya menerima URL.

2) urllib menyediakan metode urlencode yang digunakan untuk menghasilkan string kueri GET, urllib2 tidak memiliki fungsi seperti itu. Ini adalah salah satu alasan mengapa urllib sering digunakan bersama dengan urllib2.

Permintaan - Permintaan 'adalah perpustakaan HTTP sederhana dan mudah digunakan yang ditulis dengan Python.

1) Permintaan Python mengkodekan parameter secara otomatis sehingga Anda hanya memberikannya sebagai argumen sederhana, tidak seperti pada urllib, di mana Anda perlu menggunakan metode urllib.encode () untuk menyandikan parameter sebelum meneruskannya.

2) Secara otomatis menerjemahkan respons ke Unicode.

3) Permintaan juga memiliki penanganan kesalahan yang jauh lebih mudah. ​​Jika otentikasi Anda gagal, urllib2 akan meningkatkan urllib2.URLError, sementara Permintaan akan mengembalikan objek respons normal, seperti yang diharapkan. Yang harus Anda lihat jika permintaan berhasil oleh boolean response.ok

Satu perbedaan besar adalah tentang porting Python2 ke Python3. urllib2 tidak ada untuk python3 dan metodenya porting ke urllib. Jadi Anda menggunakan itu banyak dan ingin bermigrasi ke Python3 di masa depan, pertimbangkan untuk menggunakan urllib. Namun alat 2to3 secara otomatis akan melakukan sebagian besar pekerjaan untuk Anda.

Hanya untuk menambah jawaban yang ada, saya tidak melihat ada yang menyebutkan bahwa permintaan python bukan perpustakaan asli. Jika Anda setuju dengan menambahkan dependensi, maka permintaan baik-baik saja. Namun, jika Anda berusaha menghindari penambahan dependensi, urllib adalah pustaka python asli yang sudah tersedia untuk Anda.

Saya suka urllib.urlencodefungsinya, dan sepertinya tidak ada di urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Untuk mendapatkan konten dari url:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

Sulit untuk menulis Python2 dan Python3 dan requestkode dependensi untuk respons karena mereka urlopen()berfungsi dan requests.get()mengembalikan tipe yang berbeda:

• Python2 urllib.request.urlopen()mengembalikan ahttp.client.HTTPResponse
• Python3 urllib.urlopen(url)mengembalikan sebuahinstance
• Permintaan request.get(url)pengembalian arequests.models.Response

Anda biasanya harus menggunakan urllib2, karena ini kadang-kadang membuat hal-hal sedikit lebih mudah dengan menerima objek Permintaan dan juga akan meningkatkan URLException pada kesalahan protokol. Dengan Google App Engine, Anda tidak dapat menggunakan keduanya. Anda harus menggunakan URL Ambil API yang Google sediakan di lingkungan Python yang berpasir.

Poin kunci yang saya temukan hilang dalam jawaban di atas adalah bahwa urllib mengembalikan objek bertipe <class http.client.HTTPResponse>sedangkan requestsmengembalikan <class 'requests.models.Response'>.

Karena itu, metode read () dapat digunakan dengan urllibtetapi tidak dengan requests.

PS: requestssudah kaya dengan begitu banyak metode sehingga tidak perlu satu lagi seperti read();>