Unduh file besar dengan python dengan permintaan

Permintaan adalah perpustakaan yang sangat bagus. Saya ingin menggunakannya untuk mengunduh file besar (> 1GB). Masalahnya adalah itu tidak mungkin untuk menyimpan seluruh file dalam memori saya harus membacanya dalam potongan. Dan ini merupakan masalah dengan kode berikut

import requests

def DownloadFile(url)
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return 

Dengan beberapa alasan itu tidak berfungsi seperti ini. Itu masih memuat respons ke dalam memori sebelum menyimpannya ke file.

MEMPERBARUI

Jika Anda memerlukan klien kecil (Python 2.x /3.x) yang dapat mengunduh file besar dari FTP, Anda dapat menemukannya di sini . Ini mendukung multithreading & menghubungkan kembali (ini memonitor koneksi) dan juga menyetel params socket untuk tugas pengunduhan.

Dengan kode streaming berikut, penggunaan memori Python dibatasi terlepas dari ukuran file yang diunduh:

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter below
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                # If you have chunk encoded response uncomment if
                # and set chunk_size parameter to None.
                #if chunk: 
                f.write(chunk)
    return local_filename

Perhatikan bahwa jumlah byte yang dikembalikan menggunakan iter_contenttidak tepat chunk_size; itu diharapkan menjadi angka acak yang seringkali jauh lebih besar, dan diharapkan berbeda di setiap iterasi.

Lihat https://requests.readthedocs.io/en/latest/user/advanced/#body-content-workflow dan https://requests.readthedocs.io/en/latest/api/#requests.Response.iter_content untuk lebih lanjut referensi.

Jauh lebih mudah jika Anda menggunakan Response.rawdan shutil.copyfileobj():

import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename

Ini mengalirkan file ke disk tanpa menggunakan memori yang berlebihan, dan kodenya sederhana.

Tidak persis dengan apa yang diminta OP, tapi ... sangat mudah untuk melakukannya dengan urllib:

from urllib.request import urlretrieve
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
dst = 'ubuntu-16.04.2-desktop-amd64.iso'
urlretrieve(url, dst)

Atau dengan cara ini, jika Anda ingin menyimpannya ke file sementara:

from urllib.request import urlopen
from shutil import copyfileobj
from tempfile import NamedTemporaryFile
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
with urlopen(url) as fsrc, NamedTemporaryFile(delete=False) as fdst:
    copyfileobj(fsrc, fdst)

Saya menyaksikan prosesnya:

watch 'ps -p 18647 -o pid,ppid,pmem,rsz,vsz,comm,args; ls -al *.iso'

Dan saya melihat file tumbuh, tetapi penggunaan memori tetap di 17 MB. Apakah saya melewatkan sesuatu?

Ukuran chunk Anda mungkin terlalu besar, sudahkah Anda mencoba menjatuhkannya - mungkin 1024 byte sekaligus? (juga, Anda bisa menggunakan withuntuk merapikan sintaks)

def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
    return 

Kebetulan, bagaimana Anda menyimpulkan bahwa respons telah dimuat ke memori?

Kedengarannya seolah-olah python tidak membuang data ke file, dari pertanyaan SO lainnya Anda bisa mencoba f.flush()dan os.fsync()memaksa file menulis dan membebaskan memori;

    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                f.flush()
                os.fsync(f.fileno())