Bagaimana cara mengotomatisasi pengunduhan file?

Saya mendapat buku yang memiliki izin untuk mengakses versi digital dari scan hi-res dari sebagian besar karya seni dalam buku. Luar biasa! Sayangnya penyajian semua ini adalah 177 halaman dari 8 gambar masing-masing dengan tautan ke file zip jpgs. Menjelajahi sangat membosankan, dan saya ingin bisa mendapatkan semua file sekaligus daripada duduk dan mengklik masing-masing secara terpisah.

archive_bookname / index.1.htm - archive_bookname / index.177.htm masing-masing halaman memiliki 8 tautan masing-masing ke file

menautkan ke file seperti <snip>/downloads/_Q6Q9265.jpg.zip, <snip>/downloads/_Q6Q7069.jpg.zip, <snip>/downloads/_Q6Q5354.jpg.zip. itu tidak cukup berjalan. Saya tidak bisa mendapatkan daftar direktori induk /downloads/ map.

Selain itu, file berada di belakang dinding masuk, sehingga melakukan alat non-browser, mungkin sulit tanpa mengetahui cara membuat ulang info sesi.

Saya telah melihat ke wget sedikit tetapi saya cukup bingung dan tidak tahu apakah itu akan membantu saya dengan ini. Adakah saran tentang cara mengatasi ini? Bisakah wget melakukan ini untukku secara otomatis?

Anda dapat menentukan file input html dengan

wget -F -i <file>

jadi Anda bisa membuang file html dan mengulanginya
(Saya telah menambahkan url dasar untuk tautan relatif):

for i in <whereYouDumpedFiles>/*.html
do
  wget -F -B <base-url> -i $i
done

kalau tidak

Anda bisa membuang tautan ke file (dipisahkan oleh baris baru) dengan metode apa pun dan melakukan ini:

wget -i <url-file>

cara yang baik untuk mendapatkan tautan tersebut adalah:

lynx -hiddenlinks=ignore -nonumbers -listonly --dump <relevant-url> \
 | sort | uniq | sed /<regexp-pattern-of-urls-you-want>/\!d

mungkin dalam for loop yang ditambahkan ke 'url-file'

Menggunakan python mungkin lebih mudah. Jadi ini adalah solusi menggunakan python. Jika python bukan pilihan bagi Anda, abaikan. :)

Saya berasumsi menggores situs web itu legal.

Tulis skrip Python sederhana untuk mengulang archive_bookname/index.1-177.htm, memo menggunakan mereka BeautifulSoup , cari tautan dengan penyeleksi kelas css atau pencocokan regex sederhana, lalu gunakan urllib.urlretrieve() untuk mendapatkan file. Begitulah cara saya melakukannya.

Atau Anda cukup menggunakan Perl dan modul briliannya bernama www :: mechanize. Sangat sederhana untuk menyatukan sesuatu dan ada banyak contoh di dokumentasi CPAN resmi.