Wget: convert-links dan hindari mengunduh ulang file yang sudah diambil?

12

Saya mengunduh penyebaran data di antara banyak file yang tidak berubah setelah dipublikasikan.

Oleh karena --timestampingitu tidak cukup baik, karena terus-menerus memeriksa sumber daya apa pun yang diubah, yang, dalam kasus saya, sama sekali tidak ada gunanya.

--no-clobberakan sangat cocok. Sayangnya itu tidak bekerja dengan --convert-links alasan tertentu.

Baik --no-clobber dan --convert-links telah ditentukan, hanya --convert-links yang akan digunakan.

Saya berharap itu --backup-convertedakan membantu tetapi itu tidak mengubah apa-apa (berfungsi untuk --timestamping.)

Mengapa wget --convert-links --backup-converted --no-clobber --wait 1 https://example.commengabaikan --no-clobberdan bagaimana cara memperbaikinya?

wget download mengurangi aktivitas
sumber
Memukul masalah yang sama hari ini. Bagaimana Anda mengatasinya?
Angelo Fuchs
1
@AngeloFuchs saya tidak pernah menyelesaikannya (saya akan memposting jawaban jika itu akan terjadi). Pada akhirnya dalam kasus saya, mengunduh ulang tautan yang diambil lebih mudah daripada menambal wget atau beralih ke yang lain.
Mengurangi aktivitas
Apakah kamu sudah mencoba --continue? ini biasanya dimaksudkan untuk membuat unduhan yang sebelumnya dibatalkan. tetapi jika file sudah diambil itu tidak melakukan apa-apa.
JPT

Jawaban:

1

Adakah kemungkinan menggunakan rsync? Anda harus memiliki akses ssh ke sistem. (Saya belum pernah melihat rsync digunakan untuk http: // unduhan.)

Sesuatu seperti ini akan mendapatkan file yang belum pernah Anda dapatkan dan akan mengambil kembali file yang berhenti diunduh karena suatu alasan. 

rsync -avzheP ssh [email protected]:/remotefolder/ /localfolder/

Ini mungkin tidak cocok untuk Anda. Tidak cukup informasi tentang apa yang Anda coba lakukan.

Mark Stewart
sumber
-2

Anda tidak dapat menggunakan keduanya --convert-linksdan --no-clobber. Anda akan mendapatkan pesan ini:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetdapat mencapai apa yang Anda inginkan, jika Anda menentukan --convert-linksdan --timestamping. Tetapi ini hanya akan berfungsi jika situs target menyediakan info cap waktu file di header respons.

RashaMatt
sumber
Jawaban ini tidak ada yang tidak disebutkan dalam revisi pertama ( unix.stackexchange.com/posts/177330/revisi ) dari pertanyaan saya.
Mengurangi aktivitas