Menjalankan skrip dengan Cygwin di Windows XP dengan Dual Core dan 4GB Ram
cat url_list.txt | xargs -P50 wget -i
Saya mencoba untuk trawl melalui 4GB dari URL untuk download (kira-kira 43 Juta)
Berfungsi baik-baik saja selama sekitar satu jam pertama, maka Bash shell dan unduhan berhenti meskipun hanya 2% melalui daftar URL.
Ada ide apa yang salah?
Apa cara terbaik untuk debug mengapa ini berhenti setelah satu jam?
Mungkin wget mengambil waktu untuk mengunduh beberapa file. Apakah ada proses wget / xargs dalam memori selama periode yang tampaknya digantung? Jika demikian, apakah itu 50 proses penuh saat Anda dialokasikan dengan flag -P50 ke xargs, atau telahkah entah bagaimana merangkak naik ke angka itu atau kurang dari angka itu dan tidak ada contoh baru yang dihasilkan dengan benar? Meskipun dijalankan di bawah cygwin, lihat daftar proses di windows itu sendiri, karena setiap unduhan wget harus meluncurkan instance di task manager.
Saya menganggap URL untuk situs yang berbeda. Jika demikian, Anda dapat mengunjungi situs yang lambat merespons dan mana yang akan menggantung salah satu dari anggaran Anda. Karena Anda menjalankan 50, Anda harus mencapai 50 situs tersebut sebelum tidak ada yang terjadi.
Untuk melihat apakah ini masalahnya, cobalah untuk membunuh salah satu widget gantung dan melihat apakah itu kemudian dilepaskan.
Untuk melewati URL yang hang, Anda dapat memberikan batas waktu:
wget -T 60