Script Bash memproses sejumlah perintah secara paralel

Saya memiliki skrip bash yang terlihat seperti ini:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Tetapi memproses setiap baris sampai perintah selesai kemudian pindah ke yang berikutnya sangat memakan waktu, saya ingin memproses misalnya 20 baris sekaligus kemudian ketika mereka selesai 20 baris lagi diproses.

Saya berpikir wget LINK1 >/dev/null 2>&1 &untuk mengirim perintah ke latar belakang dan melanjutkan, tetapi ada 4000 baris di sini ini berarti saya akan memiliki masalah kinerja, belum lagi menjadi terbatas dalam berapa banyak proses yang harus saya mulai pada saat yang sama sehingga ini bukan yang baik ide.

Salah satu solusi yang saya pikirkan saat ini adalah memeriksa apakah salah satu perintah masih berjalan atau tidak, misalnya setelah 20 baris saya dapat menambahkan loop ini:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

Tentu saja dalam hal ini saya harus menambahkan & ke akhir baris! Tapi saya merasa ini bukan cara yang tepat untuk melakukannya.

Jadi bagaimana saya benar-benar mengelompokkan masing-masing 20 baris bersama dan menunggu mereka untuk menyelesaikan sebelum pergi ke 20 baris berikutnya, skrip ini dihasilkan secara dinamis sehingga saya dapat melakukan matematika apa pun yang saya inginkan saat itu sedang dihasilkan, tetapi TIDAK TIDAK harus gunakan wget, itu hanya contoh jadi solusi apa pun yang spesifik wget tidak akan ada gunanya bagiku.

Gunakan waitbawaan:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

Untuk contoh di atas, 4 proses process1... process4akan dimulai di latar belakang, dan shell akan menunggu sampai selesai sebelum memulai set berikutnya.

Dari manual GNU :

wait [jobspec or pid ...]

Tunggu hingga proses anak yang ditentukan oleh setiap proses ID pid atau spesifikasi pekerjaan jobspec keluar dan kembalikan status keluar dari perintah terakhir yang menunggu. Jika spesifikasi pekerjaan diberikan, semua proses dalam pekerjaan menunggu. Jika tidak ada argumen yang diberikan, semua proses anak yang sedang aktif menunggu, dan status kembalian adalah nol. Jika jobspec atau pid tidak menentukan proses anak dari shell, status pengembaliannya adalah 127.

Lihat paralel . Sintaksnya mirip dengan xargs, tetapi menjalankan perintah secara paralel.

Bahkan, xargs bisa menjalankan perintah secara paralel untuk Anda. Ada -P max_procsopsi baris perintah khusus untuk itu. Lihat man xargs.

Anda dapat menjalankan 20 proses dan menggunakan perintah:

wait

Script Anda akan menunggu dan melanjutkan ketika semua pekerjaan latar belakang Anda selesai.