Saya telah mencoba untuk memparalelkan skrip berikut, khususnya masing-masing dari tiga instance loop FOR, menggunakan GNU Parallel tetapi belum mampu. 4 perintah yang terkandung dalam loop FOR dijalankan secara seri, masing-masing loop membutuhkan waktu sekitar 10
Saya bingung tentang perbedaan atau keuntungan (jika ada) menjalankan serangkaian tugas dalam .shskrip menggunakanGNU parallel Misalnya jawaban Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png daripada mengatakan perulangan melalui mereka menempatkan mereka di latar belakang &. Misalnya...
Saya memiliki masalah scripting shell di mana saya diberi direktori yang penuh dengan file input (setiap file yang mengandung banyak baris input), dan saya perlu memprosesnya secara individual, mengarahkan setiap output mereka ke file yang unik (alias, file_1.input perlu untuk ditangkap dalam...
Saya telah menggunakan rsyncskrip untuk menyinkronkan data di satu host dengan data di host lain. Data memiliki banyak file berukuran kecil yang berkontribusi hampir 1,2TB. Untuk menyinkronkan file-file itu, saya telah menggunakan rsyncperintah sebagai berikut: rsync -avzm --stats...
Dalam skrip yang lebih besar untuk memposting-proses beberapa data simulasi saya memiliki baris berikut: parallel bnzip2 -- *.bz2 Yang, jika saya mengerti paralleldengan benar (dan saya mungkin tidak), harus menjalankan utas-utas program pada semua file dengan ekstensi yang terdaftar. Anda...
Jadi saya memiliki loop sementara: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Tapi ini bisa memakan waktu lama. Bagaimana saya menggunakan GNU Parallel untuk loop sementara
Saya memuat file yang sangat besar ke database postgresql. Untuk melakukan ini saya pertama kali menggunakan splitdalam file untuk mendapatkan file yang lebih kecil (masing-masing 30Gb) dan kemudian saya memuat setiap file yang lebih kecil ke database menggunakan GNU Paralleldan psql...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Saya berharap baris kedua bertindak
Saya ingin menggunakan fitur GNU parallel di mana ia dapat mengeksekusi perintah dan daftar itu dimasukkan secara paralel dan meludahkannya setelah semuanya selesai, namun, saya tidak ingin menginstal GNU parallel di semua server kami. Atau mungkin versi paralel xargs? Apakah ada implementasi ksh...
Misalkan saya ingin menemukan semua kecocokan dalam file teks terkompresi: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --ratedigunakan di sini untuk mengukur throughput pipa. Di komputer saya ini sekitar 420Mb / s (setelah dekompresi). Sekarang saya mencoba untuk melakukan grep...