Melakukan tugas secara paralel, untuk menggunakan banyak prosesor
Ada daftar alamat IP dalam file .txt, mis .: 1.1.1.1 2.2.2.2 3.3.3.3 Di belakang setiap alamat IP ada server, dan pada setiap server ada sshd yang berjalan pada port 22. Tidak setiap server ada dalam known_hostsdaftar (pada PC saya, Ubuntu 10,04 LTS / bash). Bagaimana saya bisa menjalankan...
Saya menggunakan prosesor quad IMX6 freescale. Saya ingin tahu apakah topperintah tersebut mencantumkan penggunaan CPU dari semua 4 core atau dari satu core. Saya melihat penggunaan CPU aplikasi sama dengan 4 core dan dengan single core. Saya menduga penggunaan CPU oleh aplikasi akan meningkat pada...
Saya perlu mengunduh file besar (1GB). Saya juga memiliki akses ke banyak komputer yang menjalankan Linux, tetapi masing-masing dibatasi pada kecepatan unduh 50kB / s oleh kebijakan admin. Bagaimana cara saya mendistribusikan pengunduhan file ini di beberapa komputer dan menggabungkannya setelah...
Saya memiliki folder yang memiliki 250+ file masing-masing 2 GB. Saya perlu mencari string / pola dalam file-file itu dan menampilkan hasilnya dalam outputfile. Saya tahu saya bisa menjalankan perintah berikut, tetapi terlalu lambat !! grep mypattern * > output Saya ingin mempercepatnya....
Apakah ada alat / perintah di Linux yang dapat saya gunakan untuk menjalankan perintah di lebih dari satu tab secara bersamaan? Saya ingin menjalankan perintah yang sama:./myprog argument1 argument2 secara bersamaan di lebih dari satu shell untuk memeriksa apakah mutex berfungsi dengan baik dalam...
Saya ingin mengkompilasi secepat mungkin. Sosok pergi. Dan ingin mengotomatiskan pilihan nomor yang mengikuti -jopsi. Bagaimana saya bisa secara terprogram memilih nilai itu, misalnya dalam skrip shell? Apakah output nprocsetara dengan jumlah utas yang saya miliki untuk dikompilasi? make -j1 make...
Dengan asumsi bahwa disk I / O dan RAM bebas adalah hambatan (sementara waktu CPU bukan batasan), apakah ada alat yang dapat menghitung beberapa pesan sekaligus? Saya khususnya tertarik menghitung MD-5 dan SHA-256 yang mencerna file besar (ukuran dalam gigabyte), lebih disukai secara paralel. Saya...
Saya memiliki banyak gambar PNG di direktori. Saya memiliki aplikasi bernama pngout yang saya jalankan untuk mengompres gambar-gambar ini. Aplikasi ini disebut dengan script yang saya lakukan. Masalahnya adalah skrip ini melakukan satu per satu, seperti ini: FILES=(./*.png) for f in...
Misalkan saya memiliki tiga (atau lebih) script bash: script1.sh, script2.sh, dan script3.sh. Saya ingin memanggil ketiga skrip ini dan menjalankannya secara paralel . Salah satu cara untuk melakukan ini adalah dengan hanya menjalankan perintah berikut: nohup bash script1.sh & nohup bash...
Saya memiliki masalah scripting shell di mana saya diberi direktori yang penuh dengan file input (setiap file yang mengandung banyak baris input), dan saya perlu memprosesnya secara individual, mengarahkan setiap output mereka ke file yang unik (alias, file_1.input perlu untuk ditangkap dalam...
Saya menggunakan xargsdengan opsi --max-args=0(alternatif -P 0). Namun, output dari proses digabung ke dalam stdoutaliran tanpa memperhatikan pemisahan garis yang tepat. Jadi saya akan sering berakhir dengan garis-garis seperti: <start-of-line-1><line-2><end-of-line-1> Seperti...
Pertimbangkan skenario berikut. Saya memiliki dua program A dan B. Output Program A ke stdout string, sedangkan program B memproses baris dari stdin. Cara menggunakan kedua program ini tentu saja: foo @ bar: ~ $ A | B Sekarang saya perhatikan bahwa ini memakan hanya satu inti; karenanya saya...
Saya dapat ssh ke mesin jarak jauh yang memiliki 64 core. Katakanlah saya perlu menjalankan 640 skrip shell secara paralel pada mesin ini. Bagaimana saya melakukan ini? Saya dapat melihat memisahkan 640 skrip menjadi 64 grup masing-masing dari 10 skrip. Bagaimana saya kemudian menjalankan...
Saya memiliki skrip bash shell di mana saya menyalurkan beberapa data melalui sekitar 5 atau 6 program yang berbeda kemudian hasil akhir menjadi file yang dibatasi tab. Saya kemudian melakukan hal yang sama lagi untuk dataset serupa yang terpisah dan output ke file kedua. Kemudian kedua file...
Saya hanya menemukan puf (Pengambil URL paralel) tetapi saya tidak dapat membacanya untuk membaca url dari file; sesuatu seperti puf < urls.txt juga tidak bekerja. Sistem operasi yang diinstal pada server adalah
Misalkan saya memiliki dua sumber daya, bernama 0dan 1, yang hanya dapat diakses secara eksklusif. Apakah ada cara untuk memulihkan "indeks" dari "prosesor paralel" yang xargsdiluncurkan untuk menggunakannya sebagai layanan saling pengecualian gratis? Misalnya, pertimbangkan perhitungan paralel...
Saya punya tugas yang memproses daftar file di stdin. Waktu memulai program sangat besar, dan jumlah waktu yang dibutuhkan setiap file sangat bervariasi. Saya ingin menelurkan sejumlah besar proses ini, kemudian mengirim pekerjaan ke mana saja yang tidak sibuk. Ada beberapa alat commandline berbeda...
Saya memiliki tiga jenis data yang dalam format berbeda; untuk setiap tipe data, ada skrip Python yang mengubahnya menjadi satu format tunggal. Skrip Python ini lambat dan terikat CPU (ke satu inti pada mesin multi-inti), jadi saya ingin menjalankan tiga contoh - satu untuk setiap tipe data - dan...
Saat ini saya mengalami masalah dengan dddipanggil dengan file jarang sebagai input ( if) dan file sebagai output ( of) dengan conv=sparse. ddtampaknya hanya menggunakan satu inti dari CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 core + 4 Intel Hyperthreads) (100% dari 1 core), jadi saya...
Saya tahu bahwa pada baris perintah saya dapat menggunakan &untuk menjalankan perintah di latar belakang. Tapi saya bertanya-tanya apakah saya bisa melakukannya dalam naskah. Saya punya skrip seperti ini: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd...