Memanfaatkan multi-core untuk tar + gzip / bzip kompresi / dekompresi

Saya biasanya mengompres menggunakan tar zcvfdan menggunakan kompresi tar zxvf(menggunakan gzip karena kebiasaan).

Saya baru saja mendapatkan CPU quad core dengan hyperthreading, jadi saya memiliki 8 core logis, dan saya perhatikan bahwa banyak core yang tidak digunakan selama kompresi / dekompresi.

Apakah ada cara saya bisa memanfaatkan inti yang tidak digunakan untuk membuatnya lebih cepat?

Anda dapat menggunakan pigz bukan gzip, yang melakukan kompresi gzip pada beberapa core. Alih-alih menggunakan opsi -z, Anda akan mengirimkannya melalui pigz:

tar cf - paths-to-archive | pigz > archive.tar.gz

Secara default, pigz menggunakan jumlah core yang tersedia, atau delapan jika tidak bisa menanyakan itu. Anda dapat meminta lebih banyak dengan -pn, misalnya -p 32. pigz memiliki opsi yang sama dengan gzip, sehingga Anda dapat meminta kompresi yang lebih baik dengan -9. Misalnya

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

Anda juga dapat menggunakan flag tar "--use-compress-program =" untuk memberi tahu tar program kompresi apa yang digunakan.

Misalnya gunakan:

tar -c --use-compress-program=pigz -f tar.file dir_to_zip 

Pendekatan umum

Ada opsi untuk tarprogram:

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

Anda dapat menggunakan utilitas pengarsipan atau kompresor versi multithread.

Pengarsip multithread yang paling populer adalah pigz (bukan gzip) dan pbzip2 (bukan bzip2). Misalnya:

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

Pengarsip harus menerima -d. Jika utilitas pengganti Anda tidak memiliki parameter ini dan / atau Anda perlu menentukan parameter tambahan, maka gunakan pipa (tambahkan parameter jika perlu):

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

Input dan output singlethread dan multithread kompatibel. Anda dapat mengompres menggunakan versi multithread dan mendekompres menggunakan versi singlethread dan sebaliknya.

p7zip

Untuk p7zip untuk kompresi, Anda memerlukan skrip shell kecil seperti berikut:

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

Simpan sebagai 7zhelper.sh. Berikut contoh penggunaannya:

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

xz

Mengenai dukungan XZ multithreaded. Jika Anda menjalankan versi 5.2.0 atau lebih tinggi dari XZ Utils, Anda dapat menggunakan beberapa core untuk kompresi dengan mengatur -Tatau --threadske nilai yang sesuai melalui variabel lingkungan XZ_DEFAULTS (mis XZ_DEFAULTS="-T 0".).

Ini adalah fragmen manusia untuk versi 5.1.0alpha:

Kompresi dan dekompresi multithreaded belum diimplementasikan, sehingga opsi ini tidak berpengaruh untuk saat ini.

Namun ini tidak akan berfungsi untuk dekompresi file yang belum dikompres dengan mengaktifkan threading. Dari manusia untuk versi 5.2.2:

Dekompresi berulir belum diterapkan. Ini hanya akan berfungsi pada file yang berisi banyak blok dengan informasi ukuran di header blok. Semua file yang dikompresi dalam mode multi-threaded memenuhi kondisi ini, tetapi file yang dikompresi dalam mode single-threaded tidak bahkan jika --block-size = size digunakan.

Kompilasi ulang dengan penggantian

Jika Anda membuat tar dari sumber, maka Anda dapat mengkompilasi ulang dengan parameter

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

Setelah mengkompilasi ulang tar dengan opsi-opsi ini Anda dapat memeriksa output dari bantuan tar:

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

Anda dapat menggunakan pintasan -Iuntuk --use-compress-programsakelar tar , dan menjalankan pbzip2kompresi bzip2 pada banyak inti:

tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 DIRECTORY_TO_COMPRESS/

Jika Anda ingin lebih fleksibel dengan nama file dan opsi kompresi, Anda dapat menggunakan:

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec \
tar -P --transform='s@/my/path/@@g' -cf - {} + | \
pigz -9 -p 4 > myarchive.tar.gz

Langkah 1: find

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec

Perintah ini akan mencari file yang ingin Anda arsipkan, dalam hal ini /my/path/*.sqldan /my/path/*.log. Tambahkan sebanyak yang -o -name "pattern"Anda inginkan.

-execakan menjalankan perintah berikutnya menggunakan hasil dari find:tar

Langkah 2: tar

tar -P --transform='s@/my/path/@@g' -cf - {} +

--transformadalah parameter penggantian string sederhana. Ini akan menghapus jalur file dari arsip sehingga root tarball menjadi direktori saat ini saat mengekstraksi. Perhatikan bahwa Anda tidak dapat menggunakan -Copsi untuk mengubah direktori karena Anda akan kehilangan manfaat dari find: semua file direktori akan disertakan.

-Pmemberitahu taruntuk menggunakan jalur absolut, sehingga tidak memicu peringatan "Menghapus awalan` / 'dari nama anggota ". Memimpin '/' dengan dihapus --transformbagaimanapun juga.

-cf -memberitahu taruntuk menggunakan nama tarball yang akan kita tentukan nanti

{} +menggunakan everyfile yang findditemukan sebelumnya

Langkah 3: pigz

pigz -9 -p 4

Gunakan sebanyak mungkin parameter yang Anda inginkan. Dalam hal ini -9adalah tingkat kompresi dan -p 4jumlah inti yang didedikasikan untuk kompresi. Jika Anda menjalankan ini pada server web yang sarat muatan, Anda mungkin tidak ingin menggunakan semua inti yang tersedia.

Langkah 4: nama arsip

> myarchive.tar.gz

Akhirnya.

Alat kompresi (de) yang relatif lebih baru yang mungkin ingin Anda pertimbangkan adalah standar . Itu melakukan pekerjaan yang sangat baik dalam memanfaatkan core cadangan, dan telah membuat beberapa trade-off besar ketika datang ke rasio kompresi vs (de) waktu kompresi. Ini juga sangat dapat disesuaikan tergantung pada kebutuhan rasio kompresi Anda.