Mengubah file gzip menjadi bzip2 secara efisien

Saya memiliki banyak file gzip yang harus saya konversi menjadi bzip2 setiap saat. Saat ini, saya menggunakan skrip shell yang hanya 'gunzip setiap file dan kemudian' bzip2 itu. Meskipun ini berhasil, dibutuhkan banyak waktu untuk menyelesaikannya.

Apakah mungkin membuat proses ini lebih efisien? Saya siap untuk menyelam dan melihat kode sumber gunzip dan bzip2 jika perlu, tetapi saya hanya ingin memastikan hasilnya. Adakah harapan untuk meningkatkan efisiensi proses?

Pertanyaan ini sudah lama ditanyakan ketika pbzip2 tidak tersedia atau tidak mampu mengompresi dari stdin, tetapi Anda sekarang dapat memparalelkan langkah-langkah kompresi dan kompresi menggunakan paralel dan pbzip2 (bukan bzip2 ):

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

yang secara signifikan lebih cepat daripada menggunakan bzip2 .

Daripada gunzip di satu langkah dan bzip2 di yang lain, saya bertanya-tanya apakah mungkin akan lebih efisien untuk menggunakan pipa. Sesuatu sepertigunzip --to-stdout foo.gz | bzip2 > foo.bz2

Saya sedang berpikir dengan dua CPU atau lebih, ini pasti akan lebih cepat. Tetapi mungkin bahkan dengan hanya satu inti. Namun saya mengakui tidak pernah mencoba ini.

GNU parallel ( http://www.gnu.org/software/parallel ) mungkin menjadi opsi jika Anda memiliki banyak core (atau bahkan beberapa mesin):

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

Baca halaman tutorial / manual untuk detail dan opsi.

Apa yang Anda lakukan saat ini adalah taruhan terbaik Anda. Tidak ada alat konversi yang tersedia, dan mencoba melakukan bzip2 file yang sudah di-gzip bukanlah pilihan, karena seringkali memiliki efek yang tidak diinginkan. Karena algoritmenya berbeda, pengubahan akan melibatkan pengambilan data asli apa pun. Kecuali tentu saja gzipping adalah langkah dalam proses bzip2, yang sayangnya tidak.

Kadang-kadang, saya perlu melakukan hal yang sama dengan file log. Saya mulai dengan file * .gz terkecil terlebih dahulu ( ls -rS), gunzip dan kemudian dan bzip2 secara individual. Saya tidak tahu apakah mungkin untuk mengarahkan output gunzip langsung ke input bzip2. Perintah bzip2 jauh lebih lambat dalam mengompresi daripada gunzip berada pada dekompresi sehingga ia dapat menghabiskan memori dan ruang swap pada host.

Perbaikan atau saran dipersilahkan. Ini satu-satunya liner saya:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

Jika Anda memiliki lebih dari beberapa, periksa artikel LJ dengan skrip shell yang bagus.

http://linuxgazette.net/123/bechtel.html

7zip mendapatkan kompresi yang lebih baik, dan multi-threaded.

Baru saja melakukan ini beberapa menit yang lalu:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

Di mana rezipakan didefinisikan sebagai:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

Secara opsional, Anda juga dapat membuatnya multi-utas dengan menggunakan -Popsi dengan xargs, tetapi berhati-hatilah dengan opsi itu. (Mulai rendah!)