Bagaimana cara mengkompres ulang 2 juta file gzip tanpa menyimpannya dua kali?

Saya memiliki sekitar 2 juta (60GiB) file kecil yang di-gzip dan saya ingin membuat arsip terkompresi yang berisi semuanya dalam versi yang tidak terkompresi. Sayangnya, saya tidak bisa hanya mengompres semuanya dan kemudian membuat arsip terkompresi karena saya hanya memiliki sekitar 70GiB ruang disk kosong. Dengan kata lain, bagaimana saya bisa melakukan yang setara tar --file-filter="zcat" zcf file.tar.gz directoryjika saklar baris perintah seperti --file-filtertidak ada di tar GNU?

Sebuah opsi dapat digunakan avfs(di sini dengan asumsi sistem GNU):

mkdir ~/AVFS &&
avfsd ~/AVFS &&
cd ~/AVFS/where/your/gz/files/are/ &&
find . -name '*.gz' -type f -printf '%p#\0' |
  tar --null -T - --transform='s/.gz#$//' -cf - | pigz > /dest/file.tar.gz

Perhatikan, bahwa ini rapuh ketika menyangkut nama file yang tidak menyenangkan.

dir_with_small_files=/home/john/files
tmpdir=/tmp/ul/dst
tarfile=/tmp/ul.tar
mkfifo "${tarfile}"

gzip <"${tarfile}" >"${tarfile}.gz" &

find "$dir_with_small_files" -type f | \
while read src; do
    dstdir="${tmpdir}/$(dirname $src)"
    dst="$(basename $src .gz)"
    mkdir -p "$dstdir"
    gunzip <"$src" >"${dstdir}/${dst}"
    # rm "$src" # uncomment to remove the original files
    echo "${dstdir}/${dst}"
done | \
cpio --create --format=ustar -v --quiet 2>&1 >"${tarfile}" | \
while read x; do
    rm "$x"
done

# clean-up
rm "$tarfile"
rm -r "$tmpdir"

File-file tersebut tidak terkompresi sementara di bawah $tmpdir, diteruskan ke cpiobegitu segera setelah mereka ditambahkan ke arsip, dihapus.

Inilah yang saya coba sejauh ini - sepertinya berhasil, tetapi sangat lambat, bahkan dengan PyPy:

#!/usr/bin/python

import tarfile
import os
import gzip
import sys
import cStringIO

tar = tarfile.open("/dev/stdout", "w|")
for name in sys.stdin:
    name = name[:-1]  # remove the trailing newline
    try:
        f = gzip.open(name)
        b = f.read()
        f.close()
    except IOError:
        f = open(name)
        b = f.read()
        f.close()
    # the [2:] there is to remove ./ from "find" output
    ti = tarfile.TarInfo(name[2:])
    ti.size = len(b)
    io = cStringIO.StringIO(b)
    tar.addfile(ti, io)
tar.close()

Pemakaian: find . | script.py | gzip > file.tar.gz