unix - pisahkan file .gz besar dengan baris

Saya yakin seseorang memiliki kebutuhan di bawah ini, apa cara cepat untuk memecah file .gz besar demi baris? File teks yang mendasarinya memiliki 120 juta baris. Saya tidak punya cukup ruang disk untuk mem-gunzip seluruh file sekaligus jadi saya bertanya-tanya apakah ada yang tahu tentang skrip bash / perl atau alat yang dapat membagi file (baik .gz atau inner .txt) menjadi file baris 3x 40mn . yaitu menyebutnya seperti:

    bash splitter.sh hugefile.txt.gz 4000000 1
 would get lines 1 to 40 mn    
    bash splitter.sh hugefile.txt.gz 4000000 2
would get lines 40mn to 80 mn
    bash splitter.sh hugefile.txt.gz 4000000 3
would get lines 80mn to 120 mn

Mungkin melakukan serangkaian solusi ini atau apakah gunzip -c membutuhkan ruang yang cukup untuk seluruh file untuk di-unzip (yaitu masalah asli): gunzip -c hugefile.txt.gz | kepala 4000000

Catatan: Saya tidak bisa mendapatkan disk tambahan.

Terima kasih!

Cara melakukan ini terbaik tergantung pada apa yang Anda inginkan:

• Apakah Anda ingin mengekstrak satu bagian dari file besar?
• Atau Anda ingin membuat semua bagian sekaligus?

Jika Anda ingin satu bagian file , ide Anda digunakan gunzipdan headbenar. Kamu bisa memakai:

gunzip -c hugefile.txt.gz | head -n 4000000

Itu akan menampilkan 4000000 baris pertama pada out standar - Anda mungkin ingin menambahkan pipa lain untuk benar-benar melakukan sesuatu dengan data.

Untuk mendapatkan bagian lain, Anda akan menggunakan kombinasi headdan tail, seperti:

gunzip -c hugefile.txt.gz | head -n 8000000 |tail -n 4000000

untuk mendapatkan blok kedua.

Mungkin melakukan serangkaian solusi ini atau apakah gunzip -c membutuhkan cukup ruang untuk seluruh file untuk di-unzip

Tidak, gunzip -ctidak memerlukan ruang disk apa pun - ia melakukan segalanya dalam memori, lalu mengalirkannya ke stdout.

Jika Anda ingin membuat semua bagian dalam sekali jalan , lebih efisien untuk membuat semuanya dengan satu perintah, karena file input hanya dibaca sekali. Salah satu solusi yang baik adalah menggunakan split; lihat jawaban jim mcnamara untuk lebih jelasnya.

pipa untuk dibagi menggunakan gunzip -c atau zcat untuk membuka file

gunzip -c bigfile.gz | split -l 400000

Tambahkan spesifikasi output ke perintah split.

Saat Anda mengerjakan aliran (tidak dapat mundur), Anda ingin menggunakan bentuk '+ N' ekor untuk mendapatkan garis mulai dari garis N dan seterusnya.

zcat hugefile.txt.gz | head -n 40000000
zcat hugefile.txt.gz | tail -n +40000001 | head -n 40000000
zcat hugefile.txt.gz | tail -n +80000001 | head -n 40000000

Saya akan mempertimbangkan menggunakan split .

pisahkan file menjadi beberapa bagian

Pisahkan file .gz menjadi file .gz:

zcat bigfile.gz | split -l 400000 --filter='gzip > $FILE.gz'

Saya pikir ini yang diinginkan OP, karena dia tidak punya banyak ruang.

Berikut ini adalah skrip python untuk membuka kumpulan file globbed dari direktori, gunzip jika perlu, dan bacalah secara baris demi baris. Ini hanya menggunakan ruang yang diperlukan dalam memori untuk memegang nama file, dan baris saat ini, ditambah sedikit overhead.

#!/usr/bin/env python
import gzip, bz2
import os
import fnmatch

def gen_find(filepat,top):
    for path, dirlist, filelist in os.walk(top):
        for name in fnmatch.filter(filelist,filepat):
            yield os.path.join(path,name)

def gen_open(filenames):
    for name in filenames:
        if name.endswith(".gz"):
            yield gzip.open(name)
        elif name.endswith(".bz2"):
            yield bz2.BZ2File(name)
        else:
            yield open(name)

def gen_cat(sources):
    for s in sources:
        for item in s:
            yield item

def main(regex, searchDir):
    fileNames = gen_find(regex,searchDir)
    fileHandles = gen_open(fileNames)
    fileLines = gen_cat(fileHandles)
    for line in fileLines:
        print line

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Search globbed files line by line', version='%(prog)s 1.0')
    parser.add_argument('regex', type=str, default='*', help='Regular expression')
    parser.add_argument('searchDir', , type=str, default='.', help='list of input files')
    args = parser.parse_args()
    main(args.regex, args.searchDir)

Perintah baris cetak akan mengirim setiap baris ke std, sehingga Anda dapat mengarahkan ulang ke file. Atau, jika Anda memberi tahu kami apa yang ingin Anda lakukan dengan baris, saya dapat menambahkannya ke skrip python dan Anda tidak perlu meninggalkan potongan file yang tergeletak di sekitar.

Berikut adalah program perl yang dapat digunakan untuk membaca stdin, dan membagi baris, memipakan setiap rumpun ke perintah terpisah yang dapat menggunakan variabel shell $ SPLIT untuk merutekannya ke tujuan yang berbeda. Untuk kasus Anda, itu akan diminta

zcat hugefile.txt.gz | perl xsplit.pl 40000000 'cat > tmp$SPLIT.txt; do_something tmp$SPLIT.txt; rm tmp$SPLIT.txt'

Maaf pemrosesan command-line agak kotor tetapi Anda mendapatkan ide.

#!/usr/bin/perl -w
#####
# xsplit.pl: like xargs but instead of clumping input into each command's args, clumps it into each command's input.
# Usage: perl xsplit.pl LINES 'COMMAND'
# where: 'COMMAND' can include shell variable expansions and can use $SPLIT, e.g.
#   'cat > tmp$SPLIT.txt'
# or:
#   'gzip > tmp$SPLIT.gz'
#####
use strict;

sub pipeHandler {
    my $sig = shift @_;
    print " Caught SIGPIPE: $sig\n";
    exit(1);
}
$SIG{PIPE} = \&pipeHandler;

my $LINES = shift;
die "LINES must be a positive number\n" if ($LINES <= 0);
my $COMMAND = shift || die "second argument should be COMMAND\n";

my $line_number = 0;

while (<STDIN>) {
    if ($line_number%$LINES == 0) {
        close OUTFILE;
        my $split = $ENV{SPLIT} = sprintf("%05d", $line_number/$LINES+1);
        print "$split\n";
        my $command = $COMMAND;
        open (OUTFILE, "| $command") or die "failed to write to command '$command'\n";
    }
    print OUTFILE $_;
    $line_number++;
}

exit 0;