Membagi file untuk setiap 10.000 angka (bukan baris)

Saya memiliki file yang terlihat seperti berikut:

chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT    

Saya ingin membagi file ini untuk setiap interval 10.000 bidang ke-2 (BUKAN garis, tetapi interval angka). Jadi untuk file ini saya ingin memisahkan dari baris pertama (baris dengan 61336212) ke baris yang memiliki atau hingga 61346211 (61336212 + 9999), kemudian dari 61346212 hingga 61356211, dan seterusnya dan seterusnya. Seperti yang Anda lihat angka-angka di kolom 2 / kolom tidak 'diisi'.

Apakah ada cara untuk melakukan ini?

awk 'NR==1 {n=$2}
     {
       file = sprintf("file.%.4d", ($2-n)/10000)
       if (file != last_file) {
         close(last_file)
         last_file = file
       }
       print > file
     }'

Akan menulis ke file.0000, file.0001... (nomor yang int(($2-n)/10000)mana nadalah $2untuk baris pertama).

Perhatikan bahwa kami menutup file setelah kami berhenti menulis kepada mereka seperti sebaliknya, Anda akan mencapai batas jumlah file yang dibuka secara bersamaan setelah beberapa ratus file (GNU awkdapat mengatasi batas itu, tetapi kemudian kinerjanya menurun dengan cepat).

Kami mengasumsikan angka-angka itu selalu naik.

Meretas versi satu-liner. Mungkin lebih cocok untuk Code Golf daripada forum ini. Ini menghasilkan split1, split2, split3 dan seterusnya, sebagai nama file.

awk '{if($2>b+9999){a++;b=$2}print >"split" a}' file.txt

Untuk memiliki file output bernama split001, split002, split003, melibatkan tambahan ini sprintf:

awk '{if($2>b+9999){a++;b=$2}print >sprintf("split%03d",a)}' file.txt

Untuk menghindari masalah pelambatan gawk yang diidentifikasi oleh @ Stéphane Chazelas, gunakan perl:

perl -ne '(undef,$a)=split(/\s+/,$_);if($a>$b+9999){$c++;$b=$a}open(D,sprintf(">>ysplit%03d",$c));print D' <file.txt

#!/bin/bash
first=$( head -n1 file | awk -F" +" '{print $2}' )
last=$( tail -n1 file | awk -F" +" '{print $2}' )
for (( i=$first ; i<=$last ; i=i+10000 )) ; do
   awk -v start=$i -v end=$(($i+10000)) 'BEGIN { FS == " +" } { if ( $2 >= start && $2 < end ) print $0 }' file \
   >> interval_"$i"_to_"$(( $i+10000 ))"
done

Tes dengan interval yang diatur ke 100:

more inter*
::::::::::::::
interval_61336212_to_61346212
::::::::::::::
chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
::::::::::::::
interval_61336312_to_61346312
::::::::::::::
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT  

Catatan: akan menghasilkan file kosong untuk interval kosong; untuk menghapus file kosong, tambahkan:

for file in interval* ; do
  if [ ! -s "$file" ] ; then
    rm "$file"
  fi
done

Akan melindas file untuk setiap langkah dalam forloop, sehingga bukan yang paling efisien.

Jika yang Anda maksud hanya perhitungan bukan penghitungan baris:

awk 'NR==1 || n+10000<$2{n=$2; portion++}{print > FILENAME "." portion}' file