Secara acak menggambar sejumlah garis dari file data

Saya punya daftar data, seperti

12345
23456
67891
-20000
200
600
20
...

Asumsikan ukuran kumpulan data ini (yaitu baris file) adalah N. Saya ingin menggambar mgaris secara acak dari file data ini. Oleh karena itu, output harus berupa dua file, satu file termasuk mbaris data ini, dan yang lainnya mencakup N-mbaris data.

Apakah ada cara untuk melakukan itu menggunakan perintah Linux?

Ini mungkin bukan cara yang paling efisien tetapi berhasil:

shuf <file> > tmp
head -n $m tmp > out1
tail -n +$(( m + 1 )) tmp > out2

Dengan $mmengandung jumlah garis.

Skrip bash / awk ini memilih baris secara acak, dan mempertahankan urutan asli di kedua file output.

awk -v m=4 -v N=$(wc -l <file) -v out1=/tmp/out1 -v out2=/tmp/out2 \
 'BEGIN{ srand()
         do{ lnb = 1 + int(rand()*N)
             if ( !(lnb in R) ) {
                 R[lnb] = 1
                 ct++ }
         } while (ct<m)
  } { if (R[NR]==1) print > out1 
      else          print > out2       
  }' file
cat /tmp/out1
echo ========
cat /tmp/out2

Keluaran, berdasarkan pada data dalam pertanyaan.

12345
23456
200
600
========
67891
-20000
20

Seperti semua hal Unix, Ada Utilitas untuk ^TM Itu .

Program hari ini: split
splitakan membagi file dengan berbagai cara, -bbyte, -lbaris, -njumlah file output. Kami akan menggunakan -lopsi. Karena Anda ingin memilih garis acak dan bukan hanya yang pertama m, kami akan sortfile secara acak terlebih dahulu. Jika Anda ingin membaca sort, lihat jawaban saya di sini .

Sekarang, kode yang sebenarnya. Ini cukup sederhana, sungguh:

sort -R input_file | split -l $m output_prefix

Ini akan membuat dua file, satu dengan mgaris dan satu dengan N-mgaris, bernama output_prefixaadan output_prefixab. Pastikan madalah file yang lebih besar yang Anda inginkan atau Anda akan mendapatkan beberapa file dengan panjang m(dan satu dengan N % m).

Jika Anda ingin memastikan bahwa Anda menggunakan ukuran yang benar, berikut ini sedikit kode untuk melakukannya:

m=10 # size you want one file to be
N=$(wc -l input_file)
m=$(( m > N/2 ? m : N - m ))
sort -R input_file | split -l $m output_prefix

Sunting: Telah menjadi perhatian saya bahwa beberapa sortimplementasi tidak memiliki -Rbendera. Jika sudah perl, Anda bisa menggantinya perl -e 'use List::Util qw/shuffle/; print shuffle <>;'.

Jika Anda tidak keberatan menata ulang baris dan Anda memiliki GNU coreutils (yaitu pada Linux yang tidak tertanam atau Cygwin, tidak terlalu kuno sejak shufmuncul di versi 6.0), shuf("acak") mengatur ulang baris file secara acak. Jadi Anda dapat mengacak file dan mengirim baris m pertama ke dalam satu file dan sisanya ke yang lain.

Tidak ada cara ideal untuk melakukan pengiriman itu. Anda tidak bisa hanya rantai headdan tailkarena headakan buffer di depan. Anda dapat menggunakan split, tetapi Anda tidak mendapatkan fleksibilitas sehubungan dengan nama file output. Anda bisa menggunakan awk, tentu saja:

<input shuf | awk -v m=$m '{ if (NR <= m) {print >"output1"} else {print} }'

Anda dapat menggunakan sed, yang tidak jelas tetapi mungkin lebih cepat untuk file besar.

<input shuf | sed -e "1,${m} w output1" -e "1,${m} d" >output2

Atau Anda dapat menggunakan teeuntuk menggandakan data, jika platform Anda memiliki /dev/fd; tidak apa-apa jika m kecil:

<input shuf | { tee /dev/fd/3 | head -n $m >output1; } 3>&1 | tail -n +$(($m+1)) >output2

Dengan mudah, Anda dapat menggunakan awk untuk mengirimkan setiap baris secara bergantian. Perhatikan bahwa awk tidak pandai menginisialisasi generator angka acaknya; keacakan tidak hanya pasti tidak cocok untuk kriptografi, tetapi bahkan tidak terlalu baik untuk simulasi numerik. Benih akan sama untuk semua doa awk pada sistem apa pun dengan periode satu detik.

<input awk -v N=$(wc -l <input) -v m=3 '
    BEGIN {srand()}
    {
        if (rand() * N < m) {--m; print >"output1"} else {print >"output2"}
        --N;
    }'

Jika Anda membutuhkan keacakan yang lebih baik, Anda dapat melakukan hal yang sama di Perl, yang menanamkan RNG dengan baik.

<input perl -e '
    open OUT1, ">", "output1" or die $!;
    open OUT2, ">", "output2" or die $!;
    my $N = `wc -l <input`;
    my $m = $ARGV[0];
    while (<STDIN>) {
        if (rand($N) < $m) { --$m; print OUT1 $_; } else { print OUT2 $_; }
        --$N;
    }
    close OUT1 or die $!;
    close OUT2 or die $!;
' 42

Dengan asumsi m = 7dan N = 21:

cp ints ints.bak
for i in {1..7}
do
    rnd=$((RANDOM%(21-i)+1))
    # echo $rnd;  
    sed -n "${rnd}{p,q}" 10k.dat >> mlines 
    sed -i "${rnd}d" ints 
done

Catatan: Jika Anda mengganti 7dengan variabel seperti $1atau $m, Anda harus menggunakan seq, bukan {from..to}-notasi, yang tidak melakukan ekspansi variabel.

Ia bekerja dengan menghapus baris demi baris dari file, yang semakin pendek dan lebih pendek, sehingga nomor baris, yang dapat dihapus, harus semakin kecil.

Ini tidak boleh digunakan untuk file yang lebih panjang, dan banyak baris, karena untuk setiap angka, rata-rata, setengah file harus dibaca untuk tanggal 1, dan seluruh file untuk kode sed kedua .