Cara sampel secara acak bagian dari suatu file

Apakah ada perintah Linux yang dapat digunakan untuk sampel subset file? Misalnya, file berisi satu juta baris, dan kami ingin mengambil sampel acak hanya seribu baris dari file itu.

Secara acak saya maksudkan bahwa setiap baris mendapatkan probabilitas yang sama untuk dipilih dan tidak ada baris yang dipilih yang berulang.

headdan taildapat memilih subset file tetapi tidak secara acak. Saya tahu saya selalu bisa menulis skrip python untuk melakukannya tetapi hanya ingin tahu apakah ada perintah untuk penggunaan ini.

The shufperintah (bagian dari coreutils) dapat melakukan ini:

shuf -n 1000 file

Dan setidaknya untuk versi non-kuno sekarang (ditambahkan dalam komit dari 2013 ), yang akan menggunakan pengambilan sampel reservoir jika sesuai, artinya tidak boleh kehabisan memori dan menggunakan algoritma cepat.

Jika Anda memiliki file yang sangat besar (yang merupakan alasan umum untuk mengambil sampel), Anda akan menemukan bahwa:

1. shuf kehabisan memori
2. Menggunakan $RANDOMtidak akan berfungsi dengan benar jika file melebihi 32767 baris

Jika Anda tidak membutuhkan "tepat" di baris sampel, Anda dapat mencicipi rasio seperti ini:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Ini menggunakan memori konstan , sampel 1% dari file (jika Anda tahu jumlah baris file Anda dapat menyesuaikan faktor ini untuk sampel yang mendekati jumlah baris terbatas), dan bekerja dengan ukuran file berapa pun tetapi tidak akan mengembalikan tepat jumlah baris, hanya rasio statistik.

Catatan: Kode tersebut berasal dari: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Mirip dengan solusi probabilistik @ Txangel tetapi mendekati 100x lebih cepat.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Jika Anda membutuhkan kinerja tinggi, ukuran sampel yang tepat, dan senang tinggal dengan celah sampel di akhir file, Anda dapat melakukan sesuatu seperti berikut (sampel 1000 baris dari file baris 1m):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. Atau memang rantai metode sampel kedua alih-alih head.

Jika shuf -ntrik pada file besar kehabisan memori dan Anda masih perlu sampel ukuran tetap dan utilitas eksternal dapat diinstal kemudian coba sampel :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Peringatannya adalah bahwa sampel (1000 baris dalam contoh) harus sesuai dengan memori.

Penafian: Saya adalah pembuat perangkat lunak yang direkomendasikan.

Tidak mengetahui adanya perintah tunggal yang bisa melakukan apa yang Anda minta tetapi di sini ada satu loop yang saya kumpulkan yang dapat melakukan pekerjaan:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedakan mengambil garis acak pada masing-masing 1000 pass. Mungkin ada solusi yang lebih efisien.

Anda dapat menyimpan kode ikuti dalam file (dengan contoh randextract.sh) dan jalankan sebagai:

randextract.sh file.txt

---- FILE AWAL ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- FILE AKHIR ----

Jika Anda tahu jumlah baris dalam file (seperti 1e6 dalam kasus Anda), Anda dapat melakukan:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Jika tidak, Anda selalu bisa melakukannya

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Itu akan melakukan dua lintasan dalam file, tetapi masih menghindari menyimpan seluruh file dalam memori.

Keuntungan lain dari GNU shufadalah menjaga urutan baris dalam file.

Perhatikan bahwa diasumsikan n adalah jumlah baris dalam file. Jika Anda ingin mencetak pkeluar dari pertama n baris dari file (yang memiliki potensial lebih baris), Anda akan perlu untuk berhenti awkdi n^th baris seperti:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Saya suka menggunakan awk untuk ini ketika saya ingin mempertahankan baris tajuk, dan ketika sampel bisa menjadi persentase perkiraan file. Bekerja untuk file yang sangat besar:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Atau seperti ini:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Dari halaman bash man:

        ACAK Setiap kali parameter ini direferensikan, bilangan bulat acak
              antara 0 dan 32767 dihasilkan. Urutan acak
              angka dapat diinisialisasi dengan menetapkan nilai ke RAN–
              DOM. Jika RANDOM tidak disetel, itu kehilangan hak khusus-
              mengikat, bahkan jika kemudian diatur ulang.

Jika ukuran file Anda tidak besar, Anda dapat menggunakan Sort secara acak. Ini membutuhkan waktu sedikit lebih lama daripada shuf, tetapi ini mengacak seluruh data. Jadi, Anda dapat dengan mudah melakukan hal berikut untuk menggunakan kepala seperti yang Anda minta:

sort -R input | head -1000 > output

Ini akan mengurutkan file secara acak dan memberi Anda 1000 baris pertama.

Seperti disebutkan dalam jawaban yang diterima, GNU shufmendukung simple random sampling ( shuf -n) dengan cukup baik. Jika diperlukan metode pengambilan sampel di luar yang didukung shuf, pertimbangkan sampel-tsv dari TSV Utilities eBay . Ini mendukung beberapa mode pengambilan sampel tambahan, termasuk pengambilan sampel acak tertimbang, pengambilan sampel Bernoulli, dan pengambilan sampel yang berbeda. Performanya mirip dengan GNU shuf(keduanya cukup cepat). Penafian: Saya penulis.