Bagaimana cara membagi file teks besar menjadi file yang lebih kecil dengan jumlah baris yang sama?

Saya punya file teks biasa (dengan jumlah baris) yang besar yang ingin saya bagi menjadi file yang lebih kecil, juga dengan jumlah baris. Jadi jika file saya memiliki sekitar 2M baris, saya ingin membaginya menjadi 10 file yang berisi 200rb baris, atau 100 file yang berisi 20rb baris (ditambah satu file dengan sisanya; secara merata dapat dibagi tidak masalah).

Saya bisa melakukan ini dengan cukup mudah di Python tapi saya bertanya-tanya apakah ada cara ninja untuk melakukan hal ini menggunakan bash dan unix utils (yang bertentangan dengan pengulangan manual dan penghitungan / garis partisi).

Sudahkah Anda melihat perintah split?

$ split --help
Usage: split [OPTION] [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit

Anda dapat melakukan sesuatu seperti ini:

split -l 200000 filename

yang akan membuat file masing-masing dengan 200000 baris bernama xaa xab xac...

Pilihan lain, dipisah berdasarkan ukuran file keluaran (masih terbelah saat jeda baris):

 split -C 20m --numeric-suffixes input_filename output_prefix

membuat file seperti output_prefix01 output_prefix02 output_prefix03 ...masing - masing ukuran maksimal 20 megabyte.

Bagaimana dengan perintah split ?

split -l 200000 mybigfile.txt

Ya, ada splitperintah. Ini akan membagi file dengan garis atau byte.

$ split --help
Usage: split [OPTION]... [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic just before each
                            output file is opened
      --help     display this help and exit
      --version  output version information and exit

SIZE may have a multiplier suffix:
b 512, kB 1000, K 1024, MB 1000*1000, M 1024*1024,
GB 1000*1000*1000, G 1024*1024*1024, and so on for T, P, E, Z, Y.

menggunakan split

Membagi file menjadi ukuran tetap, membuat file output yang berisi bagian berturut-turut dari INPUT (input standar jika tidak ada yang diberikan atau INPUT adalah `- ')

Syntax split [options] [INPUT [PREFIX]]

http://ss64.com/bash/split.html

Menggunakan:

sed -n '1,100p' filename > output.txt

Di sini, 1 dan 100 adalah nomor baris yang akan Anda tangkap output.txt.

pisahkan file "file.txt" menjadi 10.000 baris file:

split -l 10000 file.txt

split(dari GNU coreutils, sejak versi 8.8 dari 2010-12-22 ) termasuk parameter berikut:

-n, --number=CHUNKS     generate CHUNKS output files; see explanation below

CHUNKS may be:
  N       split into N files based on size of input
  K/N     output Kth of N to stdout
  l/N     split into N files without splitting lines/records
  l/K/N   output Kth of N to stdout without splitting lines/records
  r/N     like 'l' but use round robin distribution
  r/K/N   likewise but only output Kth of N to stdout

Dengan demikian, split -n 4 input output.akan menghasilkan empat file ( output.a{a,b,c,d}) dengan jumlah byte yang sama, tetapi garis mungkin terputus di tengah.

Jika kita ingin mempertahankan baris penuh (mis. Dibagi dengan baris), maka ini akan berhasil:

split -n l/4 input output.

Jawaban terkait: https://stackoverflow.com/a/19031247

Jika Anda hanya ingin membagi dengan x jumlah baris setiap file, jawaban yang diberikan splitadalah OK. Tapi, saya ingin tahu tentang tidak ada yang memperhatikan persyaratan:

• "tanpa harus menghitungnya" -> menggunakan wc + cut
• "Memiliki sisa dalam file tambahan" -> split tidak secara default

Saya tidak dapat melakukannya tanpa "wc + cut", tetapi saya menggunakan itu:

split -l  $(expr `wc $filename | cut -d ' ' -f3` / $chunks) $filename

Ini dapat dengan mudah ditambahkan ke fungsi bashrc Anda sehingga Anda bisa memintanya lewat nama file dan potongan:

 split -l  $(expr `wc $1 | cut -d ' ' -f3` / $2) $1

Jika Anda hanya ingin x potongan tanpa sisa dalam file tambahan, cukup sesuaikan rumus untuk menjumlahkannya (potongan - 1) pada setiap file. Saya menggunakan pendekatan ini karena biasanya saya hanya ingin x jumlah file daripada x baris per file:

split -l  $(expr `wc $1 | cut -d ' ' -f3` / $2 + `expr $2 - 1`) $1

Anda dapat menambahkannya ke skrip dan menyebutnya "cara ninja", karena jika tidak ada yang sesuai dengan kebutuhan Anda, Anda dapat membuatnya :-)

Anda juga bisa menggunakan awk

awk -vc=1 'NR%200000==0{++c}{print $0 > c".txt"}' largefile

HDFS mendapatkan file kecil dan tumpah ke ukuran properti.

Metode ini akan menyebabkan jeda baris

split -b 125m compact.file -d -a 3 compact_prefix

Saya mencoba untuk mendapatkan dan membagi menjadi sekitar 128MB setiap file.

# split into 128m ,judge sizeunit is M or G ,please test before use.

begainsize=`hdfs dfs -du -s -h /externaldata/$table_name/$date/ | awk '{ print $1}' `
sizeunit=`hdfs dfs -du -s -h /externaldata/$table_name/$date/ | awk '{ print $2}' `
if [ $sizeunit = "G" ];then
    res=$(printf "%.f" `echo "scale=5;$begainsize*8 "|bc`)
else
    res=$(printf "%.f" `echo "scale=5;$begainsize/128 "|bc`)  # celling ref http://blog.csdn.net/naiveloafer/article/details/8783518
fi
echo $res
# split into $res files with number suffix.  ref  http://blog.csdn.net/microzone/article/details/52839598
compact_file_name=$compact_file"_"
echo "compact_file_name :"$compact_file_name
split -n l/$res $basedir/$compact_file -d -a 3 $basedir/${compact_file_name}