awk dan potong pada file yang sangat besar

0

Saya harus mengekstrak kolom data dari file yang sangat besar> 100GB.

Saya tahu cara menggunakan awkdan cutperintah melakukannya, tetapi ingin tahu apakah ada yang lebih efisien (dari perspektif kecepatan) untuk tugas seperti itu.

awk textfiles cut Bryan
sumber
Grep harus menjadi cara tercepat untuk mencari string dalam file: grep -o "\w*pattern\w*" /path/to/file. Anda mungkin ingin membaca juga tentang parallelmenggunakan beberapa greppada potongan file itu.
Alex
Jika cutdapat digunakan, itu harus lebih cepat, karena jauh lebih sederhana, dan dengan demikian kurang mampu.
Michael Vehrs