Bagaimana cara menghapus garis duplikat di dalam file teks?

File teks saya yang besar (hingga 2 GiB) berisi sekitar 100 duplikat tepat dari setiap baris di dalamnya (tidak berguna dalam kasus saya, karena file tersebut adalah tabel data seperti CSV).

Yang saya butuhkan adalah menghapus semua pengulangan sementara (lebih disukai, tetapi ini dapat dikorbankan untuk meningkatkan kinerja yang signifikan) mempertahankan urutan urutan asli. Hasilnya, setiap baris harus unik. Jika ada 100 baris yang sama (biasanya duplikat tersebar di seluruh file dan tidak akan menjadi tetangga) hanya akan ada satu dari jenis yang tersisa.

Saya telah menulis sebuah program di Scala (anggap saja Java jika Anda tidak tahu tentang Scala) untuk mengimplementasikannya. Tapi mungkin ada alat-alat asli C-ditulis lebih cepat dapat melakukan ini lebih cepat?

UPDATE: awk '!seen[$0]++' filenamesolusinya tampaknya bekerja dengan baik bagi saya selama file-file itu dekat 2 GiB atau lebih kecil tapi sekarang karena saya harus membersihkan file 8 GiB itu tidak berfungsi lagi. Tampaknya mengambil infinity pada Mac dengan 4 GiB RAM dan 64-bit Windows 7 PC dengan 4 GiB RAM dan 6 GiB swap hanya kehabisan memori. Dan saya tidak merasa antusias untuk mencobanya di Linux dengan RAM 4 GiB mengingat pengalaman ini.

Sebuah awksolusi yang terlihat pada #bash (Freenode):

awk '!seen[$0]++' filename

Ada metode sederhana (yang tidak bisa dikatakan jelas) menggunakan utilitas standar yang tidak memerlukan memori besar kecuali untuk menjalankan sort, yang dalam kebanyakan implementasi memiliki optimasi khusus untuk file besar (algoritma pengurutan eksternal yang baik). Keuntungan dari metode ini adalah bahwa ia hanya melewati semua baris di dalam utilitas tujuan khusus, tidak pernah di dalam bahasa yang ditafsirkan.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Jika semua baris dimulai dengan karakter non-spasi, Anda dapat membuang beberapa opsi:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Untuk duplikasi dalam jumlah besar, metode yang hanya membutuhkan penyimpanan satu salinan dari setiap baris dalam memori akan berkinerja lebih baik. Dengan beberapa overhead interpretasi, ada naskah awk yang sangat ringkas untuk itu (sudah diposting oleh enzotib ):

<input awk '!seen[$0]++'

Kurang ringkas:, !seen[$0] {print} {seen[$0] += 1}yaitu mencetak baris saat ini jika belum terlihat, kemudian menambah seenpenghitung untuk baris ini (variabel yang tidak diinisialisasi atau elemen array memiliki nilai numerik 0).

Untuk antrean panjang, Anda dapat menghemat memori dengan hanya menyimpan checksum yang tidak spoofable (misalnya intisari kriptografi) dari masing-masing baris. Misalnya, menggunakan SHA-1, Anda hanya perlu 20 byte plus overhead konstan per baris. Tetapi menghitung cerna agak lambat; metode ini hanya akan menang jika Anda memiliki CPU yang cepat (terutama yang memiliki akselerator perangkat keras untuk menghitung pencernaan) dan tidak banyak memori relatif terhadap ukuran file dan garis yang cukup panjang. Tidak ada utilitas dasar yang memungkinkan Anda menghitung checksum untuk setiap baris; Anda harus menanggung overhead interpretasi Perl / Python / Ruby / ... atau menulis program yang dikompilasi khusus.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Perhatikan bahwa file output akan diurutkan.

Dengan asumsi Anda mampu menyimpan sebanyak file de-duplikat dalam memori (jika data Anda memang digandakan oleh faktor 100, yang seharusnya sekitar 20MiB + overhead), Anda dapat melakukan ini dengan sangat mudah dengan Perl.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Ini menjaga pesanan juga.

Anda dapat mengekstraksi jumlah kemunculan setiap baris dari %duphash jika diinginkan, sebagai bonus gratis tambahan.

Jika Anda mau awk, ini juga harus dilakukan (logika yang sama dengan versi perl, urutan yang sama, data yang sama yang dikumpulkan dalam dupvariabel):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Karena tidak ada jawaban lain yang disediakan dukungan inplace, berikut adalah salah satu:

gawk -i inplace '!a[$0]++' file

Anda dapat menggunakan uniq http://www.computerhope.com/unix/uuniq.htm

uniq melaporkan atau memfilter baris berulang dalam file.

Python One liners:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Tidak ada jawaban di sini yang berfungsi untuk saya di Mac, jadi saya menulis skrip python sederhana yang berfungsi untuk saya. Saya mengabaikan spasi putih terkemuka / tertinggal dan juga tidak peduli tentang konsumsi memori.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Simpan di atas ke unique.py dan jalankan seperti ini:

python unique.py inputfile.txt outputfile.txt

Dengan bash 4, solusi pure-bash yang memanfaatkan array asosiatif dapat digunakan. Berikut ini sebuah contoh

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt