Pilih nilai unik atau berbeda dari daftar dalam skrip shell UNIX

Saya memiliki skrip ksh yang mengembalikan daftar nilai yang panjang, baris baru dipisahkan, dan saya hanya ingin melihat nilai unik / berbeda. Apakah mungkin melakukan ini?

Misalnya, keluaran saya adalah sufiks file dalam direktori:

tar
gz
java
gz
java
tar
class
class

Saya ingin melihat daftar seperti:

tar
gz
java
class

Anda mungkin ingin melihat uniqdan sortaplikasi.

./yourscript.ksh | sortir | uniq

(FYI, ya, semacam itu diperlukan di baris perintah ini, uniqhanya strip duplikat baris yang segera setelah satu sama lain)

EDIT:

Bertentangan dengan apa yang telah diposting oleh Aaron Digulla sehubungan dengan uniqopsi commandline:

Diberikan input berikut:

kelas
botol
botol
botol
tempat sampah
tempat sampah
Jawa

uniq akan menampilkan semua lini tepat sekali:

kelas
botol
tempat sampah
Jawa

uniq -d akan menampilkan semua baris yang muncul lebih dari sekali, dan itu akan mencetaknya sekali:

botol
tempat sampah

uniq -u akan menampilkan semua baris yang muncul tepat sekali, dan itu akan mencetaknya sekali:

kelas
Jawa

./script.sh | sort -u

Ini sama dengan jawaban monoksida , tetapi sedikit lebih ringkas.

Untuk kumpulan data yang lebih besar di mana penyortiran mungkin tidak diinginkan, Anda juga dapat menggunakan skrip perl berikut:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Ini pada dasarnya hanya mengingat setiap output baris sehingga tidak menampilkannya lagi.

Ini memiliki keunggulan dibandingkan sort | uniqsolusi " " karena tidak diperlukan penyortiran di muka.

Dengan zsh Anda dapat melakukan ini:

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

Atau Anda dapat menggunakan AWK:

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Pipa mereka melalui sortdan uniq. Ini menghapus semua duplikat.

uniq -dhanya memberikan duplikat, uniq -uhanya memberikan yang unik (duplikat strip).

Dengan AWK yang dapat Anda lakukan, saya merasa lebih cepat daripada menyortir

 ./yourscript.ksh | awk '!a[$0]++'

Unik, seperti yang diminta, (tetapi tidak diurutkan);
menggunakan lebih sedikit sumber daya sistem untuk kurang dari ~ 70 elemen (sebagaimana diuji dengan waktu);
ditulis untuk mengambil input dari stdin,
(atau memodifikasi dan memasukkan skrip lain):
(Bash)

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Saya mendapatkan kiat yang lebih baik untuk mendapatkan entri non-duplikat dalam file

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u