Hitung jumlah kemunculan pola dalam file (bahkan pada baris yang sama)

Saat mencari jumlah kemunculan string dalam sebuah file, saya biasanya menggunakan:

grep pattern file | wc -l

Namun, ini hanya menemukan satu kemunculan per baris, karena cara kerja grep. Bagaimana saya bisa mencari berapa kali string muncul dalam sebuah file, terlepas dari apakah mereka berada pada baris yang sama atau berbeda?

Juga, bagaimana jika saya mencari pola regex, bukan string sederhana? Bagaimana cara menghitungnya, atau, bahkan lebih baik, mencetak setiap kecocokan pada baris baru?

Untuk menghitung semua kejadian, gunakan -o. Coba ini:

echo afoobarfoobar | grep -o foo | wc -l

Dan man greptentu saja (:

Memperbarui

Beberapa menyarankan untuk menggunakan saja grep -co foodaripada grep -o foo | wc -l.

Jangan.

Pintasan ini tidak akan berfungsi di semua kasus. Halaman manual mengatakan:

-c print a count of matching lines

Perbedaan dalam pendekatan ini diilustrasikan di bawah ini:

1.

$ echo afoobarfoobar | grep -oc foo
1

Segera setelah kecocokan ditemukan di baris ( a{foo}barfoobar) pencarian berhenti. Hanya satu baris yang diperiksa dan cocok, jadi hasilnya adalah 1. Sebenarnya -odiabaikan di sini dan Anda bisa menggunakan grep -csaja.

2.

$ echo afoobarfoobar | grep -o foo
foo
foo

$ echo afoobarfoobar | grep -o foo | wc -l
2

Dua kecocokan ditemukan di baris ( a{foo}bar{foo}bar) karena kita secara eksplisit diminta untuk menemukan setiap kemunculan ( -o). Setiap kemunculan dicetak pada baris terpisah, dan wc -lhanya menghitung jumlah baris dalam output.

Coba ini:

grep "string to search for" FileNameToSearch | cut -d ":" -f 4 | sort -n | uniq -c

Sampel:

grep "SMTP connect from unknown" maillog | cut -d ":" -f 4 | sort -n | uniq -c
  6  SMTP connect from unknown [188.190.118.90]
 54  SMTP connect from unknown [62.193.131.114]
  3  SMTP connect from unknown [91.222.51.253]

Posting terlambat:
Gunakan pola regex pencarian sebagai Record Separator (RS) di awk
Ini memungkinkan ekspresi reguler Anda menjangkau \nbaris-baris yang dibatasi (jika Anda membutuhkannya).

printf 'X \n moo X\n XX\n' | 
   awk -vRS='X[^X]*X' 'END{print (NR<2?0:NR-1)}'

Ripgrep , yang merupakan alternatif cepat untuk grep, baru saja memperkenalkan --count-matchesbendera yang memungkinkan penghitungan setiap pertandingan di versi 0.9 (Saya menggunakan contoh di atas untuk tetap konsisten):

> echo afoobarfoobar | rg --count foo
1
> echo afoobarfoobar | rg --count-matches foo
2

Seperti yang diminta oleh OP, ripgrep memungkinkan pola regex juga ( --regexp <PATTERN>). Juga dapat mencetak setiap (baris) kecocokan pada baris terpisah:

> echo -e "line1foo\nline2afoobarfoobar" | rg foo
line1foo
line2afoobarfoobar

Retas fungsi warna grep, dan hitung berapa banyak tag warna yang dicetaknya:

echo -e "a\nb  b b\nc\ndef\nb e brb\nr" \
| GREP_COLOR="033" grep --color=always  b \
| perl -e 'undef $/; $_=<>; s/\n//g; s/\x1b\x5b\x30\x33\x33/\n/g; print $_' \
| wc -l