Grep Match dan ekstrak

Saya memiliki file yang berisi baris sebagai

proto=tcp/http  sent=144        rcvd=52 spkt=3 
proto=tcp/https  sent=145        rcvd=52 spkt=3
proto=udp/dns  sent=144        rcvd=52 spkt=3

Saya perlu untuk mengambil nilai proto yang tcp/http, tcp/https, udp/dns.

Sejauh ini saya sudah mencoba ini grep -o 'proto=[^/]*/'tetapi hanya mampu mengekstraksi nilai sebagai proto=tcp/.

Dengan asumsi ini terkait dengan pertanyaan Anda sebelumnya , Anda salah jalan. Daripada mencoba untuk mengumpulkan potongan-potongan skrip yang agak / akan melakukan apa yang paling Anda inginkan sepanjang waktu dan perlu untuk mendapatkan skrip yang sama sekali berbeda setiap kali Anda perlu melakukan apa pun yang sedikit berbeda, buat saja 1 skrip yang dapat menguraikan Anda masukan file ke dalam array (di f[]bawah) yang memetakan nama bidang Anda (tag) ke nilai-nilai mereka dan kemudian Anda bisa melakukan apa pun yang Anda inginkan dengan hasilnya, misalnya memberikan file input ini dari pertanyaan Anda sebelumnya:

$ cat file
Feb             3       0:18:51 17.1.1.1                      id=firewall     sn=qasasdasd "time=""2018-02-03"     22:47:55        "UTC""" fw=111.111.111.111       pri=6    c=2644        m=88    "msg=""Connection"      "Opened"""      app=2   n=2437       src=12.1.1.11:49894:X0       dst=4.2.2.2:53:X1       dstMac=42:16:1b:af:8e:e1        proto=udp/dns   sent=83 "rule=""5"      "(LAN->WAN)"""

kita bisa menulis skrip awk yang membuat array nilai yang diindeks dengan nama / tag mereka:

$ cat tst.awk
{
    f["hdDate"] = $1 " " $2
    f["hdTime"] = $3
    f["hdIp"]   = $4
    sub(/^([^[:space:]]+[[:space:]]+){4}/,"")

    while ( match($0,/[^[:space:]]+="?/) ) {
        if ( tag != "" ) {
            val = substr($0,1,RSTART-1)
            gsub(/^[[:space:]]+|("")?[[:space:]]*$/,"",val)
            f[tag] = val
        }

        tag = substr($0,RSTART,RLENGTH-1)
        gsub(/^"|="?$/,"",tag)

        $0 = substr($0,RSTART+RLENGTH)
    }

    val = $0
    gsub(/^[[:space:]]+|("")?[[:space:]]*$/,"",val)
    f[tag] = val
}

dan mengingat bahwa Anda dapat melakukan apa pun yang Anda suka dengan data Anda, rujuk saja dengan nama bidang, mis. menggunakan GNU awk -euntuk memudahkan pencampuran skrip dalam file dengan skrip baris perintah:

$ awk -f tst.awk -e '{for (tag in f) printf "f[%s]=%s\n", tag, f[tag]}' file
f[fw]=111.111.111.111
f[dst]=4.2.2.2:53:X1
f[sn]=qasasdasd
f[hdTime]=0:18:51
f[sent]=83
f[m]=88
f[hdDate]=Feb 3
f[n]=2437
f[app]=2
f[hdIp]=17.1.1.1
f[src]=12.1.1.11:49894:X0
f[c]=2644
f[dstMac]=42:16:1b:af:8e:e1
f[msg]="Connection"      "Opened"
f[rule]="5"      "(LAN->WAN)"
f[proto]=udp/dns
f[id]=firewall
f[time]="2018-02-03"     22:47:55        "UTC"
f[pri]=6

$ awk -f tst.awk -e '{print f["proto"]}' file
udp/dns

$ awk -f tst.awk -e 'f["proto"] ~ /udp/ {print f["sent"], f["src"]}' file
83 12.1.1.11:49894:X0

Dengan grep -o, Anda harus mencocokkan apa yang ingin Anda ekstrak. Karena Anda tidak ingin mengekstraksi proto=string, Anda tidak harus mencocokkannya.

Ekspresi reguler yang diperluas yang akan cocok dengan tcpatau udpdiikuti oleh garis miring dan beberapa string alfanumerik yang tidak kosong adalah

(tcp|udp)/[[:alnum:]]+

Menerapkan ini pada data Anda:

$ grep -E -o '(tcp|udp)/[[:alnum:]]+' file
tcp/http
tcp/https
udp/dns

Untuk memastikan bahwa kami hanya melakukan ini pada baris yang dimulai dengan string proto=:

grep '^proto=' file | grep -E -o '(tcp|udp)/[[:alnum:]]+'

Dengan sed, menghapus semuanya sebelum karakter pertama =dan sesudah karakter kosong pertama:

$ sed 's/^[^=]*=//; s/[[:blank:]].*//' file
tcp/http
tcp/https
udp/dns

Untuk memastikan bahwa kami hanya melakukan ini pada baris yang dimulai dengan string proto=, Anda bisa memasukkan langkah pra-pemrosesan yang sama dengan grepseperti di atas, atau Anda bisa menggunakan

sed -n '/^proto=/{ s/^[^=]*=//; s/[[:blank:]].*//; p; }' file

Di sini, kami menekan output default dengan -nopsi, dan kemudian kami memicu penggantian dan cetak eksplisit baris hanya jika baris cocok ^proto=.

Dengan awk, menggunakan pemisah bidang default, dan kemudian membelah bidang pertama =dan mencetak bit kedua:

$ awk '{ split($1, a, "="); print a[2] }' file
tcp/http
tcp/https
udp/dns

Untuk memastikan bahwa kami hanya melakukan ini pada baris yang dimulai dengan string proto=, Anda bisa memasukkan langkah pra-pemrosesan yang sama dengan grepseperti di atas, atau Anda bisa menggunakan

awk '/^proto=/ { split($1, a, "="); print a[2] }' file

Jika Anda menggunakan GNU grep (untuk -Popsi), Anda dapat menggunakan:

$ grep -oP 'proto=\K[^ ]*' file
tcp/http
tcp/https
udp/dns

Di sini kita mencocokkan proto=string, untuk memastikan bahwa kita mengekstrak kolom yang benar, tetapi kemudian kita membuangnya dari output dengan \Kbendera.

Di atas mengasumsikan bahwa kolom dipisahkan oleh ruang. Jika tab juga merupakan pemisah yang valid, Anda akan menggunakan \Suntuk mencocokkan karakter non-spasi, jadi perintahnya adalah:

grep -oP 'proto=\K\S*' file

Jika Anda juga ingin melindungi terhadap bidang yang cocok proto=dengan substring, seperti a thisisnotaproto=tcp/https, Anda dapat menambahkan batas kata dengan \bseperti:

grep -oP '\bproto=\K\S*' file

Menggunakan awk:

awk '$1 ~ "proto" { sub(/proto=/, ""); print $1 }' input

$1 ~ "proto"akan memastikan kami hanya mengambil tindakan sesuai dengan yang ada protodi kolom pertama

sub(/proto=/, "")akan menghapus proto=dari input

print $1 mencetak kolom yang tersisa

$ awk '$1 ~ "proto" { sub(/proto=/, ""); print $1 }' input
tcp/http
tcp/https
udp/dns

Kode golf pada grepsolusinya

grep -Po "..p/[^ ]+" file

atau bahkan

grep -Po "..p/\S+" file

Menggunakan cutperintah:

cut -b 7-15 foo.txt

Hanya grepsolusi lain :

grep -o '[^=/]\+/[^ ]\+' file

Dan yang serupa dengan sedmencetak hanya grup yang ditangkap yang cocok:

sed -n 's/.*=\([^/]\+\/[^ ]\+\).*/\1/p' file

awkPendekatan lain :

$ awk -F'[= ]' '/=(tc|ud)p/{print $2}' file
tcp/http
tcp/https
udp/dns

Itu akan mengatur pemisah bidang awk ke salah satu =atau spasi. Kemudian, jika garis cocok dengan a =, maka salah satu udatau tcdiikuti oleh p, cetak bidang ke-2.

sedPendekatan lain (tidak portabel untuk semua versi sed, tetapi bekerja dengan GNU sed):

$ sed -En 's/^proto=(\S+).*/\1/p' file 
tcp/http
tcp/https
udp/dns

The -nberarti "tidak mencetak" dan -Ememungkinkan diperpanjang ekspresi reguler yang memberi kita \Suntuk "non-spasi", +untuk "satu atau lebih" dan tanda kurung untuk menangkap. Akhirnya, /ppada akhirnya akan membuat sed garis cetak hanya jika operasi berhasil jadi jika ada kecocokan untuk operator substitusi.

Dan, satu perl:

$ perl -nle '/^proto=(\S+)/ && print $1' file 
tcp/http
tcp/https
udp/dns

The -nberarti "membaca file baris demi baris masukan dan menerapkan script yang diberikan oleh -emasing-masing baris". The -lmenambahkan baris baru untuk setiap printpanggilan (dan menghapus keluar baris dari input). Script itu sendiri akan mencetak bentangan karakter non-spasi terpanjang yang ditemukan setelah a proto=.

Berikut ini solusi lain yang cukup mudah:

grep -o "[tc,ud]*p\\/.*  "   INPUTFile.txt  |   awk '{print $1}'

awk '{print $1}' filename|awk -F "=" '{print $NF}'

cat file| cut -f1 -d' '| cut -f2 -d'='
tcp/http
tcp/https
udp/dns

opsi memotong:

• -f - bidang
• -d - delimeter