Bagaimana cara mendapatkan beberapa baris dari file dengan regex?

Bagaimana cara mendapatkan beberapa baris dari file dengan regex?

Saya sering ingin mendapatkan beberapa baris / memodifikasi beberapa baris dengan regex. Contoh kasus:

Saya mencoba membaca bagian dari file XML / SGML (mereka belum tentu terbentuk dengan baik atau dalam sintaksis yang dapat diprediksi, sehingga regex akan lebih aman daripada parser yang tepat. Selain itu saya ingin dapat melakukan ini juga sedikit pun sepenuhnya file tidak terstruktur di mana hanya beberapa kata kunci yang dikenal.) dalam skrip shell (berjalan pada Solaris dan Linux).

XML Contoh:

<tag1>
 <tag2>bar</tag2>
</tag1>
<tag1>
 <tag2>foo</tag2>
</tag1>

Dari sini saya ingin membaca <tag1>jika berisi foosuatu tempat di dalamnya.

Regex seperti (<tag1>.*?foo.*?</tag1>)harus memberikan bagian yang tepat tetapi alat suka grepdan sedhanya bekerja untuk saya dengan garis tunggal. Bagaimana saya bisa dapatkan

<tag1>
 <tag2>foo</tag2>
</tag1>

dalam contoh ini?

Jika Anda telah menginstal GNU grep, Anda bisa melakukan pencarian multiline dengan mengirimkan -Pflag (perl-regex) dan mengaktifkannya PCRE_DOTALLdengan(?s)

grep -oP '(?s)<tag1>(?:(?!tag1).)*?foo(?:(?!tag1).)*?</tag1>' file.txt
<tag1>
<tag2>foo</tag2>
</tag1>

Jika hal di atas tidak berfungsi pada platform Anda, coba lewati -zbendera sebagai tambahan, ini memaksa grep untuk memperlakukan NUL sebagai pemisah baris, menyebabkan seluruh file terlihat seperti satu baris.

grep -ozP '(?s)<tag1>(?:(?!tag1).)*?foo(?:(?!tag1).)*?</tag1>' file.txt

#begin command block
#append all lines between two addresses to hold space 
    sed -n -f - <<\SCRIPT file.xml
        \|<tag1>|,\|</tag1>|{ H 
#at last line of search block exchange hold and pattern space 
            \|</tag1>|{ x
#if not conditional ;  clear buffer ; branch to script end
                \|<tag2>[^<]*foo[^\n]*</tag2>|!{s/.*//;h;b}
#do work ; print result; clear buffer ; close blocks
    s?*?*?;p;s/.*//;h;b}}
SCRIPT

Jika Anda melakukan hal di atas, mengingat data yang Anda perlihatkan, sebelum garis pembersihan terakhir di sana, Anda harus bekerja dengan sedruang pola yang terlihat seperti:

 ^\n<tag1>\n<tag2>foo</tag2>\n</tag1>$

Anda dapat mencetak ruang pola Anda kapan pun Anda suka dengan look. Anda kemudian dapat mengatasi \nkarakter.

sed l <file

Akan menunjukkan kepada Anda setiap baris sedmemprosesnya pada tahap yang ldisebut.

Jadi saya baru saja mengujinya dan perlu satu lagi \backslashsetelah ,commadi baris pertama, tetapi jika tidak berfungsi sebagaimana mestinya. Di sini saya memasukkannya ke dalam _sed_functionsehingga saya dapat dengan mudah menyebutnya untuk tujuan demonstrasi di seluruh jawaban ini: (berfungsi dengan komentar yang disertakan, tetapi di sini dihapus karena singkatnya)

_sed_function() { sed -n -f /dev/fd/3 
} 3<<\SCRIPT <<\FILE 
    \|<tag1>|,\|</tag1>|{ H
        \|</tag1>|{ x
            \|<tag2>[^<]*foo[^\n]*</tag2>|!{s/.*//;h;b}
    s?*?*?;p;s/.*//;h;b}}
#END
SCRIPT
<tag1>
 <tag2>bar</tag2>
</tag1>
<tag1>
 <tag2>foo</tag2>
</tag1>
FILE


_sed_function
#OUTPUT#
<tag1>
 <tag2>foo</tag2>
</tag1>

Sekarang kita akan mengganti pa lsehingga kita dapat melihat apa yang sedang kita kerjakan saat kita mengembangkan skrip kita dan menghapus demo non-op s?sehingga baris terakhir dari kita sed 3<<\SCRIPTterlihat seperti:

l;s/.*//;h;b}}

Maka saya akan menjalankannya lagi:

_sed_function
#OUTPUT#
\n<tag1>\n <tag2>foo</tag2>\n</tag1>$

Baik! Jadi saya benar - itu perasaan yang bagus. Sekarang, mari kita mengocok look kita untuk melihat garis yang menarik tetapi menghapus. Kami akan menghapus arus kami ldan menambahkannya !{block}sehingga terlihat seperti:

!{l;s/.*//;h;b}

_sed_function
#OUTPUT#
\n<tag1>\n <tag2>bar</tag2>\n</tag1>$

Seperti apa itu sebelum kita memusnahkannya.

Satu hal terakhir yang ingin saya tunjukkan kepada Anda adalah Hruang lama saat kami membangunnya. Ada beberapa konsep kunci yang saya harap bisa saya tunjukkan. Jadi saya menghapus look terakhir lagi dan mengubah baris pertama untuk menambahkan mengintip ke Hruang lama di akhir:

{ H ; x ; l ; x

_sed_function
#OUTPUT#
\n<tag1>$
\n<tag1>\n <tag2>bar</tag2>$
\n<tag1>\n <tag2>bar</tag2>\n</tag1>$
\n<tag1>$
\n<tag1>\n <tag2>foo</tag2>$
\n<tag1>\n <tag2>foo</tag2>\n</tag1>$

Hruang lama bertahan siklus garis - karenanya namanya. Jadi yang sering membuat orang tersandung - ok, yang sering membuat saya tersandung - adalah perlu dihapus setelah Anda menggunakannya. Dalam hal ini saya hanya xmengubah sekali, jadi ruang penahanan menjadi pola ruang dan sebaliknya dan perubahan ini juga bertahan siklus garis.

Efeknya adalah bahwa saya perlu menghapus ruang palka saya yang dulunya ruang pola saya. Saya melakukan ini dengan terlebih dahulu membersihkan ruang pola saat ini dengan:

s/.*//

Yang cukup memilih setiap karakter dan menghapusnya. Saya tidak dapat menggunakan dkarena ini akan mengakhiri siklus baris saya saat ini dan perintah berikutnya tidak akan selesai, yang akan cukup banyak membuang skrip saya.

h

Ini bekerja dengan cara yang mirip dengan Htetapi itu menimpa ruang penyimpanan, jadi saya baru saja menyalin ruang pola kosong saya di atas ruang penyimpanan saya, secara efektif menghapusnya. Sekarang saya bisa:

b

di luar.

Dan itulah cara saya menulis sedskrip.

Jawaban @ jamespfinn akan bekerja dengan baik jika file Anda sesederhana contoh Anda. Jika Anda memiliki situasi yang lebih kompleks di mana <tag1>dapat menjangkau lebih dari 2 baris, Anda akan memerlukan trik yang sedikit lebih rumit. Sebagai contoh:

$ cat foo.xml
<tag1>
 <tag2>bar</tag2>
 <tag3>baz</tag3>
</tag1>
<tag1>

 <tag2>foo</tag2>
</tag1>

<tag1>
 <tag2>bar</tag2>

 <tag2>foo</tag2>
 <tag3>baz</tag3>
</tag1>
$ perl -ne 'if(/<tag1>/){$a=1;} 
            if($a==1){push @l,$_}
            if(/<\/tag1>/){
              if(grep {/foo/} @l){print "@l";}
               $a=0; @l=()
            }' foo.xml
<tag1>

  <tag2>foo</tag2>
 </tag1>
<tag1>
  <tag2>bar</tag2>

  <tag2>foo</tag2>
  <tag3>baz</tag3>
 </tag1>

Script perl akan memproses setiap baris file input Anda dan

• if(/<tag1>/){$a=1;}: variabel $adiatur ke 1jika tag pembuka ( <tag1>) ditemukan.

• if($a==1){push @l,$_}: untuk setiap baris, jika $aada 1, tambahkan baris itu ke array @l.

• if(/<\/tag1>/) : jika baris saat ini cocok dengan tag penutup:

  • if(grep {/foo/} @l){print "@l"}: jika ada garis yang disimpan dalam array @l(ini adalah garis antara <tag1>dan </tag1>) cocok dengan string foo, cetak konten @l.
  • $a=0; @l=(): kosongkan daftar ( @l=()) dan atur $akembali ke 0.

Inilah sedalternatifnya:

sed -n '/<tag1/{:x N;/<\/tag1/!b x};/foo/p' your_file

Penjelasan

• -n berarti tidak mencetak garis kecuali diperintahkan.
• /<tag1/ pertama cocok dengan tag pembuka
• :x adalah label untuk mengaktifkan lompatan ke titik ini nanti
• N menambahkan baris berikutnya ke ruang pola (buffer aktif).
• /<\/tag1/!b xberarti jika ruang pola saat ini tidak berisi tag penutup, cabang ke xlabel yang dibuat sebelumnya. Dengan demikian, kami terus menambahkan garis ke ruang pola hingga kami menemukan tag penutup kami.
• /foo/pberarti jika ruang pola saat ini cocok foo, itu harus dicetak.

Anda bisa melakukannya dengan GNU awk saya pikir, dengan memperlakukan tag akhir sebagai pemisah rekaman misalnya untuk tag akhir yang dikenal </tag1>:

gawk -vRS="\n</tag1>\n" '/foo/ {printf "%s%s", $0, RT}'

atau lebih umum (dengan regex untuk tag akhir)

gawk -vRS="\n</[^>]*>\n" '/foo/ {printf "%s%s", $0, RT}'

Mengujinya di @ terdon foo.xml:

$ gawk -vRS="\n</[^>]*>\n" '/foo/ {printf "%s%s", $0, RT}' foo.xml
<tag1>

 <tag2>foo</tag2>
</tag1>

<tag1>
 <tag2>bar</tag2>

 <tag2>foo</tag2>
 <tag3>baz</tag3>
</tag1>

Jika file Anda terstruktur persis seperti yang Anda tunjukkan di atas, Anda dapat menggunakan flag -A (baris setelah) & -B (baris sebelumnya) untuk grep ... misalnya:

$ cat yourFile.txt 
<tag1>
 <tag2>bar</tag2>
</tag1>
<tag1>
 <tag2>foo</tag2>
</tag1>
$ grep -A1 -B1 bar yourFile.txt 
<tag1>
 <tag2>bar</tag2>
</tag1>
$ grep -A1 -B1 foo yourFile.txt 
<tag1>
 <tag2>foo</tag2>
</tag1>

Jika versi grepdukungan Anda, Anda juga bisa menggunakan opsi yang lebih sederhana -C(untuk konteks) yang mencetak garis N di sekitarnya:

$ grep -C 1 bar yourFile.txt 
<tag1>
 <tag2>bar</tag2>
</tag1>