Bagaimana cara menghapus dari file teks, semua baris yang berisi string tertentu?

Bagaimana saya menggunakan sed untuk menghapus semua baris dalam file teks yang berisi string tertentu?

Untuk menghapus garis dan mencetak output ke standar:

sed '/pattern to match/d' ./infile

Untuk secara langsung memodifikasi file - tidak berfungsi dengan BSD sed:

sed -i '/pattern to match/d' ./infile

Sama, tetapi untuk BSD sed (Mac OS X dan FreeBSD) - tidak bekerja dengan sed GNU:

sed -i '' '/pattern to match/d' ./infile

Untuk secara langsung memodifikasi file (dan membuat cadangan) - berfungsi dengan BSD dan GNU sed:

sed -i.bak '/pattern to match/d' ./infile

Ada banyak cara lain untuk menghapus baris dengan string spesifik selain sed:

AWK

awk '!/pattern/' file > temp && mv temp file

Ruby (1.9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell (kurang lebih 3,2 dan lebih baru)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

Dan tentu saja sed(mencetak kebalikannya lebih cepat daripada penghapusan sebenarnya):

sed -n '/pattern/!p' file

Anda dapat menggunakan sed untuk mengganti baris yang ada di file. Namun, tampaknya jauh lebih lambat daripada menggunakan grep untuk kebalikannya menjadi file kedua dan kemudian memindahkan file kedua di atas yang asli.

misalnya

sed -i '/pattern/d' filename      

atau

grep -v "pattern" filename > filename2; mv filename2 filename

Perintah pertama memakan waktu 3 kali lebih lama pada mesin saya.

Cara mudah untuk melakukannya, dengan GNU sed:

sed --in-place '/some string here/d' yourfile

Anda dapat mempertimbangkan untuk menggunakan ex(yang merupakan editor berbasis perintah Unix standar):

ex +g/match/d -cwq file

dimana:

• +mengeksekusi diberi perintah Ex ( man ex), sama seperti -cyang mengeksekusi wq(menulis dan berhenti)
• g/match/d- Perintah Ex untuk menghapus baris dengan yang diberikan match, lihat: Kekuatan g

Contoh di atas adalah metode yang sesuai dengan POSIX untuk mengedit file di tempat sesuai pos ini di Unix.SE dan spesifikasi POSIX untukex .

Perbedaannya sedadalah:

sedadalah S tream ED itor, bukan file editor. ^BashFAQ

Kecuali Anda menikmati kode yang tidak dapat ditonton, overhead I / O dan beberapa efek samping buruk lainnya. Jadi pada dasarnya beberapa parameter (seperti in-place / -i) adalah ekstensi FreeBSD non-standar dan mungkin tidak tersedia pada sistem operasi lain.

Saya berjuang dengan ini di Mac. Plus, saya harus melakukannya menggunakan penggantian variabel.

Jadi saya menggunakan:

sed -i '' "/$pattern/d" $file

dimana $filefile dimana penghapusan dibutuhkan dan$pattern merupakan pola yang cocok untuk dihapus.

Saya memilih ''dari komentar ini .

Hal yang perlu diperhatikan di sini adalah penggunaan tanda kutip ganda di "/$pattern/d". Variabel tidak akan berfungsi ketika kami menggunakan tanda kutip tunggal.

Saya telah membuat patokan kecil dengan file yang berisi sekitar 345.000 baris. Cara dengan greptampaknya sekitar 15 kali lebih cepat daripada sedmetode dalam kasus ini.

Saya telah mencoba keduanya dengan dan tanpa pengaturan LC_ALL = C, sepertinya tidak mengubah timing secara signifikan. String pencarian (CDGA_00004.pdbqt.gz.tar) ada di suatu tempat di tengah file.

Berikut adalah perintah dan timingnya:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Anda juga dapat menggunakan ini:

 grep -v 'pattern' filename

Di sini -vhanya akan mencetak selain pola Anda (itu berarti kecocokan terbalik).

Untuk mendapatkan inplace seperti hasil dengan grepAnda dapat melakukan ini:

echo "$(grep -v "pattern" filename)" >filename

SED:

• '/James\|John/d'
• -n '/James\|John/!p'

AWK:

• '!/James|John/'
• /James|John/ {next;} {print}

GREP:

• -v 'James\|John'

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

Perintah pertama mengedit file di tempat (-i).

Perintah kedua melakukan hal yang sama tetapi menyimpan salinan atau cadangan file asli dengan menambahkan .bk ke nama file (.bk dapat diubah menjadi apa saja).

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

Untuk berjaga - jaga seandainya seseorang ingin melakukannya untuk kecocokan string yang tepat, Anda dapat menggunakan -wflag dalam grep - w secara keseluruhan. Misalnya, jika Anda ingin menghapus garis yang memiliki angka 11, tetapi pertahankan garis dengan angka 111:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

Ini juga berfungsi dengan -fbendera jika Anda ingin mengecualikan beberapa pola yang tepat sekaligus. Jika "daftar hitam" adalah file dengan beberapa pola pada setiap baris yang ingin Anda hapus dari "file":

grep -w -v -f blacklist file

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

untuk menampilkan teks yang dirawat di konsol

cat filename | sed '/text to remove/d' 

untuk menyimpan teks yang dirawat ke dalam file

cat filename | sed '/text to remove/d' > newfile

untuk menambahkan info teks yang diperlakukan file yang ada

cat filename | sed '/text to remove/d' >> newfile

untuk memperlakukan teks yang sudah diperlakukan, dalam hal ini hapus lebih banyak baris dari apa yang telah dihapus

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

yang | moreakan menampilkan teks dalam potongan satu halaman pada satu waktu.

Anda bisa menggunakan yang lama eduntuk mengedit file dengan cara yang mirip dengan jawaban yang digunakan ex. Perbedaan besar dalam hal ini adalah bahwa edmengambil perintah melalui input standar, bukan sebagai argumen baris perintah seperti exbisa. Saat menggunakannya dalam skrip, cara biasa untuk mengakomodasi ini adalah dengan menggunakan printfperintah pipa ke sana:

printf "%s\n" "g/pattern/d" w | ed -s filename

atau dengan heredoc:

ed -s filename <<EOF
g/pattern/d
w
EOF