Ubah daftar menjadi satu baris dengan pembatas

Saya harus mengambil daftar (banyak) alamat IP dalam format ini:

 134.27.128.0
 111.245.48.0
 109.21.244.0

dan mengubahnya menjadi format ini dengan pipa di antara (IP dibuat)

134.27.128.0 | 111.245.48.0 | 109.21.244.0 | 103.22.200.0/22

Saya pikir itu adalah menemukan dan mengganti perintah seperti sedtetapi saya tidak bisa membuatnya bekerja.

Menggunakan sed, berdasarkan Terkenal Sed Satu-Liners Dijelaskan, Bagian I: : 39. Append garis ke yang berikutnya jika berakhir dengan backslash "\" (kecuali di sini kita mengabaikan bagian tentang garis miring terbalik, dan mengganti \nbaris dengan diperlukan |pemisah):

sed -e :a -e '$!N; s/\n/ | /; ta' mydoc > mydoc2

harus menghasilkan mydoc2

134.27.128.0 |  111.245.48.0 |  109.21.244.0

Saya ingin tahu bagaimana beberapa dari ini (+ beberapa alternatif) bekerja cepat dengan file yang agak besar ( 163MiB, satu IPper baris, ~ 13 juta baris):

wc -l < iplist
13144256

Hasil (dengan sync; echo 3 > /proc/sys/vm/drop_cachessetelah setiap perintah; Saya mengulangi tes - dalam urutan terbalik - setelah beberapa jam tetapi perbedaannya dapat diabaikan; juga perhatikan bahwa saya menggunakan gnu sed):

steeldriver :
Sangat lambat. Dibatalkan setelah dua menit menunggu ... jadi tidak ada hasil untuk yang satu ini.

cuonglm :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' iplist

real    0m3.672s

perl -pe 's/\n/ | / unless eof' iplist

real    0m12.444s

mikeserv :

paste -d\  /dev/null iplist /dev/null | paste -sd\| - 

real    0m0.983s

jthill :

sed 'H;1h;$!d;x;s/\n/ | /g' iplist

real    0m4.903s

Avinash Raj :

time python2.7 -c'
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' iplist

real    0m3.434s

dan

val0x00ff :

while read -r ip; do printf '%s | ' "$ip"; done < iplist

real    3m4.321s

yang artinya 184.321s. Tidak mengherankan, ini 200 kali lebih lambat dari solusi mikeserv .

Berikut ini beberapa cara lain dengan
awk:

awk '$1=$1' RS= OFS=' | ' iplist

real    0m4.543s

awk '{printf "%s%s",sep,$0,sep=" | "} END {print ""}' iplist

real    0m5.511s

perl:

perl -ple '$\=eof()?"\n":" | "' iplist

real    0m9.646s

xargs:

xargs <iplist printf ' | %s' | cut -c4-

real    0m6.326s

kombinasi head + paste + tr + cat:

{ head -n -1 | paste -d' |' - /dev/null /dev/null | tr \\n \ ; cat ; } <iplist

real    0m0.991s

Jika Anda memiliki GNU coreutilsdan jika daftar IP Anda tidak terlalu besar (katakanlah hingga 50000 IP), Anda juga dapat melakukan ini dengan pr:

pr -$(wc -l infile) -tJS' | ' -W1000000 infile >outfile

dimana

-$(wc -l infile)         # no. of columns (= with no. of lines in your file)
-t                       # omit page headers and trailers
-J                       # merge lines
-S' | '                  # separate columns by STRING
-W1000000                # set page width

misalnya untuk file 6-baris:

134.28.128.0
111.245.28.0
109.245.24.0
128.27.88.0
122.245.48.0
103.44.204.0

perintah:

pr -$(wc -l <infile) -tJS' | ' -W1000 infile

output:

134.28.128.0 | 111.245.28.0 | 109.245.24.0 | 128.27.88.0 | 122.245.48.0 | 103.44.204.0

Anda dapat menggunakan awk :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' file > new_file

ORS=' | 'atur pemisah catatan keluaran menjadi ' | 'bukan baris baru.

atau edit di tempat dengan perl:

perl -pe 's/\n/ | / unless eof' file

Jadi saya salah semuanya - dan pertanyaan ini telah mengajari saya banyak hal paste. Sebagai cuonglm dengan benar mencatat, kecuali jika Anda berada pastedi file dalam -serial, Anda akan selalu berakhir dengan garis terakhir \ndari daftar infile Anda ditambahkan ke output seperti yang tertulis. Saya keliru dalam kepercayaan bahwa paste -sperilaku adalah mode default - dan ini adalah kesalahpahaman yang, tampaknya busybox pastesenang untuk diperkuat. Perintah berikut ini berfungsi seperti yang diiklankan dengan busybox:

paste -d'|  ' - - infile </dev/null >outfile

Namun, itu tidak bekerja sesuai dengan spesifikasi. Sebuah implementasi yang benar pastemasih akan menambahkan garis \nakhir untuk setiap urutan yang ditulis. Namun, itu bukan masalah besar:

paste -d\  - infile - </dev/null | paste -sd\| - >outfile

satu-liner dengan tr dan sed:

cat file | tr '\n' '|' | sed 's/||$/\n/'
134.27.128.0|111.245.48.0|109.21.244.0

Gunakan vim:

vim -n -u NONE -c '1,$-1s/\n/ | /g|wq!' data

Penjelasan:

-n nonaktifkan file swap

-u NONE digunakan untuk melewati semua inisialisasi.

-c {command} jalankan perintah setelah file dibaca.

1,$-1s/\n/ | /gadalah s/\n/ | /g(ganti baris baru dengan spasi pipa ruang) untuk rentang 1,$-1s(baris 1 ke baris terakhir - 1)

wq! paksa menulis dan berhenti

catatan:

Bergantung pada seberapa besar file Anda sebenarnya, ini mungkin ide yang buruk.

Melalui python.

$ python -c '
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' file

ruang sebelumnya printsangat penting.

Ini satu lagi menggunakan xxd

xxd -c1 -ps data | sed '$!s/0a/207c20/' | xxd -r -ps

Demi kelengkapan, berikut ini adalah awksolusi berbasis- lain , yang ini tidak menggunakan ORSsama sekali:

awk 'BEGIN { ORS="" } { print p$0; p=" | " } END { print "\n" }' file > new_file

Untuk penjelasan, lihat posting saya di /unix//a/338121/117599 .