Tambahkan baris ke awal dan akhir file besar

Saya punya skenario di mana baris ditambahkan pada awal dan akhir file besar.

Saya sudah mencoba seperti yang ditunjukkan di bawah ini.

• untuk baris pertama:

  sed -i '1i\'"$FirstLine" $Filename

• untuk baris terakhir:

  sed -i '$ a\'"$Lastline" $Filename  

Tetapi masalah dengan perintah ini adalah bahwa ia menambahkan baris pertama file dan melintasi seluruh file. Untuk baris terakhir itu lagi melintasi seluruh file dan menambahkan baris terakhir. Karena file yang sangat besar (14GB) ini membutuhkan waktu yang sangat lama.

Bagaimana saya bisa menambahkan baris ke awal dan yang lain ke akhir file sambil hanya membaca file sekali?

sed -imenggunakan tempfile sebagai detail implementasi, yang Anda alami; Namun, menambahkan data ke awal aliran data tanpa menimpa konten yang ada membutuhkan penulisan ulang file, tidak ada cara untuk menyiasatinya, bahkan ketika menghindarinya sed -i.

Jika menulis ulang file bukan opsi, Anda dapat mempertimbangkan untuk memanipulasinya ketika dibaca, misalnya:

{ echo some prepended text ; cat file ; } | command

Juga, sed adalah untuk mengedit aliran - file bukan aliran. Gunakan program yang dimaksudkan untuk tujuan ini, seperti ed atau ex. The -ipilihan untuk sed tidak hanya tidak portabel, itu juga akan merusak symlink ke file Anda, karena pada dasarnya menghapus dan recreates itu, yang sia-sia.

Anda dapat melakukan ini dalam satu perintah dengan edseperti:

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

Perhatikan bahwa tergantung pada implementasi ed Anda, itu mungkin menggunakan file paging, mengharuskan Anda untuk memiliki setidaknya banyak ruang yang tersedia.

Perhatikan bahwa jika Anda ingin menghindari mengalokasikan seluruh salinan file pada disk, Anda dapat melakukan:

sed '
1i\
begin
$a\
end' < file 1<> file

Itu menggunakan fakta bahwa ketika stdin / stdout adalah file, sed membaca dan menulis dengan blok. Jadi di sini, sedboleh saja untuk mengganti file yang dibacanya selama baris pertama yang Anda tambahkan lebih kecil dari ukuran blok (harus sekitar 4k atau 8k).

Perhatikan bahwa jika karena alasan tertentu sedgagal (terbunuh, kerusakan mesin ...), Anda akan berakhir dengan file setengah diproses yang berarti sejumlah data ukuran baris pertama hilang di suatu tempat di tengah.

Perhatikan juga bahwa kecuali Anda sedadalah GNU sed, itu tidak akan berfungsi untuk data biner (tetapi karena Anda menggunakan -i, Anda menggunakan sed GNU).

Berikut adalah beberapa pilihan (semuanya akan membuat salinan file baru jadi pastikan Anda memiliki cukup ruang untuk itu):

• gema / kucing sederhana

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk dll

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awkdan sejenisnya membaca file baris demi baris. The BEGIN{}blok dijalankan sebelum baris pertama dan END{}blok setelah baris terakhir. Jadi, perintah di atas berarti print "first" at the beginning, then print every line in the file and print "last" at the end.

• Perl

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  Ini pada dasarnya hal yang sama dengan gawk di atas yang baru saja ditulis dalam Perl.

Saya lebih suka yang lebih sederhana:

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

Ini mengubah file:

asdf
qwer

ke file:

foo
asdf
qwer
bar

Anda dapat menggunakan Vim dalam mode Ex:

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 pilih baris pertama

2. i masukkan teks dan baris baru

3. $ pilih baris terakhir

4. a tambahkan teks dan baris baru

5. x Simpan dan tutup

Tidak ada cara untuk memasukkan data di awal file¹, yang dapat Anda lakukan adalah membuat file baru, menulis data tambahan, dan menambahkan data lama. Jadi, Anda harus menulis ulang seluruh file setidaknya satu kali untuk memasukkan baris pertama. Anda dapat menambahkan baris terakhir tanpa menulis ulang file.

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

Atau, Anda dapat menggabungkan dua perintah dalam satu kali sed.

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -imembuat file output baru dan kemudian memindahkannya ke file lama. Ini berarti bahwa ketika sed sedang bekerja, ada salinan kedua file menggunakan ruang kosong. Anda dapat menghindari ini dengan menimpa file di tempat , tetapi dengan batasan besar: baris yang Anda tambahkan harus lebih kecil dari buffer sed, dan jika sistem Anda macet Anda akan berakhir dengan file yang rusak dan beberapa konten hilang di tengah, jadi saya sangat merekomendasikan untuk tidak melakukannya.

¹ _{Linux memang memiliki cara untuk memasukkan data ke dalam file, tetapi ia hanya dapat menyisipkan sejumlah besar blok sistem file, ia tidak dapat memasukkan string dengan panjang sewenang-wenang. Ini berguna untuk beberapa aplikasi, seperti database dan mesin virtual, tetapi tidak berguna untuk file teks.}

$ (echo "Some Text" ; cat file1) > file2

Kernel Linux modern (lebih tinggi dari 4,1 atau 4,2) mendukung memasukkan data pada awal file melalui fallocate()system call dengan FALLOC_FL_INSERT_RANGEpada sistem file ext4 dan xfs. Pada dasarnya ini adalah operasi pemindahan logis: data secara logis dipindahkan pada offset yang lebih tinggi.

Ada kendala terkait granularity dari rentang yang ingin Anda masukkan di awal file. Tetapi untuk file teks Anda mungkin dapat mengalokasikan sedikit lebih dari yang dibutuhkan (hingga batas granularity) dan mengisi dengan spasi atau carriage return, tetapi itu tergantung pada aplikasi Anda

Saya tidak tahu ada utilitas linux yang tersedia yang memanipulasi luasan file tetapi tidak sulit untuk menulis: dapatkan deskriptor file dan panggil fallocate()dengan argumen yang sesuai. Untuk perincian lebih lanjut, lihat halaman manual dari fallocatepanggilan sistem: http://man7.org/linux/man-pages/man2/fallocate.2.html