Tambahkan file besar satu sama lain tanpa menyalinnya

Ada 5 file besar (file1, file2, .. file5) masing-masing sekitar 10G dan ruang kosong yang sangat rendah tersisa di disk dan saya harus menggabungkan semua file ini menjadi satu. Tidak perlu menyimpan file asli, hanya yang terakhir.

Rangkaian biasa berjalan dengan catberurutan untuk file file2.. file5:

cat file2 >> file1 ; rm file2

Sayangnya cara ini membutuhkan setidaknya 10G ruang kosong yang tidak saya miliki. Apakah ada cara untuk menggabungkan file tanpa menyalinnya tetapi memberitahu filesystem entah bagaimana file1 itu tidak berakhir pada akhir file1 asli dan berlanjut pada mulai file2?

ps. filesystem ext4 jika itu penting.

AFAIK (sayangnya) tidak mungkin untuk memotong file dari awal (ini mungkin benar untuk alat standar tetapi untuk tingkat syscall lihat di sini ). Tetapi dengan menambahkan beberapa kerumitan Anda dapat menggunakan pemotongan normal (bersama dengan file jarang): Anda dapat menulis ke akhir file target tanpa harus menulis semua data di antaranya.

Mari kita asumsikan pertama kedua file tersebut tepat 5GiB (5120 MiB) dan Anda ingin memindahkan 100 MiB pada suatu waktu. Anda menjalankan loop yang terdiri dari

1. menyalin satu blok dari ujung file sumber ke akhir file target (meningkatkan ruang disk yang dikonsumsi)

2. memotong file sumber dengan satu blok (membebaskan ruang disk)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Tapi cobalah dengan file tes yang lebih kecil dulu, tolong ...

Mungkin file-file tersebut tidak memiliki ukuran yang sama atau kelipatan dari ukuran blok. Dalam hal ini perhitungan offset menjadi lebih rumit. seek_bytesdan skip_bytesharus digunakan kemudian.

Jika ini cara yang ingin Anda tuju tetapi butuh bantuan untuk perinciannya maka tanyakan lagi.

Peringatan

Tergantung pada ddukuran blok file yang dihasilkan akan menjadi mimpi buruk fragmentasi.

Alih-alih memecah file bersama menjadi satu file, mungkin mensimulasikan file tunggal dengan pipa bernama, jika program Anda tidak dapat menangani banyak file.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Seperti yang Hauke ​​sarankan, losetup / dmsetup juga bisa berfungsi. Eksperimen cepat; Saya membuat 'file1..file4' dan dengan sedikit usaha, apakah:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Kemudian, / dev / dm-0 berisi perangkat blok virtual dengan file Anda sebagai konten.

Saya belum menguji ini dengan baik.

Suntingan lain: Ukuran file harus dapat dibagi rata oleh 512 atau Anda akan kehilangan beberapa data. Jika ya, berarti Anda baik-baik saja. Saya melihat dia juga mencatat bahwa di bawah ini.

Anda harus menulis sesuatu yang menyalin data dalam tandan yang paling besar sebesar jumlah ruang kosong yang Anda miliki. Seharusnya berfungsi seperti ini:

• Baca blok data dari file2(menggunakan pread()dengan mencari sebelum membaca ke lokasi yang benar).
• Tambahkan blok ke file1.
• Gunakan fcntl(F_FREESP)untuk membatalkan alokasi ruang dari file2.
• Ulangi

Saya tahu ini lebih merupakan solusi daripada apa yang Anda minta, tetapi itu akan mengatasi masalah Anda (dan dengan sedikit fragmentasi atau jilbab):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

lalu

#step 2:
cat file* > /the/new/fs/fullfile

atau, jika Anda berpikir kompresi akan membantu:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Lalu (dan HANYA kemudian), akhirnya

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it