Apakah file disimpan di disk secara berurutan?

Seperti yang saya mengerti, "file jarang" berarti bahwa file tersebut mungkin memiliki 'kesenjangan' sehingga data yang digunakan sebenarnya mungkin lebih kecil dari ukuran file logis.

Bagaimana sistem file Linux menyimpan file pada disk? Saya terutama tertarik pada ext4. Tapi:

1. Bisakah file disimpan tidak secara berurutan pada disk? Maksud saya, bagian dari file tersebut terletak di alamat fisik X dan bagian berikutnya di alamat fisik Y yang tidak dekat dengan X + offset).
2. Bisakah saya entah bagaimana mengontrol urutan file?
   Saya ingin mengalokasikan file 10GB. Saya ingin berurutan pada disk dan tidak terbagi antara offset yang berbeda.
3. Apakah itu bertindak secara berbeda antara berbagai jenis?

Bisakah file disimpan tidak secara berurutan pada disk? Maksud saya, bagian dari file terletak di bawah alamat fisik X dan bagian lainnya di bawah alamat fisik Y yang tidak dekat dengan X + offset).

Iya nih; ini dikenal sebagai fragmentasi file dan tidak jarang, terutama dengan file yang lebih besar. Sebagian besar sistem file mengalokasikan ruang sesuai kebutuhan, lebih atau kurang secara berurutan, tetapi mereka tidak dapat menebak perilaku di masa mendatang - jadi jika Anda menulis 200MiB ke file, kemudian menambahkan 100MiB lebih lanjut, ada peluang bukan-nol bahwa kedua set data akan disimpan di area disk yang berbeda (pada dasarnya, penulisan lain yang membutuhkan lebih banyak ruang pada disk, yang terjadi setelah penulisan pertama dan sebelum yang kedua, dapat dilakukan di antara keduanya). Jika sistem file hampir penuh, situasinya biasanya akan menjadi lebih buruk: mungkin tidak ada area bersebelahan dari ruang kosong yang cukup besar untuk menampung file baru, sehingga harus dipecah-pecah.

Dapatkah saya entah bagaimana mengontrol urutan file? Saya ingin mengalokasikan file besar 10GB. Saya ingin berurutan dalam disk dan tidak dibagi di antara berbagai offset.

Anda bisa memberi tahu filesystem tentang ukuran target file Anda ketika itu dibuat; ini akan membantu sistem file menyimpannya secara optimal. Banyak sistem file modern menggunakan teknik yang dikenal sebagai alokasi tertunda, di mana tata letak pada-disk dari file baru dihitung selambat mungkin, untuk memaksimalkan informasi yang tersedia ketika perhitungan dilakukan. Anda dapat membantu proses ini dengan menggunakan posix_fallocate(3)fungsi untuk memberi tahu sistem file berapa banyak ruang disk yang harus dialokasikan secara total. Sistem file modern akan mencoba melakukan alokasi ini secara berurutan.

Apakah itu bertindak secara berbeda antara berbagai jenis?

Sistem file yang berbeda berperilaku berbeda, ya. Filesystem berbasis log seperti NILFS2 tidak mengalokasikan penyimpanan dengan cara yang sama seperti filesystem berbasis luas seperti Ext4, dan itu hanya satu contoh variasi.

Perintah ini filefragakan memberi tahu Anda bagaimana file Anda secara fisik disimpan di perangkat Anda:

# filefrag -v /var/log/messages.1 
Filesystem type is: ef53
File size of /var/log/messages.1 is 41733 (11 blocks, blocksize 4096)
 ext logical physical expected length flags
   0       0  2130567               1 
   1       1 15907576  2130568      1 
   2       2 15910400 15907577      1 
   3       3 15902720 15910401      7 
   4      10  2838546 15902727      1 eof
/var/log/messages.1: 5 extents found

Jika Anda menulis file Anda dalam satu pass, tebakan saya adalah file Anda tidak akan terfragmentasi.

Halaman manual dari fallocate (1) cukup jelas:

fallocate digunakan untuk mengalokasikan blok ke file. Untuk sistem file yang mendukungfallocate pemanggilan sistem, ini dilakukan dengan cepat dengan mengalokasikan blok dan menandainya sebagai tidak diinisialisasi, tidak memerlukan IO ke blok data. Ini jauh lebih cepat daripada membuat file dengan mengisinya dengan nol.

Pada Linux Kernel v2.6.31, itu fallocate panggilan sistem didukung oleh sistem file btrfs, ext4, ocfs2, dan xfs.

Apakah ini berurutan? Sistem pertama-tama akan mencoba mengalokasikan blok secara berurutan. Jika tidak bisa, itu tidak akan memperingatkan Anda.

Anda menyebutkan file jarang, dan tidak ada jawaban lain yang menyebutkannya.

Sebagian besar file tidak jarang. Cara paling umum untuk membuat file adalah menulis semuanya dalam sekali jalan, dari awal hingga akhir. Tidak ada lubang di sana.

Namun, Anda diizinkan untuk mengatakan "pindah ke posisi 1.000.000.000.000 dan tulis satu byte di sana." Ini akan membuat file yang terlihat seperti etabyte besar, tetapi sebenarnya hanya menggunakan (mungkin) 4k pada disk. Ini adalah file yang jarang.

Anda dapat melakukan ini berkali-kali untuk file yang sama, meninggalkan sejumlah kecil data yang tersebar di kehampaan yang luas.

Meskipun ini bisa bermanfaat, ada dua kelemahan.

Yang pertama adalah bahwa file tersebut akan terfragmentasi, yang Anda khawatirkan.

Yang kedua adalah tidak semua program menangani file-file ini dengan baik. Misalnya beberapa perangkat lunak cadangan akan mencoba untuk membuat cadangan kekosongan dan dengan demikian membuat cadangan yang jauh lebih besar dari yang diperlukan, mungkin terlalu besar untuk media cadangan.

Bisakah saya entah bagaimana mengontrol urutan file? Saya ingin mengalokasikan file 10GB. Saya ingin berurutan pada disk dan tidak terbagi antara offset yang berbeda.

Setidaknya ada beberapa cara untuk mencapai ini.

1. Gunakan sistem file dengan banyak ruang kosong dan pralokasi ruang (mis. Gunakan penanda akhir data khusus aplikasi dan tambahkan data acak hingga ukuran file mencapai 10GB). Ini tidak dijamin untuk menghasilkan data yang tidak terfragmentasi.

2. Gunakan filesystem mentah (tidak dimasak) daripada ext4 dll. DBMSs kadang-kadang melakukan ini untuk alasan kinerja. Imbalannya adalah Anda harus melakukan caching / penjurnalan / pemulihan, dll, jika perlu.

Contoh di mana Anda mendapatkan banyak dari melakukan ini relatif jarang - saya pertama kali mencari di tempat lain untuk mengoptimalkan kinerja.

Lihat juga

Benarkah sistem manajemen basis data biasanya memotong sistem file?

Jika ini hanya satu kali dan tidak penting bagaimana file disimpan awalnya, hanya hasilnya penting, maka Anda bisa menyimpan file secara normal dan kemudian menjalankan defragmenter dari sistem operasi Anda. Kemudian Anda dapat memeriksa dengan jawaban ini jika file Anda utuh, jika tidak, ulangi. Ini adalah cara termudah untuk melakukannya, tanpa menggunakan perintah atau program eksternal, tetapi ini jelas bukan metode tercepat, karena akan mendefrag seluruh disk Anda.