Sistem file apa yang harus saya gunakan untuk sejumlah besar ruang disk di Linux (> 32TB)?

4

Saya mencoba membuat sistem file besar di linux, tetapi telah mengalami masalah dengan banyak sistem file umum.

  • JFS memiliki bug yang tidak memungkinkan ekspansi lebih dari 32TB.
  • XFS memiliki bug di fsck yang menyebabkan mesin menggunakan semua memori yang tersedia dan crash ketika menjalankan fsck pada disk yang memiliki sejumlah besar data (~ 20TB).
  • EXT4 terbatas pada 16TB karena masalah dengan e2fsprogs.
  • BTRFS akan menyenangkan, tetapi mereka saat ini tidak memiliki fsck, yang saya perlukan.

Ada ide lain?

linux filesystems ext4 btrfs xfs bjcubsfan
sumber
Mengapa Anda "perlu" fsck? ZFS tidak memiliki fsck dan tidak memerlukannya secara desain.
jlliagre
Berapa banyak ruang yang kita bicarakan di sini?
beatgammit
Kami memiliki 200TB disk. Kami terus menambahkan data, tetapi saat ini kami memiliki sekitar 30TB data. Jika fsck dirancang, itu tidak masalah. Untuk BTRFS, daftar di wiki mereka bahwa Anda mungkin tidak dapat pulih dari crash atau kehilangan daya. Kita akan crash dan kehilangan daya sesekali, jadi kita perlu sesuatu yang bisa menangani ini. Saya membayangkan ZFS akan bekerja, dan akan mempertimbangkannya. Ada kekurangannya yaitu hanya pada sekering.
bjcubsfan

Jawaban:

4

Mungkin tidak secepat yang lain, karena hanya sistem berbasis pengguna tanah di Linux, tetapi ZFS mungkin sesuai dengan tagihan ...

Nama aslinya adalah "Sistem File Zettabyte". Selektor nama asli kebetulan menyukai nama, dan sistem file ZFS memiliki kemampuan untuk menyimpan 2 58 zettabytes, di mana masing-masing ZB adalah 2 70 byte.

ZFS adalah sistem file 128-bit, sehingga dapat menangani data 1,84 × 10 19 kali lebih banyak daripada sistem 64-bit seperti NTFS. Keterbatasan ZFS dirancang sedemikian besar sehingga tidak akan pernah ditemui. Beberapa batasan teoritis dalam ZFS adalah:

  • 2 48 - Jumlah entri dalam setiap direktori
  • 16 exabytes (16 × 10 18 bytes) - Ukuran maksimum satu file
  • 16 exabytes - Ukuran maksimum atribut apa pun
  • 2 56 zettabytes (2 78 bytes) - Ukuran maksimum zpool apa pun
  • 2 56 - Jumlah atribut file (sebenarnya dibatasi pada 2 48 untuk jumlah file dalam sistem file ZFS)
  • 2 64 - Jumlah perangkat di zpool apa pun
  • 2 64 - Jumlah zpool dalam suatu sistem
  • 2 64 - Jumlah sistem file di zpool

Ada beberapa yang mengatakan bahwa tidak ada cukup atom di kerak bumi untuk membuat array penyimpanan file yang cukup besar untuk melampaui batasan ZFS.

Majenko
sumber
0

ZFS adalah solusi yang mungkin, tetapi saat ini orang juga dapat menggunakan sistem file yang Anda kecualikan di awal

  • ext4: petabyte filesystemd seharusnya tidak menjadi masalah di versi e2fsprog dan kernel terbaru
  • btrfs: memiliki btfsck yang berfungsi dan juga dapat menskala ke ukuran besar.
Robin Roth
sumber