Solusi penyimpanan berjenjang otomatis buatan rumah dengan Linux? (Memori -> SSD -> HDD -> penyimpanan jauh)

13

Terkait dengan pertanyaan ini tentang penggunaan SSD untuk sistem dan HDD untuk data , kecuali saya ingin sistem saya melakukan ini secara otomatis ...

Apakah mungkin untuk memiliki beberapa lapisan penyimpanan dan mendorong item secara otomatis di antara mereka, menggunakan perangkat lunak open-source lebih disukai?

Saya tahu solusi kelas enterprise yang sangat mahal seperti EMC SAN-> EMC Centera pengarsipan otomatis , tetapi saya bertanya-tanya apakah penyimpanan bertahap semacam ini dapat dilakukan secara otomatis.

Akan menyenangkan untuk dapat memiliki beberapa lapisan dalam hal ini: Memori-> SSD-> HDD-> HDD lebih lambat atau pita atau beberapa solusi arsip lainnya.

Apakah ada sistem file yang dapat melakukan ini secara otomatis?(ZFS, Btrfs, HAMMER?)

Setiap varian Unix baik-baik saja, karena saya tertarik pada cara kerjanya dan apakah itu portable untuk Linux atau citarasa lain (BSD dll).

linux unix ssd archive storage David Gardner
sumber

Jawaban:

14

Nah, ZFS menggunakan layering penyimpanan yang disebut Hybrid Storage Pool (HSP) :

  1. Lapisan: memori
  2. Lapisan: cache baca berbasis SSD (L2ARC) dan write-cache (log maksud terpisah alias slog).
  3. Lapisan: harddisk (murah)

Dengan HSP, mudah untuk secara otomatis mendapatkan keuntungan dari kelebihan SSD dibandingkan dengan solusi khusus harddisk. Sistem yang menggunakan HSP bisa lebih cepat dan lebih murah daripada yang terakhir. Lihat tautan ini untuk beberapa contoh bagus dan detail lebih lanjut.

Saya pikir ada rencana mengenai manajemen penyimpanan hierarkis (HSM) untuk ZFS (lihat misalnya proyek OpenSolaris Migrasi Data Otomatis ) tetapi saya tidak tahu statusnya saat ini.

knweiss
sumber
Ini hanya apa yang saya pikirkan, terima kasih! (Sekarang untuk membantu pada port Linux ...;)
David Gardner
Saya tidak akan menyebut ini tingkatan tetapi caching. Dalam arti bahwa caching berarti menyimpan salinan blok yang sering digunakan, tiering memindahkan data ke penyimpanan yang lebih lambat / lebih cepat. Saya tidak akan menyebut log maksud di ZFS sebagai cache tulis sungguhan jika saya memahaminya dengan benar.
mrossi
5

TIER sepertinya menjawab kebutuhan Anda. Ini adalah modul kernel linux yang dapat membuat penyimpanan berjenjang. Tampaknya belajar dengan sendirinya pola dan mengoptimalkan penempatan ke dalam penyimpanan

http://www.lessfs.com/wordpress/?p=776

Dolanor
sumber
Hanya melihat pertanyaannya sudah tua ... Maaf ^^ '
Dolanor
2
Merevitalisasi pertanyaan lama lebih baik daripada membusuk dengan informasi lama dan ketinggalan zaman!
David Gardner
Saya khawatir orang ini ingin mengurangi redundansi demi kapasitas ekstra (terutama ketika SSD relatif kecil dan tidak dapat diandalkan).
Tobu
Juga khawatir bahwa ia menyarankan serangan sebagai solusi, ketika perangkat lunak eksperimental paling membutuhkan cadangan.
Tobu
Namun, berikut ini sedikit umpan balik yang lebih positif: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu
1

Menjawab pertanyaan saya sendiri dengan sesuatu yang baru saja saya temukan:

Saya baru saja memperbarui kernel dan melihat hal-hal baru yang telah ditambahkan, dan sekarang ada pilihan 'CACHEFILES' yang memungkinkan untuk caching (biasanya jauh) filesystem ke sistem file lokal. Saya kira saya bisa menggunakan ini untuk menyimpan mekanisme penyimpanan yang lebih lambat (HDD) ke yang lebih cepat (SSD), setidaknya untuk satu tingkat hierarki.

David Gardner
sumber
Apakah Anda mencoba solusi ini? Bagaimana kinerjanya?
Skolima
1
Nevermind - Saya menemukan diri saya bahwa CacheFS untuk saat ini hanya mendukung NFS dan AFS.
Skolima
Menggunakan sistem file jaringan untuk ini bukan ide yang buruk, mereka cenderung matang jauh lebih cepat daripada patchsets kernel. Saya ingin tahu apakah Ceph atau DRBD memiliki mode yang berguna untuk penyimpanan berjenjang.
Tobu
1

Beberapa tautan yang relevan. YMMV.

http://code.google.com/p/fscops/ - "Hierarchical Storage Manager (OHSM) Online adalah upaya pertama menuju pengelola penyimpanan data sumber terbuka tingkat perusahaan yang secara otomatis memindahkan data antara penyimpanan biaya tinggi dan biaya rendah media.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI di Linux

http://jfs.sourceforge.net/ - JFS + DMAPI di Linux

sendmoreinfo
sumber
Proyek OHSM sepertinya menarik untuk diikuti. Hanya ext2 dan kernel 2.6.30 yang didukung untuk saat ini, tetapi saya berharap jika itu bekerja dengan baik maka ini akan mendapatkan lebih banyak filesystem.
David Gardner
Proyek itu terlihat terbengkalai, aktivitas terakhir adalah pada 2009.
sendmoreinfo
0

Snapshots LVM2 muncul di pikiran ... tetapi Anda tidak dapat benar-benar melakukan lebih dari satu snapshot.

dyasny
sumber
0

SAM-QFS adalah produk Sun yang ada dan bersumber terbuka tahun lalu. Ini CDDL, jadi Anda hanya bisa langsung porting ke * BSD.

TRS-80
sumber