Apakah ada Sistem SAN / Penyimpanan Terdistribusi di luar sana? [Tutup]

9

Seperti banyak tempat lain, kami meminta pengguna kami untuk tidak menyimpan file ke mesin lokal mereka. Sebagai gantinya, kami menganjurkan agar mereka diletakkan di server file sehingga orang lain (dengan izin yang sesuai) dapat menggunakannya dan bahwa file tersebut dicadangkan dengan benar.

Hasilnya adalah sebagian besar pengguna memiliki hard drive besar yang sebagian besar kosong. Sekarang 2010. Tentunya ada sistem di luar sana yang memungkinkan Anda mengubah ruang kosong itu menjadi SAN virtual atau pustaka dokumen?

Apa yang saya bayangkan adalah program klien yang didorong ke PC pengguna yang berkoordinasi dengan server pusat. Server terlihat bagi pengguna seperti server file biasa, tetapi alih-alih menyimpan seluruh isi file, ia hanya menyimpan catatan di mana file-file itu dapat ditemukan di antara berbagai PC pengguna. Itu kemudian berkoordinasi dengan klien yang tepat untuk melayani permintaan file. Perangkat lunak klien akan dapat menanggapi permintaan tersebut secara langsung, serta cukup pintar untuk melakukan cache file terbaru secara lokal. Untuk redundansi, server dapat memastikan file disalin ke beberapa PC, mungkin memungkinkan Anda untuk mendefinisikan grup di lokasi yang berbeda sehingga instance dari seluruh repositori hidup di setiap grup untuk melindungi terhadap bencana di satu gedung, mencatat semua yang lain.

Jelas Anda tidak akan mengarahkan server database Anda di sini, tetapi untuk hal-hal sederhana saya melihat beberapa keuntungan:

  • File seringkali dapat ditransfer dari mesin yang lebih dekat (atau lokal ).
  • Distribusikan konektivitas jaringan, daripada memadatkan semua transfer file pada satu koneksi
  • Ruang disk tumbuh secara otomatis sebagaimana perusahaan Anda.
  • Seharusnya akhirnya lebih murah, karena Anda tidak perlu menyimpan satu set disk terpisah

Saya juga bisa melihat beberapa kelemahan:

  • Kadang-kadang penurunan kinerja pc pengguna, jika mesin harus melayani atau menerima transfer file besar selama periode sibuk.
  • Menulis harus disebarkan di sekitar jaringan beberapa kali (meskipun saya curiga ini tidak terlalu menjadi masalah, karena membaca terjadi di banyak tempat lebih daripada menulis)
  • Masih memerlukan cara untuk mengirim salinan lengkap data di luar kantor sesekali, dan ini akan membuat sangat sulit untuk melakukan pembedaan

Pikirkan ini seperti sistem penyimpanan cloud yang sepenuhnya hidup dalam LAN perusahaan Anda dan memanfaatkan peralatan pengguna Anda yang sudah ada.

Server file utama lama kami akan pensiun dalam waktu sekitar 2 tahun, dan saya ingin menggantinya dengan SAN kecil. Server file kami saat ini menggunakan sekitar 400GB share 1TB. Kami hanya menyimpannya sekecil itu karena ruang cadangan kami terbatas. Saya ingin memperluas setidaknya 4TB ruang yang dapat digunakan ketika diganti, mungkin jauh lebih banyak jika harga turun sebanyak yang saya harapkan. Saya pikir sesuatu seperti ini akan lebih cocok. Sebagai sebuah sekolah, kami memiliki beberapa laboratorium komputer yang dapat saya biarkan berjalan yang akan menjadi sempurna untuk menambahkan sedikit redundansi tambahan ke sistem seperti itu.

Dengan sedikit pengecualian, pengguna kami mengisi kurang dari 40GB dari 120GB hard drive mereka, yang berarti saya dapat dengan mudah memesan 65GB per mesin. Dan itu hanya akan meningkat, karena mesin yang lebih baru datang dengan drive 250Gb dan bahkan itu bisa dengan mudah menjadi lebih besar segera. Pada saat server file diganti, mengingat jadwal penggantian desktop kami, saya berharap sistem seperti itu memungkinkan penyimpanan sebesar 5TB, bahkan memungkinkan redundansi dan riwayat.

Sayangnya, hal terdekat yang dapat saya temukan adalah Dienst , dan itu hanya sebuah makalah yang berasal dari tahun 1994. Apakah saya hanya menggunakan kata kunci yang salah dalam pencarian saya, atau apakah ini benar-benar tidak ada? Jika tidak, apakah ada kerugian besar yang saya lewatkan?

Joel Coel
sumber
1
Alih-alih membeli drive magnetik besar, Anda harus mempertimbangkan solid state drive yang lebih kecil untuk sistem pengguna akhir Anda.
jftuga
Anda mungkin ingin melihat CCNx yang dikembangkan oleh tim di sekitar van Jacobson di PARC. Terkait: proyek SWIFT
the-wabbit

Jawaban:

3

Sepertinya saya menggambarkan AFS , implementasi yang paling umum adalah OpenAFS . Konsep-konsep utama OpenAFS dijelaskan di sini: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3 .

AFS adalah:

  • Didistribusikan. Filesystem beberapa mesin, tetapi masih menggunakan ruang nama yang disatukan sehingga sifat didistribusikan transparan ke mesin klien.
  • Mubazir. File dapat ada di beberapa node server sekaligus sehingga hilangnya beberapa node server tidak mengakibatkan tidak dapat diaksesnya data apa pun.
  • Dapat diukur. Rupanya beberapa implementasi "Enterprise" menjangkau sebanyak 25.000 node.
Insyte
sumber
+1 mungkin tidak cocok dengan spesifikasinya.
Warner
Apa yang tampaknya hilang? Saya pikir itu akan menjadi sangat cocok. Atau setidaknya cocok 90%.
Insyte
Yah, fakta bahwa menjalankan Server AFS pada Windows tidak didukung mungkin ada hubungannya dengan itu. docs.openafs.org/ReleaseNotesWindows/ch03s11.html
mfinni
Hah. Itu tidak cocok dengan apa yang mereka katakan di sini: openafs.org/windows.html .
Insyte
1
itu untuk perangkat lunak klien . Anda ingin kotak Windows untuk terhubung ke pangsa AFS yang ada? Lakukan untuk itu. Anda ingin meng-host berbagi AFS pada Windows? Tidak didukung
mfinni
2

Ya, disk besar dalam sistem desktop pengguna akhir secara tragis tidak akan digunakan ketika Anda menggunakan penyimpanan terpusat dengan benar. Baiklah. Beberapa kelemahan menggunakan NAS desktop-network-distributed yang hipotetis:

  1. Itu harus menangani degradasi yang disebabkan oleh mesin pengguna menjadi offline. Seseorang tidak datang hari ini dan mesin mereka mati? Lebih baik berharap bahwa dokumen di sana didistribusikan ke mesin yang dihidupkan. Seseorang bekerja larut malam ini dan mesin mereka adalah satu-satunya yang ada di? Keberuntungan yang cukup, maaf. Kecuali jika Anda juga memiliki semuanya disalin ke server file nyata - dan kemudian, apa yang Anda dapatkan?

  2. Semuanya harus memiliki enkripsi yang baik - jika tidak, dokumen bos yang berisi rencananya untuk dicairkan, atau dokumen SDM yang menunjukkan gaji semua orang, direplikasi ke mesin pembuat surat kepada Jimmy. Di mana dia menjalankan LimeWire. Lihat kemana ini?

mfinni
sumber
3
Selain itu: menyedot kinerja mereka, jaringan tidak akan kecepatan tertinggi, SAN turun di malam hari, yang menyebalkan untuk pemeliharaan berjalan. Alih-alih menyingkirkan disk dan boot dari SAN;)
TomTom
1

Sesuatu seperti CleverSafe (memiliki versi open source dan komersial) sebagian besar dapat melakukan apa yang Anda inginkan, tetapi mengelola node yang sangat tidak andal mungkin menjadi masalah. CleverSafe menangani beberapa pemadaman node, tetapi mungkin tidak cukup cepat untuk jenis "churn konstan" dari node yang akan Anda lihat menggunakan desktop sebagai node penyimpanan.

Saya pikir ada solusi serupa dari makalah akademis yang pernah saya baca di masa lalu, tetapi CleverSafe tampaknya merupakan produk nyata dan bukan hanya prototipe. Perusahaan telah ada sejak 2004.

rmalayter
sumber
1

SANsymphony 7.0 Perangkat Lunak Virtualisasi Penyimpanan

di bawah ini semua dikutip dari situs web mereka:

Fitur utama

Pengumpulan disk virtual yang bebas perangkat, mirroring mirroring (HA), caching kecepatan tinggi, replikasi jarak jauh asinkron, thin provisioning, auto-tiering, snapshots online, migrasi disk yang tidak mengganggu, migrasi data berkelanjutan (CDP)

Jenis Akses

Blokir I / O disk melalui SAN fisik atau virtual. Akses sistem file disediakan melalui protokol NFS / CIFS dari sistem operasi Windows Server yang mendasarinya. Dua metode akses dapat dikombinasikan untuk memenuhi ketersediaan tinggi, persyaratan penyimpanan terpadu (SAN / NAS).

Lingkungan Host Didukung

Sistem komputer yang menjalankan sistem operasi Windows standar termasuk (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,

Disk yang Didukung (back-end)

Setiap drive internal, drive eksternal, array disk eksternal, JBODs, Solid State Disks (SSD), dan sistem penyimpanan cerdas yang didukung pada Windows Server 2008 dapat dilampirkan ke simpul DataCore. Mereka mungkin terhubung langsung atau terhubung dengan SAN.


Itu yang Anda cari, ya?

Mark Lawrence
sumber
Tidak persis. Perangkat lunak ini masih mengambil alih setiap mesin - Anda harus memiliki mesin yang 100% didedikasikan untuk penyimpanan. Saya ingin melihat sesuatu yang berjalan di latar belakang pada PC yang masih digunakan dengan pengguna akhir, dan mengambil keuntungan dari disk cadangan yang sudah ada di luar sana.
Joel Coel
Membaca ulang abstraksi penyimpanan / metadata, saya melihat ini baru-baru ini, tetapi mungkin ini cocok secara konseptual daripada yang praktis: xtreemfs.org/feature_replication.php
Mark Lawrence
Tentu saja, hal lain yang patut dilihat jika Anda belum melakukannya adalah Windows DFS-R. Dengan ini, Anda mengatur ruang nama folder yang diakses dan direplikasi secara transparan melalui replikasi AD. Folder namespace memiliki target pada pembagian fisik, dan ini dapat direplikasi menggunakan topologi pilihan Anda (misalnya hub dan spoke, atau gratis-untuk-semua). Uh oh ada masalah, saya pikir target harus menjalankan windows server.
Mark Lawrence
0

Hal terdekat yang muncul di benak saya adalah Googles MapReduce atau alternatif Hadoop gratis, tetapi ini dirancang untuk mengubah skala ke area petabyte untuk aplikasi web yang sangat besar.

Secara umum, skenario Anda bukanlah sesuatu yang ingin saya coba karena saya kira overhead administrasi untuk mengelola mesin untuk layanan tambahan ini akan jauh melebihi manfaat apa pun yang mungkin Anda dapatkan darinya.

Juga, saya akan melihat risiko tertentu bahwa mungkin ada masalah yang belum ditemukan di Windows (atau OS lainnya) yang dapat menyebabkan kerentanan untuk worm yang menyebar cepat yang mungkin mengambil seluruh jaringan Anda dalam hitungan menit, terlepas dari bagaimana baik dan aman sistem Anda dikonfigurasikan, dan yang akan membawa semua kumpulan penyimpanan data Anda dengannya.

Selain itu, saya tidak begitu yakin bahwa kapasitas disk bebas pada sistem klien akan terus bertambah, karena saya kira lebih banyak aplikasi akan diangkut ke web di masa mendatang, termasuk hal-hal seperti aplikasi kantor dan bahkan Photoshop, yang akan mengarah pada dorongan besar untuk klien kurus (lagi).

Sven
sumber