Caching sistem file melalui internet

1

Saya menyimpan semua file saya di server pribadi saya (jalur DSL, / 28 jaringan tetapi masih lambat, terutama up-stream yang 512kBit). Ini berfungsi baik untuk file saya yang lebih kecil, semua email saya, Zarafa dll.

Tetapi untuk file yang lebih besar (terutama Fotos) terlalu lambat. Selanjutnya, saya ingin berbagi foto dengan keluarga. Di LAN ini sudah dilakukan dengan Samba, setiap pengguna memiliki pengguna yang berbeda (LDAP).

Untuk mempercepat akses internet, saya memiliki vServer dengan koneksi cepat tetapi tidak begitu banyak ruang (10GB).

Akan lebih bagus jika ini dapat digunakan untuk mempercepat akses dari internet ke file.

Salah satu rencana akan mengakses file melalui Samba / NFS melalui terowongan OpenVPN, tambahkan beberapa cache dan kemudian gunakan ownCloud atau WebDAV pada vServer.

Sistem caching perlu mendukung:

1.) Simpan semua file yang diakses dalam cache (10GB) dan ambil dari cache jika ada. Permintaan meta kecil dapat / harus dilakukan terlebih dahulu untuk memeriksa apakah file berubah pada master (hanya tanggal modifikasi)

2.) File yang ditulis harus disimpan ke dalam cache (yang cepat) dan secara berurutan diperbarui pada master. Ketika file dibuka untuk ditulis, file tersebut mungkin dikunci pada master untuk menghindari konflik

3.) Cache harus selalu penuh (10GB) dan selamat dari reboot / terputus. Ketika ruang baru diperlukan, metode seperti LRU atau NRU harus digunakan untuk menghapus entri lama dari cache.

Saya hampir tidak dapat membayangkan bahwa tidak ada solusi untuk itu - tetapi saya tidak dapat menemukannya. Ada ide bagaimana menyelesaikan ini?

linux networking filesystems cache divB
sumber
Apakah Anda mempertimbangkan untuk menyiapkan proses rsync terjadwal? Ini tentu memiliki overhead yang lebih sedikit daripada sistem file apa pun dan hanya akan menyalin file yang diubah / diperbarui. Promosi tanpa malu-malu dan contoh rsync: github.com/paravz/windows-rsync-backup
Alec Istomin
Rsync tidak berfungsi - setengah dupleks. Apa yang terjadi jika file diubah pada master dan slave? Saya berpikir tentang menyiapkan sesuatu seperti itu dengan serempak - tetapi ini terdengar kumuh, banyak pekerjaan, tidak elegan, ...
divB

Jawaban:

1

Coba cachefilesd dan fs-cache. Saya tidak punya pengalaman dengan mereka tetapi deskripsi mereka sesuai dengan kebutuhan Anda.

pengguna3422070
sumber
1

Sistem penyimpanan cloud seperti DropBox, Google Drive, SugarSync, dll., Dapat memenuhi sebagian besar kebutuhan Anda tergantung pada jumlah dan ukuran file. Masalahnya adalah bagaimana menangani penguncian / konflik.

rampok
sumber
Tentu saja - apa pun yang terkait dengan cloud adalah apa yang sebenarnya TIDAK saya inginkan !! Kalau tidak, saya bisa langsung menggunakannya. Data pribadi saya yang berharga tidak akan (mau) masuk ke sistem cloud seperti itu
divB
Terimakasih atas klarifikasinya. Ini tidak jelas dari pertanyaan Anda karena Anda memiliki "vServer" yang saya artikan sebagai server pribadi virtual yang dihosting di pusat data (secara teknis "di awan"). Meskipun jawabannya tidak membantu Anda, saya akan membiarkannya jika ada orang lain yang memiliki pertanyaan yang sama tetapi tidak masalah dengan menggunakan layanan cloud.
merampok
0

Yah, selalu ada fakta bahwa Anda harus mendapatkannya dari komputer Anda ke server virtual itu, dan itu akan selalu lambat.

Ingin benar-benar mempercepatnya, meningkatkan akses internet Anda ke unggahan yang lebih cepat, atau memastikan file-file tersebut tiba di vServer Anda tanpa melewati komputer Anda sendiri.

Hal ini dapat dicapai jika Anda menggunakan hal-hal seperti VNC, Teamviewer, logmein, dll untuk mengakses dan bekerja pada server Anda dan melakukan semua pekerjaan di sana. Tetapi Anda mungkin akan kehabisan ruang disk dengan cepat, karena Anda tidak memiliki semua alat yang tersedia di komputer Anda, sehingga Anda tidak dapat dengan cepat mengedit foto, jadi Anda perlu menginstal editor foto di sana juga , dan itu membutuhkan ruang.

LPChip
sumber
Itu bukan solusi. Secara teknis, barang-barang seperti ini harus ada karena bahkan digunakan oleh jaringan distribusi konten dll.
divB