Bagaimana versi dropbox / mengunggah file besar? [Tutup]

28

Saya memiliki akun dropbox gratis (2GB), dan saya bertanya-tanya bagaimana versi file besar bekerja.

Saya memiliki cadangan penuh dari semua file web saya yang situs @ lebih dari 1GB. Setelah unggahan awal 1GB, setiap kali sinkronisasi akan dropbox mencari tahu delta file, atau haruskah mengunggah semuanya lagi ke versi?

Ini akan keren untuk selalu memiliki versi terbaru dari file besar, tetapi saya tidak ingin membunuh bandwidth saya mengunggah 1GB setiap kali.

Apakah ini mungkin?

Terima kasih,

barfoon
sumber

Jawaban:

36

Dropbox menggunakan algoritma biner diff untuk memecah semua file menjadi blok, dan hanya mengunggah blok yang belum ada di cloud. Semua ini dilakukan secara lokal di komputer Anda.

Dropbox tidak hanya menggunakan file Anda yang sudah Anda unggah, itu mengumpulkan file semua orang menjadi satu basis data blok, dan memeriksa setiap hash blok lokal terhadap basis data itu.

Ini berarti bahwa jika orang lain telah mengunggah file yang sama seperti Anda (katakanlah, Ubuntu ISO terbaru), maka unggahan akan terasa instan karena tidak ada yang perlu diunggah, tetapi jika Anda memperbarui file yang berubah secara teratur, seperti Anda file cadangan, maka hanya perubahan yang diunggah. Jika Anda mengunggah file yang benar-benar unik, maka Anda harus menunggu semuanya untuk diunggah.

Melenguh
sumber
4
Adakah referensi untuk ini? Sangat menarik
STW
1
Tim Dropbox membicarakannya sesekali di forum (terutama Arash F, meskipun mereka sangat sibuk akhir-akhir ini).
Moo
3
Apakah ini berarti hanya akan mengunggah blok yang diubah dari file yang dienkripsi (misalnya volume TrueCrypt) juga?
Will M
1
Akan - ya, saya percaya beberapa orang menggunakan TrueCrypt dalam folder Dropbox mereka dengan sukses besar.
Moo
1
Bagian terakhir dari jawaban Anda tidak lagi benar. Setelah bencana 'Dropship', perubahan dibuat. Kemungkinan mereka masih melakukan de-dupe secara internal, tetapi jika Anda meletakkan "windows8.iso" (yang, kemungkinannya, setidaknya seseorang telah melakukannya) di folder Anda sekarang, Anda harus mengunggah setiap byte.
DanO
10

Untuk apa nilainya, Dropbox mengklaim untuk membuat hash pada setiap 4MB setiap file. Dengan begitu, jika Anda mengubah 2MB file 100MB yang berdekatan, kemungkinan hanya perlu mengunggah 4MB (atau 8MB jika Anda menyeberang ke blok 4MB kedua) untuk menyinkronkan kembali file tersebut.

Hash yang kami gunakan hanya untuk potongan file 4MB

Sumber: https://blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/

perkasa
sumber
itu tidak jelas, apakah 4 MB sebelum atau sesudah kompresi dan operasi lainnya
Walter Tross
2

Penting juga untuk menyoroti bahwa itu tidak mengunggah seluruh file Anda sekaligus ketika Anda mengubahnya. Misalnya, jika Anda memiliki file unik berbobot 2GB, katakanlah untuk drive disk terenkripsi yang Anda pegang (seperti ketika Anda menggunakan truecrypt atau pgpdisk), dan Anda mengubah hanya beberapa file di dalam disk terenkripsi, dropbox hanya akan mengunggah blok yang secara efektif berubah. Jadi, misalnya, jika Anda mengunggah file pgpdisk Anda dengan 2GB ke dropbox, dan kemudian Anda mengubah katakan saja 100MB dari 2GB ini, dropbox akan cukup cerdas untuk mendeteksi dan memperbarui hanya apa yang telah berubah . Jadi Anda tidak membuang bandwidth upload Anda mengunggah barang-barang yang sudah ada.

Fitur lain yang saya lihat sedang dijalankan oleh tim dropbox adalah membuat dropbox untuk mendeteksi contoh lain dari dropbox yang berjalan di jaringan lokal Anda, dan menyinkronkan informasi di antaranya. Misalnya, Anda memiliki laptop dan desktop, dan keduanya memiliki akun dropbox yang sama, dan Anda memperbarui file di desktop - dan desktop langsung disinkronkan dengan "cloud" - saat Anda mencolokkan laptop Anda, alih-alih pergi ke cloud, dropbox sebagai gantinya akan mengunduh diff langsung dari komputer desktop Anda, dan tidak akan menyia-nyiakan bandwidth unduhan Anda. Ini masih akan datang - tetapi akan menjadi fitur yang manis!

Macaubas
sumber
1
Mereka merilis build eksperimental dengan kemampuan sinkronisasi peer to peer selama akhir pekan.
Moo
1
Sekarang adalah fitur yang stabil.
Wiliam