Saya memigrasi server saya dari Amerika Serikat ke Inggris dari satu pusat data ke yang lain. Tuan rumah saya mengatakan saya harus bisa mencapai 11 megabita per detik.
Sistem operasi adalah Windows Server 2008 di kedua ujungnya.
Ukuran file rata-rata saya sekitar 100 MB dan data dibagi menjadi lima drive 2 TB.
Apa cara yang disarankan untuk mentransfer file-file ini?
- FTP
- SMB
- Rsync / Robocopy
- Lain?
Saya tidak terlalu peduli dengan keamanan karena ini adalah file publik, tapi saya hanya ingin solusi yang dapat mendorong kecepatan transfer 11 MB / s penuh untuk meminimalkan total waktu transfer.
file-transfer
large-data
Paul Hinett
sumber
sumber
Jawaban:
Kirim hard drive melintasi laut sebagai gantinya.
Pada 11 Mbps dengan pemanfaatan penuh, Anda hanya membutuhkan waktu 90 hari untuk mentransfer 10 TB.
11 Mbps = 1.375 MBps = 116.015 GB / hari .
10240 GB / 116.015 GB / hari = ~ 88,3 hari .
sumber
Saya akan mengatakan rsync, pada 11 MB / s Anda akan melihat 10-14 hari dan bahkan jika Anda terganggu, rsync akan dengan mudah memulai di mana ia berhenti terakhir kali.
Pada 11 Mbps saya akan mengirimkan hard disk seperti yang disarankan di atas :)
sumber
stat
waktu, menurut pengalaman saya), bukan dengan data total. Saya harapkan tidak menunggu signifikan (paling banyak beberapa menit). Meskipun pengalaman saya dengan puncak rsync sedikit di bawah 5TB.Rsync tentu saja.
Setidaknya Anda dapat melanjutkan kapan saja setelah istirahat, dan itu tanpa rasa sakit.
sumber
rsync
hanya untuk menyalin file besar tidak efisien. Untuk barang-barang saya, saya akhirnya menggunakantar
lebih darinetcat
ataussh
untuk transfer awal. Ini jauh lebih cepat dan mulai mentransfer segera, sementararsync
akan memindai semua file terlebih dahulu yang membutuhkan waktu. Jika ini terputus, Anda masih bisa menggunakannyarsync
sesudahnya. Bahkan, saya melakukan ini kadang-kadang setelahtar
itu untuk memastikan semua izin, file soket, dll sudah benar.Jangan pernah meremehkan bandwidth dari station wagon yang penuh dengan kaset
- Trad.
Dalam kasus Anda, disk atau kaset dikirim oleh kurir, tetapi prinsipnya masih berlaku. Jika Anda tidak peduli tentang latensi, ini akan jauh lebih murah daripada bandwidth jaringan untuk mentransfer 10TB data dalam jangka waktu yang wajar.
sumber
Anda harus menggunakan rsync. Ini akan memampatkan data dan menduplikat sebelum mengirim. Itu juga dapat melanjutkan transfer parsial, yang sangat penting untuk transfer besar.
Kemungkinan tidak mentransfer 10 TB; jika log dan teks dan semacamnya bisa di bawah 1 TB; mungkin jauh di bawah 1 TB.
Ada alat yang melakukan pekerjaan kompresi yang lebih baik daripada rsync dan kemungkinan menemukan lebih banyak kecocokan. Anda bisa menggunakan
lrzip
, dll.Ada tipe data tertentu yang tidak kompres dengan baik dan tidak mengandung dupe literal - video dan media lainnya misalnya. Dalam kasus tersebut, FTP dan rsync melakukan banyak upaya yang sama.
sumber
Saya tahu ini sudah diterima tetapi sudahkah Anda mempertimbangkan untuk membawa disk ke pusat data / penyedia / host tempat Anda bisa mendapatkan lebih banyak bandwidth? Mungkin akan dikenakan biaya sejumlah uang tetapi menyalin 10240Gb ke disk cadangan dan pengiriman juga akan menghabiskan waktu dan uang (2 x uang).
Anda juga akan memastikan disk Anda tidak rusak saat diangkut.
sumber
11Mbps? Ini adalah batasan yang Anda miliki di sini. Dalam situasi Anda, saya hanya akan:
Jika Anda benar-benar tidak punya solusi untuk meningkatkan bandwidth ... Maka pengiriman drive fisik akan jauh lebih cepat.
Dari pengalaman menyakitkan saya, hard drive cenderung rusak ... USB flash drive adalah solusi yang lebih baik untuk transfer data yang sering. Dalam kasus Anda itu akan memerlukan beberapa dari mereka :) Jadi, kirim 2 salinan data Anda pada beberapa hard drive.
Mengingat jumlah data yang Anda miliki, Anda juga dapat mengirim drive dari array RAID 5 atau RAID 6 jika Anda memiliki perangkat keras / perangkat lunak yang sama di sisi lain untuk menyambungkan drive Anda. Tetapi jika demikian ingatlah untuk menandai urutan drive Anda. dan nomor seri mereka sehingga ketika mengkonfigurasi ulang mereka tidak tercampur aduk.
sumber
Sementara saya harus menyetujui jawaban "kirim menggunakan harddisk" dalam kasus ini, di sini solusi salin yang saya gunakan ketika saya harus menyalin sejumlah besar file untuk pertama kalinya:
Meskipun
rsync
baik untuk menjaga dua penyimpanan data tetap sinkron, ini memperkenalkan sedikit overhead yang tidak perlu untuk transfer awal. Saya pikir cara tercepat adalahtar
menyalurkannyanetcat
. Di situs penerima Anda juga dapat menggunakannetcat
dalam mode mendengarkan yang menyalurkan data yang masuk ke ekstraksitar
. Keuntungannya adalahtar
mulai mengirim segera dannetcat
mengirimkannya sebagai aliran TCP polos tanpa overhead protokol tingkat lebih tinggi. Ini harus secepat yang didapat. Namun, tidak mudah untuk memulai kembali transfer yang terputus di posisi terakhir.Juga dimungkinkan untuk mengompres data untuk transfer dengan menggunakan
tar
opsi yang tepat atau menambahkan alat kompresi di dalam pipa. Catatan yangnetcat
mengirim tanggal tidak terenkripsi. Dalam kasus di mana ini bukan opsi,ssh
koneksi terenkripsi dapat digunakan sebagai gantinya (tar <options> | ssh <target> -c 'tar -x <options>'
).Jika semua data ditransfer
rsync
dapat digunakan untuk memastikan bahwa semua file yang diperbarui sementara disinkronkan. Selain itu IIRCtar
tidak membuat soket yang akan hilang jika tidak, tetapi mereka tidak benar-benar digunakan untuk data pusat data.sumber
Sudahkah Anda mempertimbangkan IPoAC ?
sumber
Sekali lagi, saran pertama adalah mengirimkan drive.
Saran kedua adalah menggunakan rsync ke rsyncd, bukan melalui SSH. Saya sudah mencoba banyak hal dan biasanya yang tercepat. Ingatlah untuk mengaktifkan kompresi. Juga, lihat menambah atau mengurangi ukuran buffer rsync untuk mendapatkan kecepatan transfer yang optimal. Mungkin juga membantu meningkatkan ukuran MTU Anda . Ini hanya membantu jika router dalam perjalanan tidak memecah-pecah paket Anda. Ada cara untuk menentukan apakah mereka melakukannya.
Sayangnya tidak ada pengaturan yang selalu yang terbaik. Anda harus bereksperimen untuk mencari tahu apa yang paling sesuai dengan situasi Anda.
sumber
Anda menyebutkan server menjalankan Windows 2008. Apakah Microsoft DFS cocok? Ada beberapa keajaiban di ujung bawah yang mencoba untuk mendapatkan bandwidth sebanyak mungkin dari koneksi, dan juga memiliki kompresi dan de-duplikasi (IIRC).
Pikiran Anda, hard drive, DVD atau BluRays akan lebih cepat ... Perhitungan saya adalah 11 hari pada penuh 11 MB / s ...
sumber
Anda dapat menggunakan torrent untuk ini.
Buat torrent pribadi di satu ujung dan gunakan klien di sisi lain.
Meskipun ada enkripsi di tempat Anda harus memeriksa dengan persyaratan Anda.
sumber