Linux ke Linux, transfer 10 TB?

9

Saya telah melihat semua pertanyaan serupa sebelumnya, tetapi jawabannya sepertinya ada di semua tempat dan tidak ada yang memindahkan banyak data (100 GB berbeda dari 10 TB).

Saya punya sekitar 10 TB yang harus saya pindah dari satu array RAID ke yang lain, gigabit Ethernet, ensiklopedia gratis, sistem file XFS . Kekhawatiran terbesar saya adalah memiliki transfer mati di tengah jalan dan tidak dapat melanjutkan dengan mudah. Kecepatan akan menyenangkan, tetapi memastikan transfer jauh lebih penting.

Biasanya saya baru saja tar & netcat, tapi array RAID yang saya pindahkan akhir-akhir ini sangat serpihan, dan saya harus dapat memulihkan dan melanjutkan jika turun pada pertengahan proses. Haruskah saya melihat rsync ?

Melihat ini sedikit lebih, saya pikir rsync mungkin terlalu lambat, dan saya ingin menghindari ini memakan waktu 30 hari atau lebih. Jadi sekarang saya sedang mencari saran tentang cara memonitor / melanjutkan transfer dengan netcat .

linux networking rsync file-transfer copy kode hilang
sumber
Saya kadang-kadang perlu melakukan transfer file besar (Tapi bukan 10TB;) rsync memiliki banyak flag, beberapa di antaranya mungkin berdampak pada kinerja transfer file besar (saya pikir --checksum dan --archive mungkin memperlambat Anda, misalnya. Ini akan membuat perbedaan besar ketika mentransfer 10TB.). Adakah yang bisa merekomendasikan opsi yang baik untuk membantu mengoptimalkan kinerja transfer file sebesar itu? Apakah penyetelan --block-size=SIZEmembantu?
Stefan Lasiewski
apakah ada cara untuk menghapus overhead ssh?
lostincode
1
mengatur rsyncd di sisi penerima Anda? tidak perlu ssh
cpbills
3
Jalankan daemon rsync di sisi penerima serta klien di sisi pengirim.
Dijeda sampai pemberitahuan lebih lanjut.
2
Jika Anda tidak dapat mengatur daemon rsync di satu sisi dan terjebak dengan SSH, Anda dapat mengurangi overhead enkripsi dengan enkripsi yang kurang baik seperti: rsync -avz -e 'ssh -c arcfour' SOURCE DEST
David

Jawaban:

14

ya, rsync

di luar permainan aneh, fitur async DRBD keluar dengan baru-baru ini.

cagenut
sumber
1
+1 untuk Rsync. Raja transfer sistem ke sistem di linux.
grufftech
+1, rsync (dan itu adalah Windows rekan DeltaCopy) adalah akhir dari semua server yang efisien untuk duplikasi file generik.
Chris S
1
+1 untuk rsync, tapi saya akan menambahkan bahwa mungkin lebih cepat untuk melakukannya "secara lokal" melalui mount NFS daripada menimbulkan overhead protokol rsync atau SSH.
James Sneeringer
2

Jangan pernah meremehkan bandwidth dari station wagon yang penuh dengan kaset. 10TB akan layak dengan peralatan NAS tingkat konsumen yang relatif murah jika Anda dapat membaginya menjadi potongan (katakanlah 2TB). Jika ini hanya satu kali maka proses semi-manual mungkin bisa dilakukan, dan NAS 2TB hanya beberapa ratus dolar.

Jika Anda memerlukan proses yang berkelanjutan maka Anda dapat mengatur RSYNC setelah Anda melakukan transfer awal.

ConcernedOfTunbridgeWells
sumber
Pertanyaan awal menyebutkan bahwa ini sudah melalui jaringan lokal.
Ladadadada
1
Yang tampaknya terlalu lambat dan / atau tidak dapat diandalkan untuk tujuan OP.
ConcernedOfTunbridgeWells
2

Saya harus melakukan tugas semacam ini beberapa bulan yang lalu. Saya menggunakan rsync paralel untuk mempercepat proses. Ini membagi file yang akan ditransfer / disinkronkan dalam potongan, dan itu dapat dilanjutkan kapan saja. Lihat tautan di bawah untuk skrip rsync paralel.

https://gist.github.com/rcoup/5358786

Pierre Bergdolt
sumber
0

Anda dapat mencoba menyiapkan server FTP di server dengan data yang akan disalin dan menggunakan klien FTP dengan "resume" di sisi penerima. Saya menggunakan server dan klien Filezilla dan saya sering menggunakan fitur "resume" dari klien dan selalu berhasil tanpa hambatan.

jamesbtate
sumber