Mentransfer sekitar 300gb dalam file dari satu server ke yang lain

Saya memiliki sekitar 200.000 file yang saya transfer ke server baru hari ini. Saya belum pernah melakukan apapun dalam skala besar seperti ini sebelumnya, dan ingin mendapatkan saran tentang bagaimana saya harus melakukan ini. Saya memindahkan mereka antara dua distro Centos 6, dan mereka berada di lokasi yang berbeda di negara ini. Saya tidak memiliki cukup ruang HDD pada server asli untuk mengumpulkan semua direktori dan file menjadi satu tarball besar, jadi pertanyaan saya adalah bagaimana saya harus mentransfer semua file ini? rsync? beberapa cara khusus menggunakan rsync? Setiap masukan / saran tentang cara melakukannya akan luar biasa.

Terima kasih

EDIT: Bagi mereka yang bertanya-tanya, saya SANGAT menyarankan menggunakan screenketika menjalankan rsyncperintah besar seperti ini. Terutama ketika sesuatu yang konyol dapat terjadi dan Anda kehilangan koneksi ke server A tempat Anda menjalankan rsyncperintah. Kemudian lepaskan layar dan lanjutkan lagi nanti.

Untuk menyempurnakan jawaban Simon , rsyncadalah alat yang sempurna untuk pekerjaan itu:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Dengan asumsi Anda memiliki akses ssh ke mesin jarak jauh, Anda ingin melakukan sesuatu seperti ini:

rsync -hrtplu path/to/local/foo [email protected]:/path/to/remote/bar

Ini akan menyalin direktori path/to/local/fooke /path/to/remote/barpada server jauh. Subdirektori baru bernama bar/fooakan dibuat. Jika Anda hanya ingin menyalin konten direktori, tanpa membuat direktori nama itu pada target, tambahkan garis miring:

rsync -hrtplu path/to/local/foo/ [email protected]:/path/to/remote/bar

Ini akan menyalin isi dari foo/ke direktori jauh bar/.

Beberapa opsi yang relevan:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Itu tergantung pada seberapa cepat itu perlu disalin, dan berapa banyak bandwidth yang tersedia.

Untuk koneksi jaringan yang buruk, pertimbangkan bandwidth truk yang diisi dengan kaset. (Baca: kirim HDD 2,5 inci, atau drive saja di sana sendiri. 300 gigabit drive seharusnya mudah ditemukan).

Jika waktu kurang kritis atau Anda banyak bandwidth maka rsync sangat bagus. Jika ada kesalahan, Anda dapat melanjutkan tanpa menyalin kembali file sebelumnya.

[Sunting] Saya lupa menambahkan bahwa Anda dapat menjalankan rsync beberapa kali jika data Anda digunakan selama penyalinan.

Contoh:
1) Data sedang digunakan. Rsync -> Semua data akan disalin. Ini mungkin memakan waktu.
2) Jalankan rsync lagi, hanya file yang diubah disalin. Ini harus cepat.

Anda dapat melakukan ini beberapa kali hingga tidak ada perubahan, atau Anda dapat melakukannya dengan cerdas / aman dengan membuat data hanya-baca selama penyalinan. (mis. jika berada di set bersama yang digunakan yang hanya dibagikan untuk dibaca. Atau rsync datanya, lalu pada malam hari setel hanya-baca saat Anda menjalankannya untuk kedua kalinya).

Saya akan pergi untuk rsync! Saya menggunakannya untuk membuat cadangan server saya ke server luar kantor dan berfungsi dengan baik. Biasanya ada beberapa MB untuk disalin tetapi beberapa hari itu berjalan hingga 20-30GB dan itu semua berfungsi tanpa masalah.

rsync melalui NFS menggunakan koneksi Gigabit akan memakan waktu hampir 10 jam. Akan lebih baik untuk menyalin data pada HDD dan memindahkannya di antara server. Jika Anda perlu menyalin satu-ke-satu disk sebenarnya, gunakan dd atau semacamnya, untuk membuat gambar mentah disk. Menggunakan ssh (scp) menyebabkan overhead yang sangat besar. Diuji secara empiris pada koneksi Gigabit. rsync baik dalam melakukan sinkronisasi tambahan antara dua server yang digunakan dalam HA atau dalam mode cadangan. Saya kira.

pertama kali menggunakan NFS dan tar / untar (NFS adalah protokol tercepat dalam hal ini, tar untuk menghemat bandwidth jaringan dengan lebih banyak pemanfaatan CPU)

tar cf - * | ( cd /target; tar xfp -)

lain kali gunakan rsync