Mentransfer jutaan file dari satu server ke server lain

Saya punya dua server. Salah satunya memiliki 15 juta file teks (sekitar 40 GB). Saya mencoba mentransfernya ke server lain. Saya mempertimbangkan untuk zip mereka dan mentransfer arsip, tetapi saya menyadari bahwa ini bukan ide yang baik.

Jadi saya menggunakan perintah berikut:

scp -r usrname@ip-address:/var/www/html/txt /var/www/html/txt

Tetapi saya perhatikan bahwa perintah ini hanya mentransfer sekitar 50.000 file dan kemudian koneksi terputus.

Apakah ada solusi yang lebih baik yang memungkinkan saya untuk mentransfer seluruh koleksi file? Maksud saya menggunakan sesuatu seperti rsyncuntuk mentransfer file yang tidak dapat ditransfer ketika koneksi terputus. Ketika interupsi koneksi lain akan terjadi, saya akan mengetik perintah lagi untuk mentransfer file, mengabaikan yang sudah berhasil ditransfer.

Ini tidak mungkin dengan scp, karena selalu dimulai dari file pertama.

Seperti yang Anda katakan, gunakan rsync:

rsync -azP /var/www/html/txt/ username@ip-address:/var/www/html/txt

Opsinya adalah:

-a : enables archive mode, which preserves symbolic links and works recursively
-z : compress the data transfer to minimise network usage
-P : to display a progress bar and enables you to resume partial transfers

Seperti yang dikatakan @aim dalam jawabannya, pastikan Anda memiliki jejak di /direktori sumber (keduanya juga baik-baik saja).

Info lebih lanjut dari halaman manual

Cukup gunakan rsync di atas ssh!

rsync -av username@ip:/var/www/html/txt /var/www/html/

Dari halaman manual:

-a , - arsip : Ini sama dengan -rlptgoD. Ini adalah cara cepat untuk mengatakan bahwa Anda ingin rekursi dan ingin mempertahankan hampir semua hal (dengan -H merupakan kelalaian yang menonjol). Satu-satunya pengecualian untuk kesetaraan di atas adalah ketika --files-from ditentukan, di mana case -r tidak tersirat.

-v , - verbose : Opsi ini meningkatkan jumlah informasi yang Anda berikan selama transfer. Secara default, rsync bekerja secara diam-diam. Satu -v akan memberi Anda informasi tentang file apa yang sedang ditransfer dan ringkasan singkat di bagian akhir. Opsi dua -v akan memberi Anda informasi tentang file apa yang dilewati dan sedikit lebih banyak informasi di bagian akhir. Lebih dari dua opsi -v seharusnya hanya digunakan jika Anda men-debug rsync.

Perhatikan bagaimana saya menggunakan garis miring di akhir folder - ini penting .

Gunakan lftp, ini jauh lebih cepat daripada rsync dan yang terbaik untuk mirroring situs web (banyak file kecil). Itu juga dapat mentransfer secara paralel menggunakan beberapa koneksi:

lftp -u username,password sftp://ip-address -e 'mirror --only-newer --no-dereference --parallel=5 /remote/path/ /destination/;quit'

Jika satu koneksi terputus akan terhubung kembali dan melanjutkan. Jika Anda memutuskan transfer, ia akan melewati file yang ada dan melanjutkan.

http://lftp.yar.ru/

Cara lain adalah dengan memipip file tar (opsional dikompresi) melalui ssh:

tar -czf - ./* | ssh other.host.foo "cd /tmp; tar -xzf-"