Saya baru saja pindah dan menemukan setelah beberapa percobaan dan kesalahan bahwa di suatu tempat antara rumah saya dan server jarak jauh saya, ada beberapa pelambatan yang terjadi ... tetapi pelambatan tidak terlalu cerdas. Ini hanya membatasi koneksi individual. Jadi jika saya menyalin satu file 1 GB, itu akan melanjutkan dengan gembira pada 150 kBps. Tetapi jika saya menginisialisasi 10 salinan, masing-masing akan mencapai 150 kBps (yaitu saya mendapatkan bandwidth agregat yang jauh lebih tinggi melalui beberapa koneksi).
Saya menggunakan rsync cukup sering untuk menyinkronkan beberapa dataset besar dari kantor ke rumah (untungnya dalam bentuk banyak file). Apakah ada cara untuk memberitahu rsync untuk mengunduh menggunakan banyak koneksi? Secara teoritis itu harus mungkin karena sejauh yang saya tahu, rsync pertama kali melakukan pass untuk menentukan perubahan yang diperlukan dan kemudian melakukan transmisi yang sebenarnya. Poin bonus jika ada cara ajaib untuk memberitahu rsync untuk mengiris file-file individual menjadi potongan-potongan N dan kemudian menyatukannya kembali. Saya percaya CuteFTP sebenarnya cukup pintar untuk melakukan itu.
sumber
GNU Parallel memiliki solusinya .
Saya telah memindahkan 15 TB hingga 1 Gbps dan itu dapat memenuhi tautan 1 Gbps.
Berikut ini akan memulai satu rsync per file besar dalam src-dir untuk dest-dir pada server fooserver:
Dir yang dibuat dapat berakhir dengan izin yang salah dan file yang lebih kecil tidak ditransfer. Untuk memperbaiki yang menjalankan rsync untuk yang terakhir kalinya:
sumber
Iya nih. Fitur seperti itu ada.
Ada utilitas bernama pssh yang menyediakan fungsionalitas yang dijelaskan.
Saya tidak yakin betapa mudahnya mengatur, tetapi mungkin hanya melakukan trik!
sumber
Saya tidak dapat berkomentar, jadi saya telah menambahkan jawaban baru, dengan kode yang sedikit lebih baik daripada kode sebelumnya (bagus & pintar).
Periksa
rsync
barisnya, karena berisiionice
tweak opsional .sumber
Sepertinya seseorang telah menulis utilitas ini untuk Anda. Memecah transfer menjadi potongan paralel. Ini adalah implementasi yang lebih baik daripada versi "file besar paralel" yang tercantum di bawah GNU Parallel:
https://gist.github.com/rcoup/5358786
Juga, lftp dapat memparalelkan transfer file melalui ftp, ftps, http, https, hftp, fish, sftp. Banyak kali, ada beberapa keuntungan menggunakan lftp, karena mengelola izin, akses terbatas, dll untuk rsync dapat menjadi tantangan.
sumber
Tidak. Tidak ada fitur seperti itu. Anda dapat membagi sinkronisasi menjadi beberapa panggilan
rsync
jika Anda benar-benar menginginkannya.Saya sarankan Anda menemukan apa pun yang melakukan pembatasan tingkat ini dan melakukan pembicaraan serius dengan siapa pun yang memelihara / mengelolanya.
sumber
Saya ingin mentransfer beberapa direktori (dengan banyak file) secara bersamaan, jadi saya membuat skrip kecil ini:
Saya mengerjakan skrip ini dengan cukup cepat, jadi tolong perbaiki dan ujilah sebelum menggunakannya di lingkungan produksi.
sumber
Saya membuat skrip berikut untuk mengunggah banyak folder dengan gambar secara paralel. Anda menjalankannya terlebih dahulu dengan target sinkronisasi dan kemudian semua nama folder untuk disalin.
Ini awalan nama folder dengan warna kuning untuk semua output konsol rsync agar terlihat cantik.
sumber
Aria2 adalah program klien yang baik untuk mengunduh data menggunakan banyak koneksi dari banyak mirror. Itu tidak mendukung SFTP. Jadi, saya sudah menginstal server FTP - vsftpd . Koneksi 3g saya bekerja dengan daya penuh dengan 5 koneksi ke server FTP.
sumber