Mengoptimalkan rsync untuk mentransfer file besar dengan cepat

19

Inilah yang saya butuhkan:

  • Daemon Rsync berjalan pada server sumber. Server tujuan melakukan rsync pull seperti di bawah ini: 
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • File biner besar (3 GB hingga 5 GB) disalin dari mesin sumber ke tujuan melalui LAN. Jadi tidak ada enkripsi / dekripsi yang diperlukan. Karenanya tidak menggunakan SSH. Mesin tujuan langsung terhubung ke daemon rsync.
  • Folder tujuan akan selalu kosong sebelum rsync menarik. Jadi saya tidak perlu khawatir tentang memperbarui beberapa file dengan syarat. Tarik Rsync akan selalu membuat file baru di tujuan (bukan memperbarui). Karenanya saya tidak perlu rsync untuk menghitung checksum.

Saya tidak puas dengan jumlah CPU yang dikonsumsi oleh rsync di sisi penerima? Opsi rsync apa yang akan membantu saya mengoptimalkan penggunaan rsync dalam kasus yang dijelaskan di atas. Yang saya khawatirkan adalah rsync mungkin melakukan lebih dari yang saya butuhkan. file rsync checksums. Saya tidak butuh itu.

Juga ingin melihat peningkatan kecepatan.

Mengubah ukuran blok, menonaktifkan checksum dll akan membantu?

rsync files Varun
sumber
Jangan gunakan rsync jika tidak ada delta untuk ditransfer.
womble
3
@ womble: Alat apa yang harus saya gunakan? Rsync disarankan di sini- serverfault.com/questions/384467/…
Varun
netcat, atau scp dengan null cipher.
womble
3
Scp dengan null cipher? Apakah Anda yakin scp mendukung null cipher. Bisakah Anda memberi satu contoh atau mengarahkan saya ke sumber daya yang relevan?
Varun

Jawaban:

25

Sepertinya Anda mungkin ingin melihat --whole-fileatau -Wberalih. Ini diaktifkan secara default jika rsync melakukan salinan filesystem lokal, tapi saya pikir dokumen merekomendasikan penggunaannya jika kecepatan LAN tinggi dan menyinkronkan melalui jaringan.

Pada dasarnya, ini menonaktifkan algoritma rsync delta dan hanya mentransfer seluruh file jika dianggap berbeda.

Anda tidak perlu khawatir tentang checksumming kecuali Anda memaksa -c. Secara default, ini hanya melihat waktu modifikasi terakhir dan ukuran file, dan mengasumsikan file berbeda jika nilainya berbeda.

menggeram
sumber