Memaksimalkan kinerja dan throughput rsync - server gigabit yang terhubung langsung

Saya memiliki dua server Dell R515 yang menjalankan CentOS 6.5, dengan salah satu NIC Broadcom di masing-masing terpasang langsung ke yang lain. Saya menggunakan tautan langsung untuk mendorong cadangan dari server utama di pasangan ke sekunder setiap malam menggunakan rsync over ssh. Memantau lalu lintas, saya melihat throughput ~ 2MBps, yang jauh lebih sedikit daripada yang saya harapkan dari port gigabit. Saya telah mengatur MTU ke 9000 di kedua sisi, tetapi itu tampaknya tidak mengubah apa pun.

Apakah ada satu set pengaturan dan optimisasi yang direkomendasikan yang akan membawa saya ke throughput maksimum yang tersedia? Selain itu, karena saya menggunakan rsync over ssh (atau berpotensi hanya NFS) untuk menyalin jutaan file (~ 6Tb file kecil - toko surat Zimbra yang besar), optimasi yang saya cari mungkin perlu lebih spesifik untuk kasus penggunaan khusus saya. .

Saya menggunakan ext4 di kedua sisi, jika itu penting

Terima kasih

EDIT: Saya telah menggunakan rsyncopsi berikut dengan hasil yang hampir mirip:

rsync -rtvu --delete source_folder/ destination_folder/

rsync -avHK --delete --backup --backup-dir=$BACKUPDIR source_folder/ destination_folder/

Saat ini, saya melihat tingkat kinerja buruk yang sama ketika menggunakan cpuntuk ekspor NFS, melalui tautan kabel langsung yang sama.

EDIT2: setelah menyelesaikan sinkronisasi, saya bisa menjalankan iperfdan menemukan kinerja sekitar 990Mbits / detik, kelambatan ini disebabkan oleh dataset aktual yang digunakan.

Jumlah file dan overhead enkripsi SSH kemungkinan merupakan hambatan terbesar. Anda tidak akan melihat kecepatan kawat pada transfer seperti ini.

Pilihan untuk meningkatkan termasuk:

• Menggunakan rsync + SSH dengan algoritma enkripsi yang lebih murah (mis. -e "ssh -c arcfour")
• Menghilangkan enkripsi sepenuhnya melalui transport SSH dengan sesuatu seperti HPN-SSH .
• Transfer berbasis blok. Snapshots, dd, ZFS snapshot send / receive , dll
• Jika ini adalah transfer satu kali atau jarang, gunakan tar, netcat ( nc), mbuffer atau kombinasi.
• Periksa tuned-admpengaturan CentOS Anda .
• Menghapus atime dari mount sistem file Anda. Meneliti opsi pemasangan sistem file lainnya.
• NIC mengirim / menerima buffer.
• Tuning rsyncperintah Anda . Apakah -Wopsi seluruh file masuk akal di sini? Apakah kompresi diaktifkan?
• Optimalkan subsistem penyimpanan Anda untuk jenis transfer (SSD, hitungan spindle, cache pengontrol RAID.)

Seperti yang Anda ketahui, menyalin banyak file kecil (mis. Kotak surat menggunakan format MailDir atau sejenisnya) jelas bukan pilihan terbaik untuk memanfaatkan antarmuka bandwidth tinggi. SSH mungkin juga bukan protokol transportasi terbaik untuk itu. Saya akan mencoba menggunakan tar untuk membuat tarball pada host sumber sebelum mengirimkannya kepada Anda host sekunder.

tar c /var/mail | ssh root@secondary-host 'tar x -C /var/backups'

Jika Anda perlu cadangan tambahan, Anda mungkin ingin mencoba -gopsi tar. Jika Anda masih perlu memaksimalkan throuput, coba gunakan netcat daripada ssh.

Coba pisahkan faktor-faktor yang berkontribusi:

• CPU (mis. Hh dari / dev / nol disalurkan melalui loopback)
• disk I / O (mis. dd dari file besar yang disalurkan ke cat> / dev / null [disalurkan untuk mencegah korsleting])
• I / O jaringan fisik (mis. dd disalurkan ke mesin lain)
• dll.

dan mengujinya secara mandiri.

Saya memiliki beberapa pengalaman buruk dengan driver Broadcom, jadi saran pertama saya adalah menguji bandwidth jaringan yang dapat digunakan dengan: dd if=/dev/zero bs=1m count=10k | rsh backup_host cat \> /dev/null