IPoIB (IP over InfiniBand) vs. kinerja RDMA

8

Saya telah mewarisi sebagian Linux HA cluster di pusat yang saat ini melayani koneksi dengan DRBD 8 melalui IPoIB (IP over InfiniBand) antara dua host Debian. Itu tidak rusak, jadi saya tidak akan memperbaikinya.

Saya juga memperhatikan bahwa DRBD 9 mendukung RDMA, jadi pertanyaannya mungkin muncul apakah akan mengganti koneksi dengan DRBD 9 melalui RDMA (yaitu InfiniBand "asli") di masa mendatang.

Karena saya tidak ingin menjalankan tes kinerja pada sistem produksi, saya bertanya-tanya: Apakah ada perbandingan kinerja yang dipublikasikan untuk IPoIB vs. RDMA / InfiniBand. Misalnya, dapatkah saya mengharapkan keuntungan bandwidth / latensi dari beralih dari IPoIB dalam urutan magniute baik 10%, 50%, atau 100%, katakan? Apa yang bisa diharapkan?

rookie09
sumber

Jawaban:

6

Pernahkah Anda melihat presentasi ini? https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand hanyalah arsitektur jaringan tertentu yang menawarkan RDMA tetapi kinerja Anda akan bergantung pada jenis aplikasi apa yang Anda jalankan. Pengalaman saya didasarkan pada sistem akademik / penelitian yang sebagian besar menggunakan aplikasi berbasis MPI. Dalam kasus-kasus tertentu saya telah melihat RDMA berkinerja 20% lebih baik daripada IPoIB. Tetapi saya tidak mengetahui adanya pembandingan seperti itu tetapi ada banyak makalah akademis yang ditulis dan juga kertas putih vendor. Jika Anda hanya berpikir tentang I / O maka pertimbangkan: ukuran file, jumlah baca dan tulis. RDMA biasanya memberikan manfaat besar untuk pembacaan kecil secara acak tetapi hanya sedikit manfaat untuk menulis. Anda mungkin ingin membaca tentang RoCE (RDMA over Converged Ethernet) dan RDMA asli InfiniBand.

Tux_DEV_NULL
sumber
Terima kasih, esp. untuk jumlah 20%. Aplikasi yang berjalan di atas adalah PostgreSQL. (Pgdata-nya berada di perangkat DRBD.)
rookie09
2
Ya untuk semua itu. Anda tidak bisa lebih cepat daripada disk di sistem Anda, tetapi dengan asumsi Anda yakin disk lebih cepat daripada jaringan yang direplikasi, maka Anda mungkin akan dapat mencicit beberapa kinerja lebih dari sistem. beralih ke RDMA.
Matt Kereczman
4
Berikut ini penjelasan (alternatif) RDMA lain yang mungkin menarik bagi Anda starwindsoftware.com/...
Net Runner