apakah mungkin untuk menangani array RAID perangkat keras (LUN) sebagai drive OSD?

Saya cukup baru untuk ceph dan mencoba mencari tahu apakah ceph mendukung hardware raid tingkat HBA.

Sedihnya tidak dapat menemukan informasi. Apa yang saya temukan adalah, bahwa disarankan untuk menggunakan disk biasa untuk OSD. Tetapi ini mendorong persyaratan PCIe, antarmuka disk ke bandwidth tinggi dan persyaratan CPU sangat tinggi. Pengontrol RAID perangkat keras telah menyelesaikan persyaratan ini dan memberikan redundansi tinggi berdasarkan pengaturan tanpa memakan PCIe, CPU, atau sumber daya lainnya.

Jadi pengaturan yang saya inginkan adalah memiliki pengontrol RAID lokal, yang menangani redundansi disk saya pada level pengontrol (Raid 5, raid 6) apa pun level RAID yang saya butuhkan. Di atas apa RAID LUN saya ingin menggunakan ceph untuk melakukan replikasi tingkat yang lebih tinggi antara: host, sasis, rak, baris, pusat data atau apa pun yang mungkin atau dapat direncanakan dalam CRUSH

Adakah pengalaman dalam pengaturan itu?

Apakah ini pengaturan yang disarankan?

Adakah dokumentasi yang mendalam untuk integrasi RAID perangkat keras ini?

Anda tidak bisa berarti Anda harus melakukannya. Memetakan RAID LUN ke Ceph dimungkinkan, tetapi Anda menyuntikkan satu lapisan tambahan abstraksi dan jenis render, setidaknya bagian dari fungsi Ceph tidak berguna.

Utas serupa di milis mereka:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

Tetapi ini mendorong persyaratan PCIe, antarmuka disk ke bandwidth tinggi dan persyaratan CPU sangat tinggi.

Tidak juga, banyak beban kerja penyimpanan dilayani dengan baik dengan CPU umum umum dan interkoneksi.

Ya, pengontrol RAID menangani redundansi dengan segenggam disk dalam satu sasis. Tapi itu biaya dan kompleksitas ketika Anda menjalankan solusi penyimpanan terdistribusi multi node yang sudah redundan seperti Ceph. Mengapa repot-repot membuat mirror disk fisik ketika Ceph sudah memiliki banyak salinannya?

Blok bangunan dari solusi semacam itu hanyalah sekelompok disk. Seperti Open Vault Open Vault Storage . 30 spindle dalam enklosur, yang dilampirkan ke simpul komputasi mungkin beberapa lusin inti CPU. Tambahkan node sebanyak yang Anda perlu skala. Anda dapat meninggalkan komputasi yang didedikasikan untuk Ceph jika Anda ingin memaksimalkan throughput.

Pengaturan yang disarankan adalah menggunakan disk tunggal atau, akhirnya, disk dalam pasangan RAID-1.

Pengontrol SAS tunggal (atau pengontrol RAID dalam mode JBOD) dapat menggerakkan beberapa ratus disk tanpa masalah.

Menggunakan array yang sangat besar mengalahkan tujuan CEPH yaitu untuk menghindari satu titik kegagalan dan "titik panas". Ini juga akan benar-benar membahayakan redundansi Anda.

Katakanlah Anda ingin membangun klaster CEPH 1 PB menggunakan drive 8 TB, menggunakan sasis server 36 disk (perangkat keras mirip Supermicro). Mari kita bandingkan pengaturan dengan dan tanpa RAID dalam hal kapasitas dan keandalan penyimpanan:

• Dengan RAID-6 Anda membutuhkan 5 sasis (dan 10 OSD).

  • Setiap sasis akan memiliki 2 18 disk array RAID.
  • Anda akan memiliki penyimpanan 1024 TB.
  • Jika terjadi kerusakan banyak disk, Anda harus membangun kembali 256 TB.

• Dengan sasis CEPH dan 5 Anda akan memiliki 180 OSD.

  • Kapasitas yang tersedia akan sedikit lebih unggul (menggunakan pengkodean penghapusan): 1152 TB
  • dalam kasus kerusakan beberapa disk, Anda harus membangun kembali hanya jumlah disk yang gagal (kecuali seluruh server, itu akan selalu kurang dari 256 TB).