Beberapa server bertindak seperti satu dengan semua perangkat keras? [Tutup]

12

sekarang saya memiliki 10 server untuk HPC, berorientasi komputasi daya. Pengguna saya perlu meluncurkan beberapa proses menggunakan qmake. Para pengguna terbiasa bekerja dengan ubuntu 9.10, dan perangkat lunak dari repositori dapat ditukar untuk mereka.

Saya telah menggunakan ubuntu 9.10 untuk semua 10 server (pxe rocks).

Sekarang kami bekerja dengan paralel-ssh dan cluster-ssh, yang memungkinkan untuk meluncurkan proses yang sama ke semua server. Dengan alat ini alat ini server tetap independen tetapi dengan perangkat lunak yang sama dan perintah yang diluncurkan sama.

Sekarang kami ingin pergi ke langkah berikutnya dan melihat semua server sebagai satu dengan semua sumber daya dari yang lain seolah-olah sumber dayanya.

Perbedaannya akan sangat besar dalam waktu untuk memproses dan juga waktu untuk merancang perintah untuk diluncurkan.

Adakah saran untuk menggunakan perangkat lunak yang akan sangat berguna?

Terima kasih

linux cluster gridengine Marc Riera
sumber
Untuk mengimplementasikan jenis cluster yang Anda maksudkan akan membutuhkan penulisan ulang perangkat lunak sehingga dirancang untuk dieksekusi pada platform tersebut. Apakah penulisan ulang perangkat lunak dalam ruang lingkup? Jika tidak, saya tidak mengetahui solusi yang akan berfungsi seperti yang telah Anda jelaskan.
Chris Thorpe
en.wikipedia.org/wiki/PVM
a sandwhich

Jawaban:

4

Apa yang Anda bicarakan disebut Single System Image (SSI) . Varian yang paling umum dari skema ini untuk Linux diimplementasikan oleh MOSIX . Sementara itu memang memberikan beberapa keuntungan dalam hal manajemen sistem, dalam proses umum tidak dapat menjangkau beberapa node tanpa menggunakan beberapa bentuk MPI . Pada dasarnya apakah Anda menggunakan kluster "standar" yang berjalan di gridengine atau Anda membentuk sistem Anda menjadi satu gambar, Anda masih perlu memodifikasi semua perangkat lunak untuk dapat menjangkau beberapa node.

Kamil Kisiel
sumber
2

Cluster bukan mesin tunggal untuk kinerja, fs / memori lokalitas penting untuk kinerja.

Melakukan hal-hal di tingkat aplikasi, sementara kurang umum, lebih hemat sumber daya. Contoh qmake Anda dapat dipercepat secara signifikan dengan mengatur distcc.

Tobu
sumber
2

pada akhirnya saya menggunakan Sun Grid Engine.

Saya telah mendokumentasikan dalam wiki pribadi, dan memotong dan menempel di blog saya. Saya pikir ini bisa berguna bahkan tanpa terjemahan. ;)

Entri Blog: http://suportrecerca.barcelonamedia.org/blog/?p=240

Jika seseorang menginginkan kode wiki, tanyakan di sini.

Terima kasih.

Marc Riera
sumber
1

Saya belum pernah menerapkannya sebelumnya, tapi sepertinya kluster beowulf akan bekerja untuk apa yang Anda coba lakukan. Saya telah melakukan banyak membaca tentang ini di masa lalu dan untuk beberapa proses yang lebih sederhana akan ada sedikit pengodean ulang tergantung pada apa yang Anda coba capai.

einstiien
sumber