Membangun cluster rumah - analisis perangkat keras dan biaya [ditutup]

14

Adakah yang tahu beberapa tautan / buku / apa pun yang dapat Anda pikirkan, yang menggambarkan proses membangun cluster rumah kecil (ketika saya mengatakan rumah , itu tidak selalu berarti untuk tetap di rumah - hanya berarti itu relatif murah dan kecil) untuk tujuan eksperimental, dengan penekanan khusus pada perangkat keras apa yang memadai hari ini, dan semacam analisis biaya?

Meskipun, jika seseorang di sini melakukannya, saya menghargai semua pengalaman yang dapat Anda bagikan.

cluster Benteng
sumber
2
Cluster macam apa? SQL Cluster? Pertanian web? Render pertanian? Ini adalah detail penting saat menentukan perangkat keras.
tsilb
1
Perhitungan numerik; CFD (tidak masuk ke banyak detail) - memparalelkan kode fortran.
Benteng

Jawaban:

8

Helmer datang ke pikiran. :)

churnd
sumber
1
OK, itu halaman yang sangat rapi, dan membuat cluster DeCeleron 4node saya yang miskin tidak tampak signifikan.
Bill B
Halaman bagus! Suka kabinet IKEA :) (mungkin bukan solusi terbaik, tapi tetap lucu)
Rook
Untuk menjelaskan, ini adalah render farm berbasis CPU. Ini adalah 6 mesin Intel Quad Core yang dimasukkan ke dalam lemari arsip dari IKEA (nama produk adalah Helmer). Rupanya kabinet memiliki lubang yang dibuat di dalamnya (bukan oleh IKEA) di bagian belakang yang memungkinkan pemasangan PSU dan KIPAS di 6 titik.
dlamblin
4

Ada beberapa kluster Ikea yang ditampilkan di Hack A Day:

Drew Stephens
sumber
3

Lihatlah buku-buku Beowulf Cluster Computing oleh Thomas Sterling (satu untuk Linux & satu untuk Windows). Mereka memberi tahu Anda semua yang perlu Anda ketahui tentang menggunakan MPI untuk membuat node Anda berbicara satu sama lain.

Seorang teman & saya membangun sekelompok 8 kotak menggunakan beberapa perangkat keras yang sangat jelek dan menjalankan Windows XP pada mereka. Ini seperti kotak Pentium I - 90 MHz. Jauh di bawah spesifikasi yang diperlukan untuk Windows, tetapi itu berjalan dengan baik. Kami juga menjalankan SQL Server 2000 pada mereka (juga jauh di bawah spesifikasi yang disarankan) dan melakukan beberapa pemodelan black-scholes penetapan harga opsi saham pada mereka.

Sulit untuk merekomendasikan jenis perangkat keras apa yang memadai tanpa mengetahui apa yang ingin Anda lakukan dengan cluster Anda. Tetapi intinya adalah bahwa Anda dapat membangun sekelompok apa saja.

Nathan DeWitt
sumber
Tidakkah Anda mempercayainya, saya memesan judul itu kemarin! Sekarang tunggu sampai tiba :) Pentium 90 - wow, itu sudah tua. Bagaimana cara kerjanya, halus atau dengan gangguan? Bisakah Anda memberikan perbandingan dengan beberapa yang setara modern? Btw itu sebenarnya ide yang cukup bagus untuk apa yang saya coba lakukan, karena jenis perangkat keras saat ini bisa dibilang praktis gratis (tetap murah murah). Saya mencoba membangunnya untuk tujuan paralelisasi beberapa kode, jadi saya bereksperimen pada saat yang sama dengan kode, dan bagian perangkat keras. Ini adalah eksperimen pembelajaran untuk melihat bagaimana hasilnya.
Benteng
1
Biaya menjalankan perangkat keras yang lama sangat mahal, dalam hal daya / kerja; beberapa mesin 90MHz akan menggunakan banyak listrik untuk menghasilkan kerja yang setara dengan mesin tunggal yang lebih efisien. Saya tertarik dengan proyek Anda, tetapi ... ketahuilah bahwa itu bisa mahal dengan cara yang menarik ... =]
David mengatakan mengembalikan Monica
kinerja baik-baik saja. itu adalah proyek untuk sekolah, dan perangkat keras kami adalah apa pun yang telah diletakkan oleh sekolah. kami juga tidak peduli dengan masalah kekuasaan, tetapi ricebowl benar-benar benar. mereka adalah monster yang keras.
Nathan DeWitt
@ricebowl - Pada titik ini, itu bukan masalah. 90Mhz adalah ide yang bagus karena kita punya mereka berbaring, jadi tidak ada biaya di sana. Elec. juga bukan masalah, karena perusahaan membayarnya, daya yang digunakan oleh komputer dapat diabaikan di sana. Pada titik ini saya sedang mempelajari dasar-dasarnya, perangkat keras baru selalu dapat diperoleh jika diperlukan.
Benteng
@Nathan DeWitt - kenyaringan juga tidak menjadi masalah. Saya tidak keberatan dengan suaranya (selalu tampak menenangkan bagi saya), dan toh tidak ada orang di sekitar mereka.
Benteng
2

Alternatif untuk memiliki banyak node cluster fisik adalah membuat mesin virtual. Anda hanya akan memiliki satu atau dua mesin fisik yang sebenarnya, tetapi dapat mensimulasikan memiliki lebih banyak node. Ini akan bekerja dengan baik untuk membuat, belajar, dan menggunakan lebih sedikit sumber daya (ruang, daya, $$$).

Ini tidak akan memberi Anda banyak analisis biaya, tetapi itu akan membantu Anda memulai. Jenis pengaturan cluster akan tergantung pada jenis pekerjaan yang ingin Anda buat untuk itu. Anda dapat banyak node kecil atau hanya memiliki beberapa node yang kuat. Ada lingkungan memori bersama dan non-berbagi untuk dipertimbangkan juga. Apa jenis program paralel yang ingin Anda buat? Semakin banyak node fisik yang Anda miliki, semakin banyak ruang, daya, pendinginan, dan konektivitas jaringan yang harus Anda pertimbangkan. Kadang-kadang, hanya satu komputer besar besar adalah cara untuk pergi (dan lingkungan memori bersama lebih mudah diprogram untuk IMHO).

Saya baru-baru ini mulai bermain dengan cluster membangun beberapa kotak P4 acak, ubuntu, dan LAM-MPI. Sudah pasti pengalaman belajar.

Itu sebenarnya beberapa laptop p4 dan menara hanya ditumpuk bersama di garasi. Itu ghetto, tetapi saya hanya ingin belajar. Saya hanya menggunakan jaringan ethernet 100 Mbps. Saya memilih ubuntu, karena saya tidak ingin berurusan dengan banyak konfigurasi perangkat keras dari kotak. Ubuntu memiliki banyak driver yang saya butuhkan. Saya membutuhkan lingkungan linux karena aplikasi yang saya tulis untuk itu adalah aplikasi berbasis C dengan antarmuka MPI. Saya mencoba meniru apa yang saya gunakan sebelumnya. Itu semua misc. perangkat keras, tidak ada standar. Sebagian besar cluster memiliki perangkat keras yang tepat sehingga Anda dapat menambah dan menghapus node dalam sekejap.

Troggy
sumber
Yah, saya punya banyak workstation lama yang saya miliki. Dari pentium awal hingga yang hingga 266 Mhz. Kamar dan kekuatan saya punya banyak. Kebisingan juga bukan masalah, itu bukan orang dekat (ya, kalau-kalau Anda bertanya-tanya, saya tidak menganggap diri saya anggota umat manusia :) Perangkat keras baru selalu bisa didapat nanti jika diperlukan, tetapi untuk sekarang saya Saya mencoba menghindari biaya yang tidak perlu, jika saya bisa, dengan memainkannya. Saya mencoba untuk memparalelkan beberapa kode fortran (tidak lama) (CFD, FVM). Pada titik ini saya sebagian besar intersted dalam perakitan perangkat keras, prinsip-prinsip menjalankan OS, dan mendapatkan pegangan umum pada hal
Rook
Virtualisasi tidak banyak berguna jika itu semua tentang perhitungan numerik yang terikat CPU.
Tadeusz A. Kadłubowski
Jika saya tidak bertanya terlalu banyak, bagaimana Anda menghubungkan mereka bersama (bukan hanya internal, tetapi di mana Anda menempatkan mereka (menara besar? Masalah pendinginan?))? Kenapa ubuntu?
Benteng
@ Idigas Menambahkan paragraf ke jawaban saya.
Troggy
1

Bergantung pada apa yang Anda coba lakukan, pertimbangkan untuk mengembangkan sistem Anda pada sekelompok mesin virtual. Menggunakan solusi virtualisasi OS seperti OpenVZ atau Virtuozzo Parallel atau Solaris Containers akan membuat Anda meningkatkan kerapatan yang sangat besar dibandingkan dengan virtualisasi sistem penuh (mis. VirtualBox / VirtualPC / Xen / VMWare). Kemudian ketika Anda benar-benar perlu menggunakan sistem untuk beberapa kinerja jalankan "di cloud" di EC2 Amazon atau serupa.

timday
sumber
Saya berharap untuk menggunakan kembali beberapa perangkat keras yang lebih lama yang saya dapatkan saat ini, jadi virtualisasi tidak begitu menarik bagi saya.
Benteng
1

Saya akan mulai dengan melihat proyek LittleFE ( http://littlefe.net/ ) atau Bootable Cluster CD ( http://bccd.net/ ), secara pribadi. Juga lihat proyek Ubuntu Cloud ( http://www.ubuntu.com/cloud ).

Lebih banyak atau lebih sedikit perangkat keras apa pun harus bekerja. Saya akan cenderung melihat beberapa bentuk kesepakatan penutupan atau mesin yang datang untuk mengambil beberapa perangkat keras murah.

warren
sumber
0

Lihatlah Rocks yang merupakan distribusi cluster yang membuat cluster bangunan benar-benar mudah. Ini juga menskala hingga setidaknya beberapa node yang diburu.

Jimmy Hedman
sumber