Sebuah cluster komputasi EC2 Amazon berharga sekitar $ 800 - $ 1000 (tergantung pada siklus tugas) per inti CPU fisik selama 3 tahun. Dalam putaran terakhir akuisisi perangkat keras kami, lab saya mengambil perangkat keras senilai 48 core yang sangat mirip dengan cluster Amazon dengan harga sekitar $ 300 per inti.
Apakah saya melewatkan sesuatu di sini? Apakah ada situasi di mana masuk akal secara ekonomi untuk membangun sebuah cluster di cloud untuk tugas-tugas CPU yang tinggi seperti simulasi dinamika molekul? Atau apakah aku selalu lebih baik hanya membangun dan mengasuh sendiri mesin dang?
(Saya harus menyebutkan bahwa lab saya tidak membayar listrik di ruang server kami (setidaknya tidak secara langsung), tetapi bahkan dengan manfaat ini Amazon masih tampak sangat mahal).
sumber
Jawaban:
Keuntungan utama, menurut saya, menggunakan sumber daya berbasis Cloud adalah fleksibilitas, yaitu jika Anda memiliki beban kerja yang fluktuatif, Anda hanya membayar untuk apa yang Anda butuhkan.
Jika ini tidak terjadi dalam aplikasi Anda, yaitu Anda tahu Anda akan memiliki beban kerja yang dapat diukur dan konstan, maka Anda mungkin lebih baik membangun cluster sendiri. Di Cloud, Anda membayar untuk fleksibilitas, dan jika Anda tidak membutuhkan fleksibilitas, Anda akan membayar untuk sesuatu yang tidak Anda butuhkan.
Jika beban kerja Anda fleksibel tetapi agak intens dan bergantung pada fitur perangkat keras tertentu (lihat jawaban aeismail), Anda mungkin ingin mencoba berbagi cluster dengan orang lain di universitas Anda untuk mengamortisasi siklus idle. Universitas lama saya menjalankan kluster bersama dengan "Model Pemegang Saham" di mana setiap grup dijamin mendapat bagian dari daya komputasi yang sebanding dengan investasi mereka dalam perangkat keras dan siklus idle dapat digunakan oleh siapa saja. Satu-satunya kesulitan adalah memusatkan administrasi cluster.
sumber
Ada beberapa hal yang perlu dikhawatirkan saat melakukan komputasi awan dengan simulasi MD. Misalnya, Anda perlu khawatir tentang tata letak fisik prosesor di server farm di mana pekerjaan ini akan berjalan. Alasannya adalah bahwa, tergantung pada ukuran simulasi Anda, dan jenis perhitungan yang Anda jalankan (misalnya, sistem dengan elektrostatik), Anda mungkin sangat bergantung pada FFT — dan mendorong elektron ke berbagai prosesor dalam kelompok raksasa. dapat menjadi bagian yang sangat memakan waktu dari total waktu komputasi.
Selain itu, untuk sesuatu yang intensif data seperti MD, Anda harus memastikan bahwa Anda memiliki unggahan dan unduh koneksi yang cepat ke server, serta batasan yang masuk akal pada penyimpanan data. Jika tidak, banyak penghematan biaya bisa terhapus dalam hilangnya produktivitas dan biaya penyimpanan.
Untuk apa nilainya, lembaga kami baru saja membeli sekitar ~ 240 core untuk cluster lokal kami dengan biaya di bawah € 500 per inti. Biaya itu termasuk hosting dan administrasi, plus layanan, di kampus kami selama empat tahun. Atas dasar tahunan yang tampaknya sangat murah. Saya pikir itu mungkin yang terbaik dari kedua dunia — akses lokal, tetapi dikelola secara profesional tanpa memerlukan tim TI kami sendiri.
sumber
Saya tidak punya pengalaman langsung dengan layanan cloud seperti Amazon EC2, tetapi biaya aktual per inti kemungkinan jauh lebih besar daripada yang Anda sebutkan: itu adalah biaya pembelian awal, listrik, pendinginan, ruang di gedung, perangkat keras pengganti. Ditambah biaya administrasi: menyiapkan OS dan layanan cluster, menjaga OS tetap up to date, mengatasi masalah antrian, dll. Saya sama sekali tidak akan terkejut jika jumlah semua ini dua kali lipat dari biaya pembelian awal. Tentu saja Anda mendapatkan fleksibilitas.
Bagi saya, model ini turun ke skala: Jika Anda memiliki cluster yang benar-benar besar (1000 core atau lebih) maka Anda dapat mengamortisasi waktu kerja, perbaikan, administrasi sistem karena ada cukup yang harus dilakukan untuk membuat profesional tetap sibuk. Jika Anda memiliki sekelompok kecil di mana tidak ada gunanya orang yang berdedikasi melakukannya, maka kemungkinan Anda membuat seseorang melakukannya yang pekerjaan pertamanya adalah melakukan sains, dan dalam hal ini waktu orang ini dihabiskan dengan buruk untuk pekerjaan administrasi seperti itu. Di sinilah layanan-permintaan seperti server cloud bersinar.
sumber
Sebagai tambahan untuk beberapa jawaban yang sudah sangat bagus, ada faktor lain yang perlu dipertimbangkan:
Saya telah menemukan sejumlah hibah non-sepele yang tidak akan dalam keadaan apa pun membayar biaya perangkat keras, tetapi akan membayar waktu komputasi pada sesuatu seperti EC2. Jadi dalam beberapa keadaan pendanaan, sementara Anda mungkin dapat mendanai sekelompok "testbed" kecil dengan dana tidak terstruktur atau paket startup lab, untuk proyek-proyek skala besar mungkin merupakan satu-satunya cara untuk mendanai biaya komputasi Anda.
Pertimbangkan NIH:
Meskipun mungkin untuk meletakkan mesin cluster di bawah tajuk peralatan $ 5.000 +, dan Anda dapat membuat argumen yang bagus untuk itu, saya telah menemukan kedua pengulas yang gelisah tentang hal itu, dan universitas yang ragu-ragu tentang biaya berkelanjutan untuk mempertahankan sistem.
Beberapa hibah bahkan lebih ketat. Satu hibah yang saat ini saya baca adalah sebagai berikut:
Sering kali lebih mudah untuk mendapatkan cluster yang dibayar dengan biaya langsung jika berbasis EC2 atau salah satu dari banyak analog daripada membeli perangkat keras, terutama jika lembaga Anda pelit dengan biaya tidak langsung. Ini mungkin tidak berlaku untuk Anda, tetapi untuk beberapa orang.
sumber
Sudah banyak jawaban tuhan. Saya hanya ingin menambahkan dua poin kecil.
1.) Saya tahu bahwa IBM menawarkan sesuatu yang serupa. Jadi tergantung pada aplikasi Anda, mungkin ada baiknya membandingkan berbagai penawaran. Tidak hanya berkenaan dengan biaya tetapi juga peralatan.
2.) Tentu saja sebagian besar lab terlalu kecil untuk dapat berinvestasi ke dalam cluster mereka sendiri. Dengan demikian pertanyaannya adalah apakah tidak mungkin untuk mengumpulkan beberapa laboratorium bersama dan berinvestasi dalam kelompok yang dibagi antara laboratorium yang berbeda. Ini selain efek berbagi biaya yang jelas juga keuntungan dari distribusi beban yang lebih merata.
sumber