Mengapa Enterprise Storage sangat mahal?

Ini adalah Pertanyaan Canonical tentang Biaya Penyimpanan Perusahaan.
Lihat juga pertanyaan berikut:

• Apa cara terbaik untuk menjelaskan masalah penyimpanan kepada pengembang dan pengguna lain

Mengenai pertanyaan umum seperti:

• Mengapa saya harus membayar 50 dolar per bulan per gigabyte penyimpanan ekstra?
• Server file kami selalu kehabisan ruang, mengapa sysadmin kami tidak hanya membuang drive 1TB tambahan di sana?
• Mengapa peralatan SAN begitu mahal?

Jawaban di sini akan berupaya memberikan pemahaman yang lebih baik tentang cara kerja penyimpanan tingkat perusahaan dan apa yang memengaruhi harga. Jika Anda dapat memperluas Pertanyaan atau memberikan wawasan tentang Jawaban, silakan posting.

1. Kapasitas hard disk server sangat kecil dibandingkan dengan kapasitas hard disk desktop. 450 dan 600GB bukanlah ukuran yang tidak biasa untuk dilihat di server baru, dan Anda dapat membeli banyak drive desktop SATA 4TB dengan harga satu hard drive SAS (server) 600GB.

2. Hard drive SATA Anda di PC desktop di rumah seperti mobil berotot dari Ford, atau GM atau Mercedes atau pabrikan mobil lain untuk orang setiap hari (V8 atau V12 kapasitas besar, 5 atau 6 liter). Karena mereka perlu dikendarai oleh orang-orang yang tidak memiliki lisensi balap, atau memahami cara kerja mesin combusion internal, mereka memiliki toleransi yang sangat besar. Mereka memiliki pembatas rev, mereka dirancang untuk berjalan pada minyak dari peringkat tertentu, mereka memiliki interval layanan mengatakan 10.000 km terpisah, tetapi jika Anda melewatkan interval layanan beberapa minggu, itu tidak akan meledak di wajah Anda. Mereka tidak terbakar ketika Anda berkendara jarak jauh.

   Drive SAS di server lebih mirip dengan mesin Formula 1. Mereka sangat kecil (2,4 liter) tetapi memiliki output daya yang sangat besar karena toleransi mereka yang kecil. Mereka rev lebih tinggi, dan sering tidak memiliki rev limiter (yang berarti mereka menderita kerusakan serius jika didorong salah), dan jika Anda kehilangan interval layanan (yang setiap beberapa jam ) mereka meledak.

   Anda pada dasarnya membandingkan kapur dan keju. Angka-angka dan uraian lengkap dibahas dalam Hard Drive Intel Whitepaper Enterprise versus Hardisk kelas-Desktop

3. Mari kita bicarakan beberapa angka sulit di sini. Katakanlah Anda meminta 1MB data tambahan (angka bulat yang bagus). Berapa banyak data yang benar-benar ? Nah, 1MB data Anda akan masuk ke array RAID. Katakanlah mereka aman dan menjadikannya RAID1. Data 1MB Anda dicerminkan, jadi sebenarnya data itu 2MB.

   Katakanlah data Anda ada di dalam SAN. Jika terjadi kegagalan simpul SAN, data Anda disinkronkan pada tingkat byte ke simpul SAN kedua. Jadi itu digandakan, dan 2MB data Anda sekarang 4MB.

   Anda berharap penyedia Anda menyimpan cadangan di tempat, sehingga data Anda dapat dipulihkan jika terjadi keadaan darurat non-bencana? Setiap penyedia yang layak akan memberi Anda setidaknya 1 cadangan di tempat, mungkin lebih. Katakanlah mereka mengambil foto sekali seminggu selama tiga minggu di tempat. Itu data ekstra 3MB, jadi Anda sekarang mencapai 7MB.

   Jika ada bencana kritis, penyedia Anda sebaiknya menyimpan salinannya di luar situs di suatu tempat. Bahkan jika itu berumur sebulan, itu harus ada. Jadi sekarang Anda mencapai 8MB.

   Jika penyedia tingkat tinggi benar-benar, mereka bahkan mungkin memiliki situs pemulihan bencana yang disinkronkan secara langsung. Disk ini akan di-RAID juga, jadi itu 2MB ekstra, dan dengan demikian Anda mencapai 10MB data.

   Anda harus mentransfer data itu pada akhirnya. Apa? Pindahkan itu? Ya, transfer data membutuhkan uang. Dibutuhkan uang ketika Anda mengunduhnya, mengaksesnya melalui internet, bahkan memerlukan biaya untuk mencadangkannya (seseorang harus mengeluarkan kaset itu dari kantor, dan mungkin 1MB data Anda berarti mereka harus membeli tambahan) mengatur kaset dan mentransfernya ke suatu tempat).

4. Ketika drive rumah SATA Anda gagal, Anda bisa menghubungi dukungan teknis dan meyakinkan mereka bahwa drive Anda sudah mati. Kemudian kirim drive Anda ke pabrikan (dengan sepeser pun Anda sendiri paling sering). Tunggu seminggu. Dapatkan drive pengganti kembali dan harus menginstalnya kembali (itu hampir pasti bukan swappable panas atau di kereta luncur sudah).

   Ketika drive SAS gagal Anda memanggil dukungan teknis. Mereka hampir tidak pernah mempertanyakan pendapat Anda bahwa drive membutuhkan penggantian segera dan mengirim drive baru; biasanya drive baru dikirimkan nanti di hari yang sama, jika tidak, hari berikutnya juga sangat umum. Biasanya pabrikan akan mengirim perwakilan untuk menginstal drive jika Anda tidak tahu caranya (sangat berguna jika Anda berencana berlibur dan perlu hal-hal agar tetap berfungsi saat Anda pergi).

5. Drive perusahaan memiliki toleransi yang ketat, lihat nomor 2 di atas, dan cenderung bertahan sekitar 10 kali lebih lama daripada drive yang memiliki tingkat konsumen (MTBF). Enterprise drive hampir selalu mendukung deteksi kesalahan dan kegagalan tingkat lanjut, yang menurut laporan Google berfungsi sekitar 40% dari waktu, tetapi itu adalah sesuatu yang lebih disukai siapa pun daripada komputer yang tiba-tiba mati.

   Ketika Anda memiliki satu drive di komputer di rumah Anda, peluang statistik kegagalannya hanyalah dari drive tersebut. Drive yang dulu berperingkat di MTBF (di mana drive SAS masih menikmati ~ peringkat 50% lebih tinggi atau lebih), sekarang lebih umum untuk melihat tingkat kesalahan. Sebuah drive SAS tipikal adalah 10 hingga 1.000 kali lebih kecil kemungkinannya untuk memiliki kesalahan yang tidak dapat dipulihkan (dengan 100x yang paling umum yang saya temukan baru-baru ini). (tingkat kesalahan sesuai dengan dokumentasi pabrikan yang disediakan oleh Seagate, Western Digital, dan Hitachi; tidak ada bias yang dimaksudkan; secara tegas melepaskan klaim ganti rugi).

   Tingkat kesalahan sangat penting bukan ketika Anda menjalankan kesalahan yang tidak dapat dipulihkan pada drive, tetapi ketika drive lain dalam array yang sama gagal dan Anda tidak bergantung pada semua drive dalam array yang dapat dibaca untuk memulihkan disk yang gagal.

6. SAS adalah turunan dari SCSI, yang merupakan protokol penyimpanan. SATA didasarkan pada ATA, yang berdasarkan pada bus ISA (bus 8/16-bit pada komputer dari zaman dinosaurus). Protokol penyimpanan SCSI memiliki perintah yang lebih luas untuk mengoptimalkan cara data ditransfer dari drive ke controller dan kembali. Peningkatan efisiensi ini akan membuat drive SAS yang setara secara inheren lebih cepat, terutama di bawah beban kerja yang ekstrem, daripada drive SATA; itu juga meningkatkan biaya.

7. Ada lebih sedikit drive SAS yang diproduksi, skala ekonomis menentukan bahwa mereka akan lebih mahal semuanya setara.

8. Drive SAS biasanya datang dalam kecepatan rotasi 10rb atau 15rb; sedangkan SATA biasanya datang dalam 5.4k atau 7.2k. SAS drive, terutama ukuran 2,5 "yang semakin populer, memiliki waktu pencarian yang lebih cepat. Keduanya dikombinasikan secara dramatis meningkatkan IOps yang dapat dilakukan oleh sebuah drive, biasanya drive SAS ~ 3x lebih cepat. Ketika banyak pengguna menuntut data yang berbeda, IOps kapasitas drive / array menjadi indikator kinerja kritis.

9. Drive di pusat data biasanya dinyalakan setiap saat. Studi telah menemukan bahwa kegagalan drive dipengaruhi oleh jumlah siklus pemanasan / pendinginan yang dilaluinya (dari menjalankan vs dimatikan). Menjaga mereka berjalan sepanjang waktu biasanya meningkatkan masa pakai drive. Konsekuensi dari ini adalah bahwa drive mengkonsumsi listrik. Listrik ini harus dipasok oleh sesuatu (dalam kasus DC besar drive saja mungkin membutuhkan lebih banyak daya daripada lingkungan kecil rumah). Mereka juga perlu membuang panas itu di suatu tempat, membutuhkan sistem pendingin (yang dengan sendirinya membutuhkan lebih banyak daya untuk beroperasi).

10. Infrastruktur dan biaya kepegawaian. Drive tersebut berada di unit NAS atau SAN kelas atas. Unit-unit itu mahal, bahkan tanpa drive mahal di dalamnya. Mereka membutuhkan staf yang mahal untuk digunakan dan dipelihara. Bangunan tempat unit NAS dan SAN itu mahal untuk dioperasikan (lihat poin tentang pendinginan, di atas, tetapi ada banyak hal yang terjadi di sana.) Perangkat lunak cadangan biasanya tidak gratis (juga tidak ada lisensi untuk hal-hal seperti mirroring) , dan staf untuk menggunakan dan memelihara cadangan biasanya mahal juga. Biaya menyewa pengiriman dan penyimpanan tape di luar lokasi hanyalah satu dari banyak hal yang mulai menumpuk ketika Anda membutuhkan lebih banyak penyimpanan.

Perlu diingat bahwa kapasitas drive mereka mungkin 1/10 ukuran drive desktop, dan lima kali lipat harga, data 1MB Anda sebenarnya 10, dan semua perbedaan lainnya, tidak ada cara Anda dapat menggambar sesuatu yang bermakna kesimpulan antara harga penyimpanan desktop Anda dan harga penyimpanan tingkat perusahaan.

Saya tidak menambahkan ini ke jawaban CW teratas terutama karena perbedaan pendapat. Silakan menggabungkan / mengedit ini jika Anda mau.

Seringkali, alasan penyimpanan "tingkat perusahaan" sangat mahal sehingga penanya tidak memahami persyaratan, tetapi terkadang sysadmin tidak memahami persyaratan, tidak dapat mengomunikasikan persyaratan tersebut kepada seseorang dengan otoritas pembelian, atau hanya mendapatkan diabaikan oleh otoritas tersebut.

Array penyimpanan off-the-shelf berkinerja tinggi, sangat tersedia, perawatan rendah mahal . Bagian dari pekerjaan seorang perancang sistem adalah untuk mengetahui di mana ini sesuai, dan di mana desain yang berbeda sesuai.

Saya tidak berpikir biaya relatif dari berbagai jenis disk drive sebenarnya relevan dengan salah satu contoh pertanyaan.

Mengapa saya harus membayar 50 dolar per bulan per gigabyte penyimpanan ekstra?

Ini jelas ditujukan kepada penyedia layanan. Dua kemungkinan jawaban untuk pikiran saya adalah:

1. Anda memiliki uptime 5 nines, dukungan 24/7, di Manhattan / London / Hong Kong. Piring rotating hanyalah sebagian kecil dari tumpukan yang Anda bayar.

2. Anda membayar terlalu banyak. Bernegosiasi, beralih penyedia, atau membawanya di rumah.

Server file kami selalu kehabisan ruang, mengapa sysadmin kami tidak hanya membuang drive 1TB tambahan di sana?

Ini hampir pasti merupakan desain yang buruk (dan mungkin karena alasan politik). Data pada server file itu berada di suatu tempat dalam spektrum ini:

• Data layak disimpan pada pengaturan kinerja tinggi, sangat tersedia, biaya tinggi. Waktu henti yang disebabkan oleh kehabisan ruang memengaruhi ketersediaan tinggi Anda dan merupakan kegagalan desain atau perencanaan.

• Data tidak penting atau kinerja lambat atau downtime lebih lama dapat diterima. Disk murah dan solusi cadangan murah dapat diterima. Waktu henti yang teratur karena kurangnya ruang disk masih tampak seperti pertukaran yang aneh, karena sebagian besar biaya Anda dalam kasus ini mungkin akan menjadi waktu sysadmin Anda, dan dalam jangka panjang, mereka akan menghabiskan lebih banyak waktu untuk memecahkan masalah disk yang rendah ruang.

Perhatikan bahwa saya mengatakan ini adalah spektrum, dan sebagian besar persyaratan datang di antara keduanya.

Biaya produksi barang apa pun secara langsung terhubung dengan volume unit yang akan dijualnya dalam putaran umpan balik.

Dalam kasus hard disk konvensional, dengan pemintalan kaca berkarat dan elektronik, ada potensi variasi besar dalam biaya komponen mekanis dan elektronik - namun 2 band harga / kualitas yang jelas telah muncul - Perusahaan dan Komoditas.

Namun, penurunan volume penjualan drive perusahaan mengambil banyak akibat dari apa yang Anda dapatkan untuk uang Anda - sesuatu yang harganya tujuh kali lipat tidak akan tujuh kali lebih baik.

Unit perusahaan (untuk kapasitas tertentu) sedikit lebih cepat daripada unit komoditas, mis. Membandingkan Seagate Barracuda SATA (komoditas) dan drive Cheetah SAS (perusahaan):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Tetapi dalam konteks perusahaan, tidak ada administrator sistem waras yang akan pernah menyimpan data penting pada satu drive - menggunakan banyak drive memberikan keandalan dan bandwidth yang lebih besar, dan secara efektif mengurangi latensi; empat dari drive Barracuda yang dikonfigurasi sebagai RAID10, akan jauh lebih cepat daripada drive Cheetah tunggal, dengan risiko kehilangan data yang jauh lebih kecil yaitu sekitar 60% dari harga.

Tentu saja Anda akan mendapatkan garansi yang lebih baik dengan drive Perusahaan, dan vendor biasanya akan bisa memberikannya kepada Anda pada hari yang sama - tetapi Anda mungkin akan dapat memperoleh drive komoditas dari pemasok lokal lebih cepat daripada vendor Anda dapat kurir disk pengganti. Di sisi lain, disk perusahaan lebih cenderung menjadi pengganti yang tepat untuk drive yang gagal.

Jadi mungkin Anda mendapatkan lebih banyak keandalan dari drive perusahaan? Sementara orang-orang yang membuat dan menjual drive sering mengatakan ini adalah kasusnya (Seagate agak malu-malu tentang hal ini di situs web mereka - tetapi bahkan angka yang dikaburkan yang mereka tampilkan menunjukkan itu kurang dari faktor 2). Studi independen menunjukkan bahwa tidak ada perbedaan yang signifikan .

Rangkaian perintah SCSI memang memiliki beberapa keunggulan teknis dibandingkan dengan rangkaian perintah ATA - khususnya dalam hal memungkinkan OS untuk mengetahui secara tepat apa yang dikomit ke disk - namun sekali lagi, ini hanya membuat perbedaan yang efektif melihat kinerja dan keandalan sistem file. diimplementasikan pada satu disk.

Jika penyedia layanan Anda mengoperasikan Fibre Channel SAN, maka biaya per Gigabyte penyimpanan akan setidaknya 8 kali lebih tinggi daripada membeli disk dari rak di toko perangkat keras terdekat. Tetapi ada pendekatan lain yang dapat menurunkan biaya secara signifikan.

Perhatikan bahwa ini masih tidak akan pernah lebih murah daripada membeli disk yang tidak tersedia, karena Anda juga membayar untuk redundansi, daya, AC, dan dukungan, tetapi biaya ini harus kecil sehubungan dengan biaya penyediaan penyimpanan.

Saya setuju dengan posting lain tentang kualitas yang ditawarkan perusahaan hosting. Tetapi kami baru-baru ini melakukan kembali kontrak hosting kami dan berbelanja dan tidak ada yang kompetitif dalam ruang penyimpanan, juga tidak ada harga yang lebih rendah dari kontrak kami yang sebelumnya 3 tahun. SAS drive telah jatuh harga, rak disk / array / SANs / FC / switch telah turun, semuanya telah turun harganya. Tapi bukan penyimpanan disk?

Seorang kolega dengan pengalaman yang jauh lebih menunjukkan taktik. CPU, memori, harga bandwidth sangat memesona! Daftar disini! Daftar sekarang dan abaikan masalah ruang disk! Anda tidak akan membutuhkan banyak ruang disk. Lihatlah CPU dan memori!

Setelah Anda berkomitmen untuk kontrak mereka, mereka benar-benar mendapatkan Anda, dan mereka membuat pendapatan mereka di ruang disk. Ya itu RAID-5 dan kinerja tinggi dll tetapi cadangan biaya tambahan, biaya replikasi di luar lebih banyak.

Untuk perusahaan hosting itu adalah model bisnis. Sebagian besar bisnis melakukan sesuatu yang mirip dengan harga mereka - kurangi harga ini di sini tetapi naikkan itu di sana untuk mendapatkan penghasilan di tempat lain. Mereka harus membayar sewa dan gaji juga.

Untuk server internal Anda memiliki masalah yang berbeda. Anda tidak bisa hanya masuk ke ruang server dengan kotak Fedex yang memiliki hard disk 3 TB baru Anda. Jika Anda telah merencanakan ekspansi, ini lebih mudah tetapi server / rak / array mungkin sudah dalam kapasitasnya dalam hal slot, I / O, kartu pengontrol, daya.

Ini seperti melihat di bawah batu, Anda akan terkejut dengan apa yang mungkin Anda temukan.

Penting juga untuk dicatat bahwa penyimpanan 'lokal' mungkin lebih mahal daripada yang Anda pikirkan.

Sebagai bagian dari latihan dalam mencari untuk memindahkan beberapa data 'yang diarsipkan' kami ke cloud, saya baru-baru ini menyelesaikan latihan penetapan harga yang membandingkan biaya ruang disk yang tersedia (misalnya yang diformat daripada mentah) yang tersedia di SAN terbaru kami dengan biaya penyimpanan dalam layanan data cloud Amazon.

Hanya dengan mempertimbangkan harga yang dibayarkan untuk SAN itu sendiri termasuk disk, dengan asumsi masa pakai 5 tahun untuk perangkat keras SAN, dan bukan biaya 'overhead' untuk menjalankan ruang server kami, harga kami untuk 150Gb penyimpanan lokal adalah $ 31,88 per bulan vs Amazon $ 28,41 ( dengan asumsi tingkat lalu lintas per bulan naik dan turun 20%).

Sekarang saya tidak akan terburu-buru dan memindahkan semua penyimpanan kami ke cloud karena ada manfaat lain dalam memiliki penyimpanan lokal, tetapi saya pikir latihan penetapan harga seperti ini berguna: Jika Anda berpikir bahwa penyimpanan cloud itu mahal maka berapa apakah Anda benar-benar membayar penyimpanan lokal Anda?

Pendapat saya tentang pertanyaan ini adalah IO sederhana ... sebuah file yang berada pada satu hard drive komoditas tanpa serangan dan mungkin tanpa pertukaran panas, dan biasanya diakses oleh satu orang & mungkin tidak pernah didukung. Ini adalah metode IO yang murah dan mudah ...

Dalam bisnis kami, saya telah menggunakan salah satu metode raid yang paling mahal (raid 10) yang membutuhkan minimal 4 drive, kami menggunakan 6 ... ini memberi kami tingkat IO tinggi dan toleransi kesalahan.

Konfigurasi ini telah menghemat $ $ saya di jalan besar, dan hasil ini berarti kinerja yang lebih tinggi dan lebih sedikit downtime untuk pengguna akhir .. untuk IO sederhana hanya ada satu orang yang mengecewakan dan kemungkinan ada sedikit nilai keuangan terkait dengan downtime.

Kami juga memiliki server iSCSI khusus yang digunakan untuk virtualisasi Xen dan yang juga dikonfigurasi untuk raid 10 ...

Semakin banyak IO yang diperlukan untuk digunakan dan dicadangkan, semakin mahal implementasinya ... jika kebutuhan perusahaan Anda akan menerima kehilangan data, kecepatan sangat lambat, dan tidak ada redundansi - maka penyimpanan kelas bisnis dapat dilakukan pada murah!!! Bersiaplah untuk dipecat ...