Apa throughput transfer data teoritis maksimum dari NTFS?

28

Baru-baru ini saya menghadiri pertemuan kelompok pengguna lokal di mana presenter mencatat bahwa throughput maksimum tumpukan NTFS IO adalah 1 GBps. Dia memperkuat klaimnya dengan secara bersamaan menyalin dua file besar dari volume logis yang sama ke volume logis yang berbeda (yaitu [a] adalah sumbernya, [b] adalah tujuan 1 dan [c] adalah tujuan 2) dan mencatat tingkat transfer yang berkisar sekitar 500 MBps. Dia mengulangi pengujian ini beberapa kali dan mencatat bahwa subsistem penyimpanan yang mendasarinya adalah flash (untuk memastikan kami tidak menduga penyimpanan lambat).

Saya sudah mencoba memverifikasi pernyataan ini tetapi tidak dapat menemukan apa pun yang didokumentasikan. Saya menduga bahwa saya sedang mencari istilah pencarian yang salah ("1GBps NTFS throughput", "NTFS throughput maksimum"). Saya tertarik pada apakah IO stack sebenarnya terbatas pada throughput 1GBps.

EDIT

Untuk mengklarifikasi: Saya tidak percaya penyaji bermaksud mengatakan bahwa NTFS sengaja dibatasi (dan saya minta maaf jika saya menyiratkan hal itu juga) Saya pikir itu adalah tersirat bahwa itu adalah fungsi dari desain filesystem.

swasheck
sumber
1GB / s cukup cepat bahkan untuk flash drive
TheFiddlerWins
2
@TheFiddlerWins 1 GB / s! = 1 Gbps
Kermit
1
Saya setuju, tetapi pertanyaannya mengatakan "... throughput maksimum tumpukan NTFS IO adalah 1 GBps", sejauh yang saya tahu B = byte dan b = bit
TheFiddlerWins
1
Eksperimen sederhana - menyalin file di seluruh disk RAM? Tidak sulit untuk mendapatkan 16 * 2 = 32GB RAM hari ini.
kizzx2
1
JamesRyan - menggunakan FTP sebagai mekanisme transfer tidak tiba-tiba mengubah sistem file. Jangan bingung SMB dengan NTFS.
mfinni

Jawaban:

36

Bahkan dengan asumsi Anda bermaksud GBpsdan tidak Gbps...

Saya tidak mengetahui adanya filesystem yang aktual throughput limit. Filesystem hanyalah struktur di sekitar cara menyimpan dan mengambil file. Mereka menggunakan metadata, struktur, konvensi penamaan, konvensi keamanan, dll. Tetapi batasan throughput sebenarnya ditentukan oleh perangkat keras yang mendasarinya sendiri (biasanya kombinasi dari banyak perangkat keras yang terlibat).

Membandingkan filesystem yang berbeda dan bagaimana mereka mempengaruhi kinerja perangkat keras yang mendasarinya dapat dilakukan, tetapi sekali lagi itu bukan batasan yang langsung dipaksakan oleh filesystem tetapi lebih merupakan "variabel" dalam kinerja keseluruhan sistem.

Memilih untuk menggunakan satu sistem file di atas yang lain biasanya terkait dengan apa OS yang mendasarinya, apa server / aplikasi yang akan terjadi, apa perangkat keras yang mendasarinya, dan faktor-faktor lunak seperti bidang keahlian dan keakraban admin.

================================================== ================================

SUMBER DAN SUMBER TEKNIS


Mengoptimalkan NTFS

Faktor Kinerja NTFS

Anda menentukan banyak faktor yang mempengaruhi kinerja volume NTFS. Anda memilih elemen-elemen penting seperti jenis volume NTFS (misalnya, SCSI, atau IDE), kecepatan (misalnya, kecepatan rpm disk), dan jumlah disk yang berisi volume. Selain komponen-komponen penting ini, faktor-faktor berikut secara signifikan mempengaruhi kinerja volume NTFS:

  • Ukuran unit cluster dan alokasi
  • Tingkat lokasi dan fragmentasi file yang sering diakses, seperti Master File Table (MFT), direktori, file khusus yang mengandung metadata NTFS, file paging, dan file data pengguna yang umum digunakan
  • Apakah Anda membuat volume NTFS dari awal atau mengubahnya dari volume FAT yang ada
  • Apakah volume menggunakan kompresi NTFS
  • Apakah Anda menonaktifkan perilaku NTFS yang tidak perlu

Menggunakan disk yang lebih cepat dan lebih banyak drive dalam volume multidisk adalah cara yang jelas untuk meningkatkan kinerja. Metode peningkatan kinerja lainnya lebih tidak jelas dan terkait dengan detail konfigurasi volume NTFS.


Skalabilitas dan Kinerja dalam Sistem File Modern

Sayangnya, tidak mungkin untuk melakukan perbandingan kinerja langsung dari sistem file yang sedang dibahas karena tidak semua tersedia pada platform yang sama. Lebih lanjut, karena data yang tersedia harus dari platform perangkat keras yang berbeda, sulit untuk membedakan karakteristik kinerja sistem file dari yang ada di platform perangkat keras tempat ia menjalankannya.


Optimasi NTFS

Buku putih baru memberikan panduan untuk mengukur volume NTFS

Apa yang baru di NTFS

Mengkonfigurasi sistem file NTFS untuk kinerja

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

Praktik terbaik untuk kompresi NTFS di Windows

Pembersih
sumber
9
Bahkan tetap saja, saya bisa memberikan simposium dengan hanya 802.11g terhubung pada semua perangkat dan bersumpah batas throughput NTFS adalah <54Mbps dengan menunjukkan salinan berulang antara perangkat.
TheCleaner
1
Bisa jadi, tetapi mengatakan "NTFS memiliki batas keras" vs. "NTFS lebih lambat daripada ext4 pada perangkat keras <x>" adalah perbedaan besar. Dia mungkin salah bicara, Anda mungkin salah mengartikan, terlepas ... itu dia.
TheCleaner
7
Sekali lagi, NTFS filesystem tidak akan memiliki batasan seperti itu, tetapi driver NTFS yang diberikan mungkin.
mfinni
1
Jangan menganggapnya sebagai batas tetapi overhead logis. Itu juga termasuk driver sebagai batas "set" harus menjadi nilai definisi yang didefinisikan dalam kode driver. Namun saya mengerti Anda berpikir proses <- (@mfinni) ... batas keras didefinisikan dalam throughput pada kemampuan disk untuk memproses Baca / Tulis IO dan juga keterbatasan teknis dari media transportasi.
AngryWombat
1
Nice menambahkan, @TheCleaner
mfinni
10

Saya sangat meragukan ada hambatan transfer data yang terkait dengan sistem file , karena sistem file tidak menentukan detail implementasi yang akan membatasi kinerja . Driver yang diberikan untuk sistem file pada konfigurasi perangkat keras tertentu tentu saja akan mengalami hambatan.

mfinni
sumber
Saya tidak berpikir itu sengaja dibatasi, tetapi berpikir bahwa, mungkin, itu adalah batasan desain
swasheck
Terima kasih untuk fokus turun dari "filesystem" ke "driver."
swasheck
5
Anda tidak dapat meningkatkan kecepatan buku - Anda dapat meningkatkan kecepatan pembaca dan hal-hal yang tergantung pada pembaca.
mfinni
Batas dan leher botol adalah dua hal yang berbeda ... karena Sistem File dapat menyebabkan overhead, secara teori dimungkinkan untuk membuat leher botol tetapi tidak akan menetapkan batas keras yang saya yakin adalah maksud yang dimaksud dalam posting ini.
AngryWombat
7

Saya akan sangat terkejut jika ini benar. Mari kita lihat semua yang dapat memperlambat sistem file:

  • Media fisik (disk, ssd)
  • Koneksi ke media ini (sas, sata, fcal)
  • Fragmentasi
  • Algoritma penguncian yang salah atau masalah kode lainnya
  • CPU dan kecepatan memori

Faktor pembatas yang paling umum adalah media fisik Anda. Rotasi karat lambat . Ambil contoh disk yang benar-benar baru ini yang memiliki kecepatan maksimum 6 Gbps (itu Gbps, bukan GBps!). Tentu saja menggunakan pengaturan raid 1 akan mempercepat ini. Tentu saja Anda tidak akan pernah mencapai ini, karena berusaha membunuh kinerja Anda. Jadi mari kita gunakan SSD yang Anda katakan? Oh lihat itu, 6Gb lagi.

Lalu ada koneksi: sas (penyimpanan lokal tercepat) mencapai 6 Gbps, FC naik hingga 16Gbps.

Apakah Anda yakin demo Anda menggunakan perangkat canggih, canggih, hardware?

Jika Anda: menarik! Anda mungkin memiliki hit case 3 dan sistem file Anda perlu beberapa optimasi. Atau lebih besar kemungkinan driver dan aplikasi Anda menghabiskan CPU Anda (5). Jika tidak satu pun dari keduanya, Anda mungkin telah menemukan masalah kinerja aktual di NTFS, silakan laporkan ke microsoft.

Dan bahkan saat itu: ini bukan batas buatan, taruh di tempat untuk membuat hidup Anda lebih sengsara. Filesystem tidak sengaja membatasi kecepatan transfer, tetapi dibatasi oleh apa pun yang bisa diberikan oleh perangkat keras Anda.

Dennis Kaarsemaker
sumber
7

Saya tidak berpikir ada yang maksimal. Tapi saya tahu ini lebih dari 1 GB / s karena orang-orang di Samsung membaca 2121.29 MB / s dan menulis 2000.195 MB / s dengan rig 2009 dengan 24 drive SSD http://www.youtube.com/watch?v=96dWOEa4Djs

Mereka pikir mereka mencapai batas itu karena ini adalah total bandwidth perangkat keras gabungan dari kartu-kartu pengontrol yang dicolokkan SSD.

Juga halaman ini http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk menunjukkan disk RAM yang diformat dengan NTFS mendapatkan 5 hingga 7 GB / s. Cobalah sendiri dengan salah satu judul RAMdisk yang tercantum di http://en.wikipedia.org/wiki/List_of_RAM_drive_software

BeowulfNode42
sumber
3

Satu-satunya cara logis untuk membandingkan batas filesystem adalah dengan melakukannya di seluruh sistem di mana konstanta adalah filesystem dan variabel adalah faktor lain seperti perangkat, koneksi, dll. Menggunakan satu sistem untuk membandingkan kecepatan transfer melalui beberapa iterasi membuktikan hanya bahwa sistem tertentu terbatas, bukan karena sistem file terbatas.

Richard_G
sumber
3

Tidak perlu berteori apakah ada batas 1 GBps untuk NTFS - SSD modern sudah melampaui ini . Bangku tes adalah desktop Windows.

masukkan deskripsi gambar di sini

Jason
sumber
1

Tidak ada batas throughput bawaan di NTFS. Satu-satunya kendala pada kecepatan adalah karakteristik kinerja perangkat keras yang mendasarinya.

leher panjang
sumber
Saya tidak berpikir itu sengaja dibatasi, tetapi berpikir bahwa, mungkin, itu adalah batasan desain.
swasheck
6
@swasheck Saya tidak berpikir mungkin untuk merancang sistem file yang tidak akan mentransfer data dua kali lebih cepat jika Anda punya prosesor dua kali lebih cepat dan dapat membaca disk dua kali lebih cepat dan dapat mencari dua kali lebih cepat. Bahkan desain yang paling tidak efisien pun dapat dibuat lebih cepat dengan membuat segala yang digunakan lebih cepat.
Random832