Kinerja IO buruk - PCIe NVMe Samsung 950 pro

Saya baru saja selesai membangun perangkat keras mengharapkan keuntungan besar dari drive NVMe baru. Kinerja saya sebelumnya lebih rendah dari yang diharapkan (~ 3gb ditransfer), jadi saya telah mengganti motherboard / cpu / memory / hdd. Meskipun kinerjanya dua kali lipat dari apa yang ada , itu masih setengah dari apa yang saya dapatkan di macbook pro 3 tahun saya dengan drive SATA6.

• CPU: i7-5820k 6core
• Mobo: MSI X99A MPOWER
• Memori: 32GB
• Drive: Samsung 950 pro NVMe PCIe

Ubuntu (juga dikonfirmasi dengan 16.04.1 LTS):

Release:    15.10
Codename:   wily

4.2.0-16-generic

$ sudo blkid
[sudo] password for kross: 
/dev/nvme0n1p4: UUID="2997749f-1895-4581-abd3-6ccac79d4575" TYPE="swap"
/dev/nvme0n1p1: LABEL="SYSTEM" UUID="C221-7CA5" TYPE="vfat"
/dev/nvme0n1p3: UUID="c7dc0813-3d18-421c-9c91-25ce21892b9d" TYPE="ext4"

Inilah hasil tes saya:

sysbench --test=fileio --file-total-size=128G prepare
sysbench --test=fileio --file-total-size=128G --file-test-mode=rndrw --max-time=300 --max-requests=0 run
sysbench --test=fileio --file-total-size=128G cleanup


Operations performed:  228000 Read, 152000 Write, 486274 Other = 866274 Total
Read 3.479Gb  Written 2.3193Gb  Total transferred 5.7983Gb  (19.791Mb/sec)
 1266.65 Requests/sec executed

Test execution summary:
    total time:                          300.0037s
    total number of events:              380000
    total time taken by event execution: 23.6549
    per-request statistics:
         min:                                  0.01ms
         avg:                                  0.06ms
         max:                                  4.29ms
         approx.  95 percentile:               0.13ms

Threads fairness:
    events (avg/stddev):           380000.0000/0.00
    execution time (avg/stddev):   23.6549/0.00

Penjadwal diatur ke none:

# cat /sys/block/nvme0n1/queue/scheduler
none

Berikut lspciinformasinya:

# lspci -vv -s 02:00.0
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a802 (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Samsung Electronics Co Ltd Device a801
    Physical Slot: 2-1
    Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 32 bytes
    Interrupt: pin A routed to IRQ 45
    Region 0: Memory at fb610000 (64-bit, non-prefetchable) [size=16K]
    Region 2: I/O ports at e000 [size=256]
    Expansion ROM at fb600000 [disabled] [size=64K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
    Capabilities: [50] MSI: Enable- Count=1/8 Maskable- 64bit+
        Address: 0000000000000000  Data: 0000
    Capabilities: [70] Express (v2) Endpoint, MSI 00
        DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
            ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
        DevCtl: Report errors: Correctable- Non-Fatal- Fatal- Unsupported-
            RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
            MaxPayload 128 bytes, MaxReadReq 512 bytes
        DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr+ TransPend-
        LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s <4us, L1 <64us
            ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Not Supported, TimeoutDis+, LTR+, OBFF Not Supported
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-, LTR-, OBFF Disabled
        LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
             Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
             Compliance De-emphasis: -6dB
        LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+, EqualizationPhase1+
             EqualizationPhase2+, EqualizationPhase3+, LinkEqualizationRequest-
    Capabilities: [b0] MSI-X: Enable+ Count=9 Masked-
        Vector table: BAR=0 offset=00003000
        PBA: BAR=0 offset=00002000
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        AERCap: First Error Pointer: 00, GenCap+ CGenEn- ChkCap+ ChkEn-
    Capabilities: [148 v1] Device Serial Number 00-00-00-00-00-00-00-00
    Capabilities: [158 v1] Power Budgeting <?>
    Capabilities: [168 v1] #19
    Capabilities: [188 v1] Latency Tolerance Reporting
        Max snoop latency: 0ns
        Max no snoop latency: 0ns
    Capabilities: [190 v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
              PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
    Kernel driver in use: nvme

hdparm:

$ sudo hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   2328 MB in  2.00 seconds = 1163.98 MB/sec
 Timing O_DIRECT disk reads: 5250 MB in  3.00 seconds = 1749.28 MB/sec

hdparm -v:

 sudo hdparm -v /dev/nvme0n1

/dev/nvme0n1:
SG_IO: questionable sense data, results may be incorrect
 multcount     =  0 (off)
 readonly      =  0 (off)
 readahead     = 256 (on)
 geometry      = 488386/64/32, sectors = 1000215216, start = 0

fstab

UUID=453cf71b-38ca-49a7-90ba-1aaa858f4806 /               ext4    noatime,nodiratime,errors=remount-ro 0       1
# /boot/efi was on /dev/sda1 during installation
#UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1
# swap was on /dev/sda4 during installation
UUID=8f716653-e696-44b1-8510-28a1c53f0e8d none            swap    sw              0       0
UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1

fio

Ini memiliki beberapa tolok ukur yang sebanding . Ketika saya diuji dengan fio dan dinonaktifkan sync, ini adalah cerita yang berbeda:

sync=1
1 job  - write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
7 jobs - write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec

sync=0
1 job  - write: io=8157.9MB, bw=139225KB/s, iops=34806, runt= 60001msec
7 jobs - write: io=32668MB, bw=557496KB/s, iops=139373, runt= 60004msec

Inilah synchasil lengkap untuk satu pekerjaan dan 7 pekerjaan:

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.1.11
Starting 1 process
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/2368KB/0KB /s] [0/592/0 iops] [eta 00m:00s]
journal-test: (groupid=0, jobs=1): err= 0: pid=18009: Wed Nov 18 18:14:03 2015
  write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
    clat (usec): min=1442, max=12836, avg=1643.09, stdev=546.22
     lat (usec): min=1442, max=12836, avg=1643.67, stdev=546.23
    clat percentiles (usec):
     |  1.00th=[ 1480],  5.00th=[ 1496], 10.00th=[ 1512], 20.00th=[ 1528],
     | 30.00th=[ 1576], 40.00th=[ 1592], 50.00th=[ 1608], 60.00th=[ 1608],
     | 70.00th=[ 1608], 80.00th=[ 1624], 90.00th=[ 1640], 95.00th=[ 1672],
     | 99.00th=[ 2192], 99.50th=[ 6944], 99.90th=[ 7328], 99.95th=[ 7328],
     | 99.99th=[ 7520]
    bw (KB  /s): min= 2272, max= 2528, per=100.00%, avg=2430.76, stdev=61.45
    lat (msec) : 2=98.44%, 4=0.58%, 10=0.98%, 20=0.01%
  cpu          : usr=0.39%, sys=3.11%, ctx=109285, majf=0, minf=8
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=36428/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=145712KB, aggrb=2428KB/s, minb=2428KB/s, maxb=2428KB/s, mint=60002msec, maxt=60002msec

Disk stats (read/write):
  nvme0n1: ios=69/72775, merge=0/0, ticks=0/57772, in_queue=57744, util=96.25%

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=7 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
...
fio-2.1.11
Starting 7 processes
Jobs: 6 (f=6): [W(2),_(1),W(4)] [50.4% done] [0KB/4164KB/0KB /s] [0/1041/0 iops] [eta 01m:00s]
journal-test: (groupid=0, jobs=7): err= 0: pid=18025: Wed Nov 18 18:15:10 2015
  write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec
    clat (usec): min=0, max=107499, avg=6828.48, stdev=3056.21
     lat (usec): min=0, max=107499, avg=6829.10, stdev=3056.16
    clat percentiles (usec):
     |  1.00th=[    0],  5.00th=[ 2992], 10.00th=[ 4512], 20.00th=[ 4704],
     | 30.00th=[ 5088], 40.00th=[ 6176], 50.00th=[ 6304], 60.00th=[ 7520],
     | 70.00th=[ 7776], 80.00th=[ 9024], 90.00th=[10048], 95.00th=[12480],
     | 99.00th=[15936], 99.50th=[18048], 99.90th=[22400], 99.95th=[23936],
     | 99.99th=[27008]
    bw (KB  /s): min=  495, max=  675, per=14.29%, avg=585.60, stdev=28.07
    lat (usec) : 2=4.41%
    lat (msec) : 2=0.57%, 4=4.54%, 10=80.32%, 20=9.92%, 50=0.24%
    lat (msec) : 250=0.01%
  cpu          : usr=0.14%, sys=0.72%, ctx=173735, majf=0, minf=63
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=61472/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=245888KB, aggrb=4097KB/s, minb=4097KB/s, maxb=4097KB/s, mint=60005msec, maxt=60005msec

Disk stats (read/write):
  nvme0n1: ios=21/122801, merge=0/0, ticks=0/414660, in_queue=414736, util=99.90%

Penjajaran

Saya telah memeriksa keterpaduan dengan parted, serta melakukan matematika berdasarkan http://www.intel.com/content/dam/www/public/us/en/documents/technology-briefs/ssd-partition-alignment-tech -brief.pdf

kross@camacho:~$ sudo parted
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) unit s                                                           
(parted) print all                                                        
Model: Unknown (unknown)
Disk /dev/nvme0n1: 1000215216s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start       End          Size        File system     Name                                 Flags
 1      2048s       206847s      204800s     fat32           EFI system partition                 boot, esp
 2      206848s     486957055s   486750208s  ntfs                                                 msftdata
 3      486957056s  487878655s   921600s     ntfs                                                 hidden, diag
 4      590608384s  966787071s   376178688s  ext4
 5      966787072s  1000214527s  33427456s   linux-swap(v1)

kross@camacho:~$ sudo parted /dev/nvme0n1
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) align-check opt 1                                                
1 aligned
(parted) align-check opt 2
2 aligned
(parted) align-check opt 3
3 aligned
(parted) align-check opt 4
4 aligned
(parted) align-check opt 5
5 aligned

TLDR;

Saya merasa memiliki sesuatu yang salah secara fundamental, meskipun penelitian saya belum menghasilkan apa-apa. Saya mengharapkan throughput ~ 4x macbook pro saya lama 3yr w / SATA6, dan saya mendapatkan 1/2 dari itu dengan NVMe. Saya menambahkan noatime,nodiratimeyang memberi saya peningkatan yang sangat kecil, tetapi tidak seperti 4x yang saya harapkan. Saya telah mempartisi / menginstal ulang server 15.10 baru hanya untuk memastikan saya tidak memiliki apa-apa, dan memiliki hasil yang sama.

Apakah fiohasil saya di atas sinkronisasi / tidak ada sinkronisasi menunjukkan masalah?

Jadi saya punya catatan yang bersih dan bisa mencoba apa saja. Apa yang bisa saya coba untuk meningkatkan kinerja saya? Setiap referensi dipersilakan.

Terima kasih atas pertanyaan Anda, ini sangat membantu saya.

Saya memiliki pengalaman yang sangat mirip, pengaturan perangkat keras yang berbeda (saya menggunakan Intel NVMe SSD). Tetapi saya juga menjalankan Ubuntu 16.04. Mengingat bukti Anda dan hasil serupa yang ditemukan dalam artikel ini saya yakin bahwa masalahnya adalah bagaimana Ubuntu mengatur drive NVMe.

Saya bertekad untuk menyelesaikan masalah tanpa menyerah sepenuhnya di Ubuntu. Tapi apa pun yang saya lakukan, saya tidak bisa mendapatkan kecepatan di atas 2000 MB / detik saat pengujian dengan hdparm persis seperti yang Anda jelaskan.

Jadi, saya melakukan penggalian, dan menemukan panduan yang disediakan oleh Intel. Saya mencoba semua yang mereka sarankan dalam panduan ini dan menemukan bahwa satu bagian berbeda. Di dekat bagian bawah ini membahas tentang menyelaraskan partisi drive dengan benar. Ini adalah bagian yang tidak cocok dengan instalasi saya. Blok awal saya tidak dapat dibagi dengan 4096 byte. Itu menggunakan ukuran sektor 512 byte bukannya ukuran sektor 4k.

Benar saja, saya memformat disk untuk memulai partisi pada nilai yang dapat dibagi oleh 4096 dan AKHIRNYA saya dapat mematahkan kecepatan 2000 MB / s.

Saat ini rata-rata 2,3 GB / s ketika saya mengharapkannya menjadi sedikit lebih tinggi. Saya menyalahkan ini pada kenyataan bahwa ketika saya menjalankan sudo fdisk -ldrive NVMe masih ditampilkan dengan ukuran sektor fisik 512 byte. Saya berencana untuk terus menyelidiki tetapi saya harap ini membantu Anda!

Perhatian: Jawaban ini sudah tua. Pada Linux 4,19 blk_mq adalah penjadwal default . Kemungkinan besar masalah untuk SSD PCIe NVMe Anda berjalan lambat di tempat lain.

Jawaban asli:

Silakan tambahkan

scsi_mod.use_blk_mq=1

ke parameter boot kernel Anda, kalau tidak saya tidak berpikir Anda akan melihat manfaat dari peningkatan antrian perintah NVMe dan perintah per antrian.

Catatan: Saya tahu ini untuk lengkungan tetapi Anda juga mungkin ingin melihat Wiki untuk info lebih lanjut tentang penyetelan I / O.

Thread ini berumur satu tahun (Oktober 2016). Salah satu jawaban tertinggi yang diperbarui merekomendasikan driver Intel NVMe yang berusia dua tahun (2015).

Pada Februari 2017, Samsung merilis Firmware Update yang menggunakan installer ISO booting berbasis Linux. Pada tautan yang sama ada driver yang dapat Anda instal untuk Windows 7/8/10. Saya akan segera menginstal keduanya pada Samsung 960 Pro baru dan laptop baru berbasis Dell i7-6700. Seiring dengan flashing BIOS dan memperbarui driver berbasis Dell lainnya.

Saya pikir penting untuk meninjau kembali utas lama ini dan memberikan tautan baru kepada pengguna baru (per 11 Oktober 2017) sehingga mereka memiliki semua opsi terbuka.

Ada banyak pencarian google yang dikembalikan untuk kinerja lambat Samsung 960 Pro di Linux menjadi setengah kecepatan Windows jadi saya mendorong semua orang untuk mencari sebanyak mungkin opsi.

Setelah menerapkan scsi_mod.use_blk_mq=1parameter kernel:

$ systemd-analyze
Startup finished in 7.052s (firmware) + 6.644s (loader) + 2.427s (kernel) + 8.440s (userspace) = 24.565s

Menghapus parameter kernel dan me-reboot:

$ systemd-analyze
Startup finished in 7.060s (firmware) + 6.045s (loader) + 2.712s (kernel) + 8.168s (userspace) = 23.986s

Jadi akan muncul sekarang yang scsi_mod.use_blk_mq=1membuat sistem lebih lambat tidak lebih cepat. Pada satu waktu mungkin bermanfaat.

Berikut ini beberapa informasi menarik: pada Windows, drive tidak berfungsi sesuai dengan tolok ukur peninjauan hingga cache pembilasan dinonaktifkan. Biasanya ini tidak dilakukan secara langsung; sebaliknya, driver vendor (dalam hal ini, driver Samsung NVMe) diinstal.

Jika Anda melakukan benchmark dengan driver vendor, dan kemudian menonaktifkan cache flushing di Windows, Anda mendapatkan nomor yang sama. Ini tidak akan menjadi masalah jika vendor tidak mengabaikan pembilasan cache.

Diterjemahkan ke Linux-land, itu berarti bahwa pada Windows, untuk mendapatkan angka patokan besar yang Anda lihat di semua ulasan, Anda harus menonaktifkan fsync, dengan semua yang berarti untuk keandalan (tidak ada fsync, atau secara khusus, tidak ada penghalang menulis, berarti kekuatan itu kehilangan pada waktu yang salah dapat menghancurkan seluruh FS, tergantung pada implementasi - penulisan ulang yang ditata ulang menciptakan situasi "mustahil").

SSD "pusat data" Samsung dilengkapi dengan kapasitor untuk memastikan data yang di-cache masuk dengan benar. Ini tidak terjadi dengan drive konsumen mereka.

Saya baru saja mengerjakan ini dari prinsip pertama, setelah menambahkan 1TB NVMe ke gedung baru saya kemarin. Saya tidak terlalu senang, dan saya sudah memulai kontak dengan dukungan Samsung untuk melihat apa yang mereka katakan - tapi saya ragu saya akan mendengarnya.

Saya belum bisa berkomentar, jadi saya harus menjawab. :-(

Saya tidak memiliki drive yang sebanding, tetapi saya akan menebak bahwa nilai-nilai dari hdparm baik-baik saja. Jika demikian, saya akan berasumsi bahwa Anda hanya menggunakan sysbench dengan cara yang tidak optimal. Coba bereksperimen dengan parameter --num-threads untuk menghasilkan lebih banyak beban pada drive. Setidaknya di komputer saya perbedaan antara 1 utas (default) dan 16 utas sekitar 1: 4 pada SSD SATA standar. Pemahaman saya adalah bahwa NVMe drive mulai bersinar semakin banyak tugas paralel yang menempatkannya.

Kebanyakan SSD jatuh datar di wajah mereka jika flag sync = 1 (D_SYNC). Sayangnya, ini adalah masalah yang terkenal untuk jurnal Ceph. Lihat halaman ini untuk info lebih lanjut, dan daftar drive yang berkinerja baik dengan sinkronisasi diaktifkan:

http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/

Slot M.2 saya dibatasi pada 10Mbps. Saya menggunakan adaptor PCIe untuk mengatasi batasan ini: https://www.amazon.com/Lycom-DT-120-M-2-PCIe-to-PCIe-3-0-x4-Adapter-Support-M-2 -PCIe-2280-2260-2242 / dp / B00MYCQP38 /

Motherboard Anda mengatakan ini adalah 32Mbps penuh baik cara dan mungkin itu benar, tapi saya pikir saya akan menyebutkan adaptor karena itu bekerja untuk saya (saya mendapat dua kali lipat kecepatan memasukkan ke dalam slot M.2 on-board). Saya pikir itu $ 25 dan jika Anda sudah menghabiskan cukup waktu mengutak-atik, ini mungkin patut dicoba.

Saya menulis tentang pengalaman saya dalam ulasan Amazon: https://www.amazon.com/gp/customer-reviews/R21BXILGXW4D9C/ref=cm_cr_arp_d_rvw_ttl?ie=UTF8&ASIN=B01639694M