Cara Cepat Mengacak HD?

Saya telah membaca tentang cara membuat hard drive aman untuk enkripsi, dan salah satu langkahnya adalah menulis bit acak ke drive, untuk membuat data yang dienkripsi tidak dapat dibedakan dari sisa data pada hard drive.

Namun, ketika saya mencoba menggunakan dd if=/dev/urandom of=/dev/sdadi masa lalu, ETA terlihat berada di urutan hari. Saya melihat sesuatu tentang penggunaan badblockspengganti urandom, tapi itu sepertinya tidak banyak membantu. Saya hanya ingin tahu apakah ada cara yang dapat membantu saya mempercepat ini, seperti opsi untuk ddatau hal lain yang mungkin saya lewatkan, atau jika kecepatannya hanyalah batasan dari HD.

dd if=/dev/urandom of=/dev/sda, atau sederhananya cat /dev/urandom >/dev/sda , bukan cara tercepat untuk mengisi disk dengan data acak. Linux /dev/urandombukan RNG kriptografi tercepat di sekitar. Apakah ada alternatif untuk / dev / urandom? punya beberapa saran. Secara khusus, OpenSSL mengandung PRNG kriptografi yang lebih cepat:

openssl rand $(</proc/partitions awk '$4=="sda" {print $3*1024}') >/dev/sda

Perhatikan bahwa pada akhirnya, apakah ada peningkatan atau tidak tergantung pada bagian mana yang menjadi hambatan: CPU atau disk.

Berita baiknya adalah bahwa mengisi disk dengan data acak sebagian besar tidak berguna. Pertama, untuk menghilangkan mitos umum, menyeka dengan nol sama baiknya pada perangkat keras saat ini . Dengan teknologi hard disk 1980-an, menimpa hard disk dengan nol meninggalkan sisa biaya kecil yang dapat dipulihkan dengan perangkat keras yang agak mahal; diperlukan beberapa kali overwrite dengan data acak ("Usus Gutmann"). Saat ini, bahkan satu setrip penimpaan dengan nol meninggalkan data yang tidak dapat dipulihkan secara realistis bahkan dalam kondisi laboratorium.

Saat Anda mengenkripsi partisi, mengisi disk dengan data acak tidak diperlukan untuk kerahasiaan data yang dienkripsi. Ini hanya berguna jika Anda perlu membuat ruang yang digunakan oleh data terenkripsi tidak dapat dibedakan dari ruang yang tidak digunakan. Membangun volume terenkripsi di atas wadah non-acak mengungkapkan blok disk mana yang pernah digunakan oleh volume terenkripsi. Ini memberi petunjuk yang baik tentang ukuran maksimum filesystem (meskipun seiring berjalannya waktu akan menjadi perkiraan yang lebih buruk dan lebih buruk), dan sedikit lagi.

The openssl tampaknya tidak berfungsi untuk saya. Saya mendapat "opsi tidak dikenal" dan masalah lain dengan solusi yang disediakan. Jadi saya akhirnya pergi dengan program fio.

fio -name="fill" -ioengine=libaio -direct=1 -bs=512m -rw=write -iodepth=4 -size=100% -filename=/dev/md0

Yang sepertinya akan memakan waktu 3 jam untuk melakukan 19TB di 24 HDD. Jadi kira-kira 1.800 MB / s

smp-016:~ # fdisk -l /dev/md0
Disk /dev/md0: 18890.1 GB, 18890060464128 bytes

smp-016:~ # fio -name="fill" -ioengine=libaio -direct=1 -bs=512m -rw=write -iodepth=4 -size=100% -filename=/dev/md0
fill: (g=0): rw=write, bs=512M-512M/512M-512M/512M-512M, ioengine=libaio, iodepth=4
fio-2.2.10
Starting 1 process
Jobs: 1 (f=1): [W(1)] [2.7% done] [0KB/1536MB/0KB /s] [0/3/0 iops] [eta 03h:01m:11s]

Saya harap ini sebenarnya data acak. Halaman manual mengatakan "Default: isi buffer dengan data acak." http://linux.die.net/man/1/fio

Saya tidak melakukannya untuk tujuan enkripsi / aman, hanya mencoba memastikan tes yang saya baca nanti adalah data aktual dan bukan hanya 0. Perintah fio yang sama ini dapat digunakan untuk preconditioning SSD / NVMe. Karena hanya menggunakan / dev / nol dapat menyebabkan kompresi tingkat disk "curang" berapa banyak yang sebenarnya ditulis. Meskipun saya akan menambahkan -loops=2bendera untuk itu, jika itu adalah SSD baru untuk pembandingan.

Jika Anda menginginkannya aman, Anda mungkin dapat menggunakan -randrepeat=bool opsi, karena itu akan beralih "Benih generator nomor acak dengan cara yang dapat diprediksi sehingga hasilnya dapat diulang di seluruh berjalan. Default: true.", Tapi aku masih belum yakin seberapa aman itu.

Selain itu, beberapa HDD kelas perusahaan di luar sana adalah SED (Self Encrypting Drives) dan akan memungkinkan Anda untuk memutar kunci enkripsi untuk secara instan dan aman menghapus semua data yang ditulis.

Terakhir, saya pernah menggunakan DBAN (alias Darik's Boot dan Nuke), yang memiliki opsi CD dan USB bootable dan "adalah proyek open source yang dihosting di SourceForge. Program ini dirancang untuk menghapus hard disk dengan aman hingga datanya permanen secara permanen. dihapus dan tidak lagi dapat dipulihkan "

Anda bisa mendapatkan OpenSSL untuk mengenkripsi /dev/zerodengan kata sandi acak, memberikan data pseudorandom yang layak dengan sangat cepat (jika CPU Anda mendukung mempercepatnya).

openssl enc -aes-256-ctr -pass pass:"$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64)" -nosalt < /dev/zero | dd of=/dev/sda

Anda dapat menyalurkan melalui ini pvuntuk mendapatkan kemajuan / ETA. Perintah yang saya jalankan sekarang (di root shell) adalah:

DISK="sda"
DISKSIZE=$(</proc/partitions awk '$4=="'"$DISK"'" {print sprintf("%.0f",$3*1024)}')
apt-get install pv
openssl enc -aes-256-ctr -nosalt \
  -pass pass:"$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64)" \
  < /dev/zero |
  pv --progress --eta --rate --bytes --size "$DISKSIZE" |
  dd of=/dev/"$DISK" bs=2M

Saya mendapat ide ini dari jawaban ini , setelah memiliki masalah yang sama dengan John yang tidak rasional , yang mengomentari jawaban Gilles di atas. Ini meningkatkan kecepatan penghapusan saya ke array RAID baru saya dari 11 MB / s menjadi sekitar 300 MB / s, mengambil apa yang akan memakan waktu seminggu hingga 10 jam.

Saya akan menambahkan bahwa Anda harus dapat menggunakan daripada pernyataan yang lebih rumit di atas, tetapi ada bug yang akan memungkinkan untuk menghasilkan hanya 16 MB output. (Bug ini telah diajukan, Jan 2016.)openssl rand #of_bytesopenssl enc ...ssl

Dan, sesuai jawaban untuk pertanyaan ini , dan terus mengasumsikan bahwa CPU adalah hambatan, dimungkinkan untuk meningkatkan kecepatan lebih lanjut dengan menjalankan beberapa opensslproses paralel pada core yang terpisah, menggabungkannya menggunakan FIFO.

Melengkapi jawaban Marco, yang Anda butuhkan adalah penghasil angka acak yang lebih cepat.

Anda menggunakan program sederhana yang menggemakan bilangan acak dari perpustakaan yang disukai boost::randomdan menggunakannya dd.

Jika Anda memilih meningkatkan, Anda dapat menggunakan contoh ini , mengubah experimentfungsi sesuai kebutuhan Anda.

Kemacetan jika bukan ukuran blok atau hard drive, tetapi generasi lambat nomor pseudo-acak. /dev/urandomadalah dengan magnitudo lebih cepat dibandingkan /dev/randomkarena itu tidak menghalangi pada kolam entropi rendah.

Anda dapat mengonfirmasi ini dengan mengukur output mentah dari nomor pseudo-acak Anda:

pv /dev/urandom >/dev/null

Nilai ini akan jauh lebih lambat daripada kecepatan tulis hard drive Anda. Solusi yang benar sangat tergantung pada tingkat keamanan yang Anda butuhkan. Jika Anda memerlukan keamanan yang tinggi baik menggunakan acak hardware cepat atau menerima kecepatan lambat. Jika kebutuhan keamanan Anda tidak setinggi itu, Anda bisa menangkap beberapa lusin MiB data dan menulis string itu berulang kali ke drive. Atau mungkin bahkan menulis nol dari /dev/zeroadalah pilihan.

Ringkasan

/dev/random - aman, sangat lambat
/dev/urandom- kurang aman¹,
RNG perangkat keras lambat - aman, cepat, sangat mahal
( /dev/zero - tidak acak sama sekali, sangat cepat)

¹ _{Menurut Apakah rand dari / dev / urandom aman untuk kunci masuk? /dev/urandomseaman /dev/random. Terima kasih kepada Gilles karena menunjukkan ini.}

Saya mencoba untuk mengisi HDD USB eksternal 4TB dengan dd if=/dev/urandom of=/dev/sdX status=progressyang terlalu lambat (terlepas dari bs=pengaturan), dan tampaknya opensslmemiliki batasan pada berapa banyak data acak yang akan dikeluarkan (setidaknya untuk versi 1.0.2p). Opsi terbaik yang saya temukan adalah komentar dari frostschutz untuk digunakan shred, seperti pada:

shred -v -n 1 /dev/sdX

Pastikan untuk menggunakan yang -n 1sebaliknya itu akan menulis perangkat standar 3 kali lipat (ditambah -vyang menunjukkan kemajuan). Saya tidak berpikir kualitas angka -angka pseudo-acak setinggi itu, tetapi cukup bagi saya untuk menyiapkan HDD portabel berkapasitas besar untuk enkripsi.