Periksa kebenaran file yang disalin

Setelah saya salin katakan 50+ GB (30.000 file termasuk format yang berbeda) dari file dari hard drive internal ke drive eksternal apakah ada cara untuk mengetahui apakah semuanya telah disalin dengan benar? Juga jika saya berhenti di antara dengan membatalkan operasi dan kemudian mengatakan bergabung ketika melanjutkan operasi akan kebenaran terpukul?

Saya bisa menggunakan aplikasi seperti back-in-timetetapi saya sangat pemilih dalam menyalin file dan untuk waktu berikutnya saya berniat untuk menggunakan copyoperasi dan mengatakan mergebukan replace. Apakah disarankan saat menyalin sejumlah besar file?

Saya menggunakan hashdeep untuk memverifikasi cadangan / mengembalikan dan kadang-kadang untuk memeriksa kerusakan sistem file dalam RAID.

Kecepatannya tergantung pada fungsi hash mana yang Anda gunakan (ada yang lebih intensif CPU daripada yang lain) serta kecepatan baca disk Anda. Di sistem saya hashdeepdapat memproses atau memverifikasi sekitar 1 TB / jam dengan kecepatan baca md5 dan 300 MB / s.

Contoh menghitung checksum dan menyimpannya dalam file:

cd my-data
hashdeep -rlc md5 . > ~/checksums.txt

Parameter:

• r - rekursif
• l - Gunakan jalur relatif
• c - tentukan fungsi hash
• . - Mulai secara rekursif di direktori saat ini
• > - redirect output ke file yang ditentukan

Lihat halaman manual .

Contoh tentang memverifikasi checksum dan mencetak daftar perbedaan:

$ cd /mnt/my-backup
$ hashdeep -ravvl -k ~/checksums.txt .
hashdeep: Audit passed
          Files matched: 40914
Files partially matched: 0
            Files moved: 0
        New files found: 0
  Known files not found: 0

Parameter:

• a - audit (bandingkan dengan daftar checksum yang diketahui)
• v- verbose (untuk mendapatkan daftar ketidakcocokan, multiple vs berarti lebih banyak verbose)
• k - File hash yang dikenal

Perhatikan bahwa pada Maret 2016 hashdeeptampaknya ditinggalkan .

Sepertinya tugas yang sempurna untuk rsync . Rsync membandingkan dan menyalin perbedaan.

The rsyncutilitas pertama muncul dalam pikiran saya ketika saya melihat pertanyaan Anda. Melakukan sesuatu seperti di bawah ini dapat dengan cepat menampilkan file apa yang ada di direktori atetapi tidak di b:

$ rsync -rcnv a/* b/

-r will recurse into the directories
-c will compare based on file checksum
-n will run it as a "dry run" and make no changes, but just print out the files 
   that would be updated
-v will print the output to stdout verbosely

Ini adalah opsi yang baik karena Anda dapat membandingkan konten file juga untuk memastikan mereka cocok. rsyncAlgoritma delta dioptimalkan untuk jenis kasus penggunaan ini. Kemudian jika Anda ingin bmencocokkan isi a, Anda dapat menghapus -nopsi untuk melakukan sinkronisasi yang sebenarnya.

Beberapa pertanyaan terkait:

• /programming/19396718/compare-files-in-two-directory-on-remote-server-using-unix
• /unix/57305/rsync-compare-directories

Jika aplikasi GUI disarankan pada alat perbandingan File dan direktori? jangan lakukan itu untuk Anda, cobalah diff -rq /path/to/one /path/to/otheruntuk menelusuri kembali kedua direktori dengan tenang, hanya mencatat perbedaan pada layar.

Situasi yang Anda katakan terlalu rumit. Meskipun Anda dapat menulis skrip untuk menghitung MD5 dari semua file yang ingin Anda salin dan kemudian membandingkannya dengan yang disalin:

• http://dll.nu/md5i/
• http://www.unix.com/unix-desktop-dummies-questions-answers/156854-script-compare-md5.html

Jika Anda menginginkan sesuatu yang sederhana dan cepat (itu tidak akan bekerja dalam skenario yang sangat kompleks) Anda dapat menggunakan Meld

sudo apt-get install meld

Pada "jika semuanya telah disalin dengan benar", saya menggunakan cp yang dimodifikasi (atau mv) yang mencakup checksumming (opsional disimpan dalam xattr, maka itu hanya harus dihitung sekali untuk sumbernya) http://sourceforge.net/projects / crcsum /