Pasti ada cara untuk melakukannya dengan mudah!

Saya telah mencoba aplikasi baris perintah Linux seperti sha1sumdan md5sumtetapi mereka tampaknya hanya dapat menghitung hash file individual dan mengeluarkan daftar nilai hash, satu untuk setiap file.

Saya perlu membuat satu hash untuk seluruh konten folder (bukan hanya nama file).

Saya ingin melakukan sesuatu seperti

sha1sum /folder/of/stuff > singlehashvalue

Sunting: untuk memperjelas, file saya ada di beberapa tingkatan dalam pohon direktori, mereka tidak semua berada di folder root yang sama.

Salah satu cara yang mungkin adalah:

jalur sha1sum / ke / folder / * | sha1sum

Jika ada seluruh pohon direktori, Anda mungkin lebih baik menggunakan find dan xargs. Satu perintah yang mungkin adalah

temukan jalur / ke / folder -type f -print0 | urutkan -z | xargs -0 sha1sum | sha1sum

Dan, terakhir, jika Anda juga perlu mempertimbangkan izin dan direktori kosong:

(find path/to/folder -type f -print0  | sort -z | xargs -0 sha1sum;
 find path/to/folder \( -type f -o -type d \) -print0 | sort -z | \
   xargs -0 stat -c '%n %a') \
| sha1sum

Argumen untuk statakan menyebabkannya mencetak nama file, diikuti dengan izin oktalnya. Kedua penemuan akan berjalan satu demi satu, menyebabkan dua kali jumlah IO disk, yang pertama menemukan semua nama file dan memeriksa isinya, yang kedua menemukan semua nama file dan direktori, nama dan mode pencetakan. Daftar "nama file dan checksum", diikuti dengan "nama dan direktori, dengan izin" kemudian akan di-checksum, untuk checksum yang lebih kecil.

• Gunakan alat deteksi intrusi sistem file seperti ajudan .

• hash bola tar direktori:

  tar cvf - /path/to/folder | sha1sum

• Kode sesuatu sendiri, seperti oneliner vatine :

  find /path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

Anda dapat melakukan tar -c /path/to/folder | sha1sum

Jika Anda hanya ingin memeriksa apakah ada yang berubah di folder, saya merekomendasikan yang ini:

ls -alR --full-time /folder/of/stuff | sha1sum

Ini hanya akan memberi Anda hash dari output ls, yang berisi folder, sub-folder, file mereka, stempel waktu, ukuran dan izinnya. Hampir semua yang Anda perlukan untuk menentukan apakah sesuatu telah berubah.

Harap dicatat bahwa perintah ini tidak akan menghasilkan hash untuk setiap file, tetapi itulah mengapa harus lebih cepat daripada menggunakan find.

Pendekatan yang kuat dan bersih

• Hal pertama yang pertama, jangan memonopoli memori yang tersedia ! Hash file dalam potongan daripada memberi makan seluruh file.
• Pendekatan yang berbeda untuk kebutuhan / tujuan yang berbeda (semua di bawah ini atau pilih apa yang pernah berlaku):
  • Hash hanya nama entri dari semua entri dalam pohon direktori
  • Hash konten file dari semua entri (meninggalkan meta seperti, nomor inode, ctime, atime, mtime, ukuran, dll., Anda mendapatkan idenya)
  • Untuk tautan simbolik, isinya adalah nama rujukan. Hash atau pilih untuk melewati
  • Ikuti atau tidak untuk mengikuti (nama terselesaikan) symlink saat melakukan hashing pada konten entri
  • Jika ini sebuah direktori, isinya hanyalah entri direktori. Saat melakukan traverse secara rekursif, pada akhirnya mereka akan di-hash, tetapi haruskah nama entri direktori dari level tersebut di-hash untuk menandai direktori ini? Bermanfaat dalam kasus penggunaan di mana hash diperlukan untuk mengidentifikasi perubahan dengan cepat tanpa harus menjelajahi konten secara mendalam. Contohnya adalah perubahan nama file tetapi konten lainnya tetap sama dan semuanya adalah file yang cukup besar
  • Tangani file besar dengan baik (sekali lagi, perhatikan RAM)
  • Tangani pohon direktori yang sangat dalam (perhatikan deskriptor file yang terbuka)
  • Tangani nama file non standar
  • Bagaimana cara melanjutkan dengan file yang berupa soket, pipa / FIFO, perangkat blok, perangkat char? Haruskah mereka hash juga?
  • Jangan perbarui waktu akses entri mana pun saat melakukan traverse karena ini akan menjadi efek samping dan kontra-produktif (intuitif?) Untuk kasus penggunaan tertentu.

Inilah yang saya pikirkan, siapa pun yang telah menghabiskan beberapa waktu untuk mengerjakan ini secara praktis akan menangkap kasus gotcha dan pojok lainnya.

Ini adalah alat , sangat ringan pada memori, yang menangani sebagian besar kasus, mungkin agak kasar di tepinya tetapi telah cukup membantu.

Contoh penggunaan dan keluaran dtreetrawl.

Usage:
  dtreetrawl [OPTION...] "/trawl/me" [path2,...]

Help Options:
  -h, --help                Show help options

Application Options:
  -t, --terse               Produce a terse output; parsable.
  -j, --json                Output as JSON
  -d, --delim=:             Character or string delimiter/separator for terse output(default ':')
  -l, --max-level=N         Do not traverse tree beyond N level(s)
  --hash                    Enable hashing(default is MD5).
  -c, --checksum=md5        Valid hashing algorithms: md5, sha1, sha256, sha512.
  -R, --only-root-hash      Output only the root hash. Blank line if --hash is not set
  -N, --no-name-hash        Exclude path name while calculating the root checksum
  -F, --no-content-hash     Do not hash the contents of the file
  -s, --hash-symlink        Include symbolic links' referent name while calculating the root checksum
  -e, --hash-dirent         Include hash of directory entries while calculating root checksum

Cuplikan dari keluaran yang ramah manusia:

...
... //clipped
...
/home/lab/linux-4.14-rc8/CREDITS
        Base name                    : CREDITS
        Level                        : 1
        Type                         : regular file
        Referent name                :
        File size                    : 98443 bytes
        I-node number                : 290850
        No. directory entries        : 0
        Permission (octal)           : 0644
        Link count                   : 1
        Ownership                    : UID=0, GID=0
        Preferred I/O block size     : 4096 bytes
        Blocks allocated             : 200
        Last status change           : Tue, 21 Nov 17 21:28:18 +0530
        Last file access             : Thu, 28 Dec 17 00:53:27 +0530
        Last file modification       : Tue, 21 Nov 17 21:28:18 +0530
        Hash                         : 9f0312d130016d103aa5fc9d16a2437e

Stats for /home/lab/linux-4.14-rc8:
        Elapsed time     : 1.305767 s
        Start time       : Sun, 07 Jan 18 03:42:39 +0530
        Root hash        : 434e93111ad6f9335bb4954bc8f4eca4
        Hash type        : md5
        Depth            : 8
        Total,
                size           : 66850916 bytes
                entries        : 12484
                directories    : 763
                regular files  : 11715
                symlinks       : 6
                block devices  : 0
                char devices   : 0
                sockets        : 0
                FIFOs/pipes    : 0

Jika Anda hanya ingin mencirikan konten file, mengabaikan nama file maka Anda dapat menggunakan

cat $FILES | md5sum

Pastikan Anda memiliki file dengan urutan yang sama saat menghitung hash:

cat $(echo $FILES | sort) | md5sum

Tetapi Anda tidak dapat memiliki direktori dalam daftar file Anda.

Alat lain untuk mencapai ini:

http://md5deep.sourceforge.net/

Seperti suara: seperti md5sum tetapi juga rekursif, ditambah fitur lainnya.

Jika ini adalah repo git dan Anda ingin mengabaikan file apa pun .gitignore, Anda mungkin ingin menggunakan ini:

git ls-files <your_directory> | xargs sha256sum | cut -d" " -f1 | sha256sum | cut -d" " -f1

Ini bekerja dengan baik untuk saya.

Ada skrip python untuk itu:

http://code.activestate.com/recipes/576973-getting-the-sha-1-or-md5-hash-of-a-directory/

Jika Anda mengubah nama file tanpa mengubah urutan abjadnya, skrip hash tidak akan mendeteksinya. Namun, jika Anda mengubah urutan file atau konten file apa pun, menjalankan skrip akan memberi Anda hash yang berbeda dari sebelumnya.

Saya harus memeriksa seluruh direktori untuk perubahan file.

Tetapi dengan mengecualikan, cap waktu, kepemilikan direktori.

Tujuannya adalah untuk mendapatkan jumlah yang identik di mana saja, jika file tersebut identik.

Termasuk dihosting ke mesin lain, apa pun kecuali file, atau perubahan ke dalamnya.

md5sum * | md5sum | cut -d' ' -f1

Ini menghasilkan daftar hash berdasarkan file, kemudian menggabungkan hash tersebut menjadi satu.

Ini jauh lebih cepat daripada metode tar.

Untuk privasi yang lebih kuat di hash kami, kami dapat menggunakan sha512sum pada resep yang sama.

sha512sum * | sha512sum | cut -d' ' -f1

Hash juga identik di mana saja menggunakan sha512sum tetapi tidak ada cara yang diketahui untuk membalikkannya.

Cobalah membuatnya dalam dua langkah:

1. buat file dengan hash untuk semua file di folder
2. hash file ini

Seperti:

# for FILE in `find /folder/of/stuff -type f | sort`; do sha1sum $FILE >> hashes; done
# sha1sum hashes

Atau lakukan semuanya sekaligus:

# cat `find /folder/of/stuff -type f | sort` | sha1sum

Saya akan menyalurkan hasil untuk file individual melalui sort(untuk mencegah pengubahan urutan file hanya untuk mengubah hash) menjadi md5sumatau sha1sum, mana pun yang Anda pilih.

Saya telah menulis skrip Groovy untuk melakukan ini:

import java.security.MessageDigest

public static String generateDigest(File file, String digest, int paddedLength){
    MessageDigest md = MessageDigest.getInstance(digest)
    md.reset()
    def files = []
    def directories = []

    if(file.isDirectory()){
        file.eachFileRecurse(){sf ->
            if(sf.isFile()){
                files.add(sf)
            }
            else{
                directories.add(file.toURI().relativize(sf.toURI()).toString())
            }
        }
    }
    else if(file.isFile()){
        files.add(file)
    }

    files.sort({a, b -> return a.getAbsolutePath() <=> b.getAbsolutePath()})
    directories.sort()

    files.each(){f ->
        println file.toURI().relativize(f.toURI()).toString()
        f.withInputStream(){is ->
            byte[] buffer = new byte[8192]
            int read = 0
            while((read = is.read(buffer)) > 0){
                md.update(buffer, 0, read)
            }
        }
    }

    directories.each(){d ->
        println d
        md.update(d.getBytes())
    }

    byte[] digestBytes = md.digest()
    BigInteger bigInt = new BigInteger(1, digestBytes)
    return bigInt.toString(16).padLeft(paddedLength, '0')
}

println "\n${generateDigest(new File(args[0]), 'SHA-256', 64)}"

Anda dapat menyesuaikan penggunaan untuk menghindari pencetakan setiap file, mengubah intisari pesan, mengambil hashing direktori, dll. Saya telah mengujinya terhadap data uji NIST dan berfungsi seperti yang diharapkan. http://www.nsrl.nist.gov/testdata/

gary-macbook:Scripts garypaduana$ groovy dirHash.groovy /Users/garypaduana/.config
.DS_Store
configstore/bower-github.yml
configstore/insight-bower.json
configstore/update-notifier-bower.json
filezilla/filezilla.xml
filezilla/layout.xml
filezilla/lockfile
filezilla/queue.sqlite3
filezilla/recentservers.xml
filezilla/sitemanager.xml
gtk-2.0/gtkfilechooser.ini
a/
configstore/
filezilla/
gtk-2.0/
lftp/
menus/
menus/applications-merged/

79de5e583734ca40ff651a3d9a54d106b52e94f1f8c2cd7133ca3bbddc0c6758

Anda dapat sha1summembuat daftar nilai hash dan kemudian sha1sumdaftar itu lagi, itu tergantung pada apa yang sebenarnya ingin Anda capai.

Berikut adalah varian singkat dan sederhana di Python 3 yang berfungsi dengan baik untuk file berukuran kecil (misalnya pohon sumber atau sesuatu, di mana setiap file dapat masuk ke dalam RAM dengan mudah), mengabaikan direktori kosong, berdasarkan ide dari solusi lain:

import os, hashlib

def hash_for_directory(path, hashfunc=hashlib.sha1):                                                                                            
    filenames = sorted(os.path.join(dp, fn) for dp, _, fns in os.walk(path) for fn in fns)         
    index = '\n'.join('{}={}'.format(os.path.relpath(fn, path), hashfunc(open(fn, 'rb').read()).hexdigest()) for fn in filenames)               
    return hashfunc(index.encode('utf-8')).hexdigest()                          

Ini bekerja seperti ini:

1. Temukan semua file dalam direktori secara rekursif dan urutkan berdasarkan nama
2. Hitung hash (default: SHA-1) dari setiap file (membaca seluruh file ke dalam memori)
3. Buat indeks tekstual dengan baris "filename = hash"
4. Enkode indeks itu kembali menjadi string UTF-8 byte dan hash itu

Anda dapat memasukkan fungsi hash yang berbeda sebagai parameter kedua jika SHA-1 bukan secangkir teh Anda.

Sejauh ini cara tercepat untuk melakukannya masih dengan tar. Dan dengan beberapa parameter tambahan kita juga dapat menghilangkan perbedaan yang disebabkan oleh metadata.

Untuk menggunakan tar untuk hash dir, perlu dipastikan Anda mengurutkan path selama tar, jika tidak maka akan selalu berbeda.

tar -C <root-dir> -cf - --sort=name <dir> | sha256sum

abaikan waktu

Jika Anda tidak peduli dengan waktu akses atau mengubah waktu juga gunakan sesuatu seperti --mtime='UTC 2019-01-01' untuk memastikan semua cap waktu sama.

abaikan kepemilikan

Biasanya kita perlu menambahkan --group=0 --owner=0 --numeric-owneruntuk menyatukan metadata pemilik.

abaikan beberapa file

menggunakan --exclude=PATTERN