Bandingkan dua file baris demi baris dan buat perbedaan di file lain

Saya ingin membandingkan file1 dengan file2 dan menghasilkan file3 yang berisi baris di file1 yang tidak ada di file2.

diff (1) bukanlah jawabannya, tetapi comm (1) adalah.

NAME
       comm - compare two sorted files line by line

SYNOPSIS
       comm [OPTION]... FILE1 FILE2

...

       -1     suppress lines unique to FILE1

       -2     suppress lines unique to FILE2

       -3     suppress lines that appear in both files

Begitu

comm -2 -3 file1 file2 > file3

File masukan harus diurutkan. Jika tidak, urutkan terlebih dahulu. Ini dapat dilakukan dengan file sementara, atau ...

comm -2 -3 <(sort file1) <(sort file2) > file3

asalkan shell Anda mendukung substitusi proses (bash mendukungnya).

Utilitas Unix diffdimaksudkan untuk tujuan ini.

$ diff -u file1 file2 > file3

Lihat manual dan Internet untuk opsi, format keluaran yang berbeda, dll.

Pertimbangkan ini:
file a.txt:

abcd
efgh

file b.txt:

abcd

Anda dapat menemukan perbedaannya dengan:

diff -a --suppress-common-lines -y a.txt b.txt

Outputnya adalah:

efgh 

Anda dapat mengubah output dalam file output (c.txt) menggunakan:

diff -a --suppress-common-lines -y a.txt b.txt > c.txt

Ini akan menjawab pertanyaan Anda:

"... yang berisi baris di file1 yang tidak ada di file2."

Terkadang diffutilitas yang Anda butuhkan, tetapi terkadang joinlebih tepat. File-file tersebut perlu disortir sebelumnya atau, jika Anda menggunakan shell yang mendukung substitusi proses seperti bash, ksh atau zsh, Anda dapat melakukan pengurutan dengan cepat.

join -v 1 <(sort file1) <(sort file2)

Mencoba

sdiff file1 file2

Ini biasanya bekerja jauh lebih baik dalam banyak kasus bagi saya. Anda mungkin ingin mengurutkan file sebelumnya, jika urutan baris tidak penting (mis. Beberapa file konfigurasi teks).

Sebagai contoh,

sdiff -w 185 file1.cfg file2.cfg

Jika Anda perlu menyelesaikan ini dengan coreutils, jawaban yang diterima adalah baik:

comm -23 <(sort file1) <(sort file2) > file3

Anda juga dapat menggunakan sd (stream diff), yang tidak memerlukan pengurutan atau substitusi proses dan mendukung aliran tak terbatas, seperti:

cat file1 | sd 'cat file2' > file3

Mungkin tidak banyak manfaat dari contoh ini, tapi tetap pertimbangkan; dalam beberapa kasus, Anda tidak akan dapat menggunakan commatau grep -Ftidak diff.

Berikut adalah posting blog yang saya tulis tentang aliran diffing di terminal, yang memperkenalkan sd.

Namun, tidak ada grepsolusi?

• baris yang hanya ada di file2:

  grep -Fxvf file1 file2 > file3

• baris yang hanya ada di file1:

  grep -Fxvf file2 file1 > file3

• baris yang ada di kedua file:

  grep -Fxf file1 file2 > file3

Banyak jawaban sudah, tapi tidak satupun dari mereka IMHO sempurna. Jawaban Thanatos menyisakan beberapa karakter tambahan per baris dan jawaban Sorpigal mengharuskan file diurutkan atau disortir sebelumnya, yang mungkin tidak memadai di semua situasi.

Saya pikir cara terbaik untuk mendapatkan garis yang berbeda dan tidak ada yang lain (tidak ada karakter tambahan, tidak ada re-pemesanan) adalah kombinasi dari diff, grep, dan awk(atau serupa).

Jika baris tidak mengandung "<", satu baris pendek dapat berupa:

diff urls.txt* | grep "<" | sed 's/< //g'

tetapi itu akan menghapus setiap contoh "<" (kurang dari, spasi) dari baris, yang tidak selalu OK (misalnya kode sumber). Opsi teraman adalah menggunakan awk:

diff urls.txt* | grep "<" | awk '{for (i=2; i<NF; i++) printf $i " "; print $NF}'

Satu baris ini membedakan kedua file, lalu memfilter keluaran gaya-ed dari diff, lalu menghapus tanda "<" yang ditambahkan diff. Ini berfungsi bahkan jika baris berisi beberapa "<" itu sendiri.

Saya terkejut tidak ada yang menyebutkan diff -yuntuk menghasilkan output berdampingan , misalnya:

diff -y file1 file2 > file3

Dan di file3(baris yang berbeda memiliki simbol |di tengah):

same     same
diff_1 | diff_2

Gunakan utilitas Diff dan ekstrak hanya baris yang dimulai dengan <di output

diff a1.txt a2.txt | grep '> ' | sed 's/> //' > a3.txt

Saya mencoba hampir semua jawaban di utas ini, tetapi tidak ada yang lengkap. Setelah beberapa jalur di atas, satu berhasil untuk saya. diff akan memberi Anda perbedaan tetapi dengan beberapa karakter khusus yang tidak diinginkan. di mana Anda garis perbedaan yang sebenarnya dimulai dengan '>'. jadi langkah selanjutnya adalah grep baris dimulai dengan '>' dan diikuti dengan menghapus yang sama dengan sed .

Anda bisa menggunakan diff dengan format keluaran berikut:

diff --old-line-format='' --unchanged-line-format='' file1 file2

--old-line-format='', nonaktifkan output untuk file1 jika baris berbeda dibandingkan di file2.
--unchanged-line-format='', nonaktifkan keluaran jika garisnya sama.