Bagaimana menghapus kata duplikat di banyak file dan menyimpan hanya kata uniq di file yang awalnya ditemukan saja

Saya ingin menghapus semua kata rangkap dalam beberapa file dan hanya menyimpan satu kata. Bagaimana saya bisa melakukannya? Saya juga ingin mengatakan bahwa isi file tidak boleh korslet.

Contoh: - Misalkan saya memiliki 10 file (dari 1.txt ke 10.txt). Nama kata ABC ada di file nomor 1, 4 dan 6. Juga nama Word xyz ada di nomor file 3,5,8,9,10.

      I want to remove word ABC from file number 4 and 6 only and keep word ABC in file number 1 only. Same as the for word xyz. I want to keep word xyz only in file number 3.txt and remove from file number 5,8,9,10.txt

     Please give me guidance for the same.

     Thank You.

Saya melakukan hal yang sama dengan file (hapus semua tetapi kejadian yang sama ukuran + crc32), tetapi saya menggunakan skrip mewah untuk menyaring barang-barang.

Pertama-tama Anda dapat menggunakan sesuatu seperti word | sort | uniquntuk menghasilkan daftar kata yang diurutkan untuk setiap file.

Saya kemudian akan menggunakan array asosiatif (seperti pada REXX), di mana

 /*  REXX  */
 used. = 0
 do n = 1 to 10; call dofile; end
 exit

 dofile: 
 infile = n'.txt'; outfile = n'.out'
 call stream infile, 'c', 'open read'
 call stream outfile, 'c', 'open write replace'
 do while lines(infile)
   word = linein(infile)
   /* remove the comment markers to make it case insensitive */
   /* word = translate(word) */
   if used.word = 0  
      then do; call lineout outfile, word; used.word = 1; end
  end
  call stream outfile, 'c', 'close'
  call stream infile, 'c', 'close'
  return

Skrip khusus ini menyimpan daftar semua kata yang digunakan dalam semua file. Bunyinya dalam file, dan lihat apakah kata itu sudah diketahui, atau harus dipelajari. Jika itu harus dipelajari, maka itu diingat, dan salinannya ditulis ke dalam file .out dari pelajaran yang dipelajari. Jadi, dalam contoh Anda, 'xyz' dipelajari dalam lessen 3, dan dalam 3.out , sementara ABC dipelajari dalam pelajaran 1, demikian juga dalam 1.out.

Jenis suka belajar bahasa.