Hapus Data Duplikat di PostgreSQL

Saya memiliki tabel dalam database PostgreSQL 8.3.8, yang tidak memiliki kunci / batasan di atasnya, dan memiliki beberapa baris dengan nilai yang persis sama.

Saya ingin menghapus semua duplikat dan hanya menyimpan 1 salinan untuk setiap baris.

Ada satu kolom khusus (bernama "kunci") yang dapat digunakan untuk mengidentifikasi duplikat (yaitu, hanya boleh ada satu entri untuk setiap "kunci" yang berbeda).

Bagaimana saya bisa melakukan ini? (Idealnya dengan satu perintah SQL) Kecepatan tidak menjadi masalah dalam kasus ini (hanya ada beberapa baris).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Solusi yang lebih cepat adalah

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Ini cepat dan ringkas:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Lihat juga jawaban saya di Cara menghapus baris duplikat tanpa pengenal unik yang menyertakan lebih banyak informasi.

Saya mencoba ini:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

disediakan oleh Postgres wiki:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Saya harus membuat versi saya sendiri. Versi yang ditulis oleh @a_horse_with_no_name terlalu lambat di tabel saya (21 juta baris). Dan @rapimo sama sekali tidak menghapus dups.

Inilah yang saya gunakan di PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Saya akan menggunakan tabel sementara:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Kemudian, hapus tabdan ganti nama tab_tempmenjadi tab.

Pendekatan lain (hanya berfungsi jika Anda memiliki bidang unik seperti iddi tabel Anda) untuk menemukan semua id unik menurut kolom dan menghapus id lain yang tidak ada dalam daftar unik

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Bagaimana tentang:

DENGAN
  u SEBAGAI (PILIH DISTINCT * FROM your_table),
  x SEBAGAI (HAPUS DARI tabel_Anda)
MASUKKAN KE tabel_anda SELECT * FROM u;

Saya khawatir tentang urutan eksekusi, apakah DELETE akan terjadi sebelum SELECT DISTINCT, tetapi berfungsi dengan baik untuk saya. Dan memiliki bonus tambahan karena tidak memerlukan pengetahuan apa pun tentang struktur tabel.

Ini bekerja dengan baik untuk saya. Saya memiliki tabel, istilah, yang berisi nilai duplikat. Menjalankan kueri untuk mengisi tabel temp dengan semua baris duplikat. Lalu saya menjalankan pernyataan delete dengan id tersebut di tabel temp. nilai adalah kolom yang berisi duplikat.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Berikut solusinya dengan menggunakan PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate