Bagaimana saya bisa menghapus baris duplikat?

Apa cara terbaik untuk menghapus duplikat baris dari SQL Servertabel yang cukup besar (yaitu 300.000+ baris)?

Baris, tentu saja, tidak akan menjadi duplikat yang sempurna karena keberadaan RowIDbidang identitas.

MyTable

RowID int not null identity(1,1) primary key,
Col1 varchar(20) not null,
Col2 varchar(2048) not null,
Col3 tinyint not null

Dengan asumsi tidak ada nulls, Anda GROUP BYkolom yang unik, dan SELECTyang MIN (or MAX)RowId sebagai baris untuk menjaga. Lalu, hapus saja semua yang tidak memiliki id baris:

DELETE FROM MyTable
LEFT OUTER JOIN (
   SELECT MIN(RowId) as RowId, Col1, Col2, Col3 
   FROM MyTable 
   GROUP BY Col1, Col2, Col3
) as KeepRows ON
   MyTable.RowId = KeepRows.RowId
WHERE
   KeepRows.RowId IS NULL

Jika Anda memiliki GUID dan bukan bilangan bulat, Anda bisa menggantinya

MIN(RowId)

dengan

CONVERT(uniqueidentifier, MIN(CONVERT(char(36), MyGuidColumn)))

Cara lain yang memungkinkan untuk melakukan ini adalah

; 

--Ensure that any immediately preceding statement is terminated with a semicolon above
WITH cte
     AS (SELECT ROW_NUMBER() OVER (PARTITION BY Col1, Col2, Col3 
                                       ORDER BY ( SELECT 0)) RN
         FROM   #MyTable)
DELETE FROM cte
WHERE  RN > 1;

Saya menggunakan di ORDER BY (SELECT 0)atas karena sewenang-wenang baris yang harus dipertahankan jika terjadi seri.

Untuk mempertahankan yang terbaru RowIDagar misalnya Anda dapat menggunakanORDER BY RowID DESC

Rencana Eksekusi

Rencana pelaksanaan untuk ini sering kali lebih sederhana dan lebih efisien daripada yang ada di jawaban yang diterima karena tidak memerlukan self join.

Namun ini tidak selalu terjadi. Satu tempat di mana GROUP BYsolusi mungkin lebih disukai adalah situasi di mana agregat hash akan dipilih dalam preferensi untuk agregat aliran.

The ROW_NUMBERsolusi akan selalu memberikan cukup banyak rencana yang sama sedangkan GROUP BYstrategi lebih fleksibel.

Faktor-faktor yang mungkin mendukung pendekatan agregat hash adalah

• Tidak ada indeks berguna pada kolom partisi
• kelompok yang relatif lebih sedikit dengan duplikat yang relatif lebih banyak di setiap kelompok

Dalam versi ekstrem dari kasus kedua ini (jika ada sangat sedikit grup dengan masing-masing duplikat di masing-masing) orang juga dapat mempertimbangkan hanya dengan memasukkan baris untuk disimpan ke dalam tabel baru kemudian TRUNCATE-ing yang asli dan menyalinnya kembali untuk meminimalkan logging dibandingkan dengan menghapus sebuah proporsi baris yang sangat tinggi.

Ada artikel bagus tentang menghapus duplikat di situs Dukungan Microsoft. Ini cukup konservatif - mereka membuat Anda melakukan semuanya dalam langkah-langkah terpisah - tetapi harus bekerja dengan baik terhadap tabel besar.

Saya telah menggunakan self-joins untuk melakukan ini di masa lalu, meskipun mungkin bisa dilengkapi dengan klausa HAVING:

DELETE dupes
FROM MyTable dupes, MyTable fullTable
WHERE dupes.dupField = fullTable.dupField 
AND dupes.secondDupField = fullTable.secondDupField 
AND dupes.uniqueField > fullTable.uniqueField

Permintaan berikut berguna untuk menghapus baris duplikat. Tabel dalam contoh ini memiliki IDsebagai kolom identitas dan kolom yang memiliki data duplikat adalah Column1, Column2dan Column3.

DELETE FROM TableName
WHERE  ID NOT IN (SELECT MAX(ID)
                  FROM   TableName
                  GROUP  BY Column1,
                            Column2,
                            Column3
                  /*Even if ID is not null-able SQL Server treats MAX(ID) as potentially
                    nullable. Because of semantics of NOT IN (NULL) including the clause
                    below can simplify the plan*/
                  HAVING MAX(ID) IS NOT NULL) 

Penggunaan script berikut menunjukkan dari GROUP BY, HAVING, ORDER BYdalam satu query, dan kembali hasil dengan duplikat kolom dan jumlah nya.

SELECT YourColumnName,
       COUNT(*) TotalCount
FROM   YourTableName
GROUP  BY YourColumnName
HAVING COUNT(*) > 1
ORDER  BY COUNT(*) DESC 

delete t1
from table t1, table t2
where t1.columnA = t2.columnA
and t1.rowid>t2.rowid

Postgres:

delete
from table t1
using table t2
where t1.columnA = t2.columnA
and t1.rowid > t2.rowid

DELETE LU 
FROM   (SELECT *, 
               Row_number() 
                 OVER ( 
                   partition BY col1, col1, col3 
                   ORDER BY rowid DESC) [Row] 
        FROM   mytable) LU 
WHERE  [row] > 1 

Ini akan menghapus baris duplikat, kecuali baris pertama

DELETE
FROM
    Mytable
WHERE
    RowID NOT IN (
        SELECT
            MIN(RowID)
        FROM
            Mytable
        GROUP BY
            Col1,
            Col2,
            Col3
    )

Lihat ( http://www.codeproject.com/Articles/157977/Remove-Duplicate-Rows-from-a-Table-in-SQL-Server )

Saya lebih suka CTE untuk menghapus duplikat baris dari tabel sql server

sangat menyarankan untuk mengikuti artikel ini :: http://codaffection.com/sql-server-article/delete-duplicate-rows-in-sql-server/

dengan menjaga yang asli

WITH CTE AS
(
SELECT *,ROW_NUMBER() OVER (PARTITION BY col1,col2,col3 ORDER BY col1,col2,col3) AS RN
FROM MyTable
)

DELETE FROM CTE WHERE RN<>1

tanpa menyimpan yang asli

WITH CTE AS
(SELECT *,R=RANK() OVER (ORDER BY col1,col2,col3)
FROM MyTable)
 
DELETE CTE
WHERE R IN (SELECT R FROM CTE GROUP BY R HAVING COUNT(*)>1)

Untuk Mengambil Baris Duplikat:

SELECT
name, email, COUNT(*)
FROM 
users
GROUP BY
name, email
HAVING COUNT(*) > 1

Untuk Menghapus Baris Duplikat:

DELETE users 
WHERE rowid NOT IN 
(SELECT MIN(rowid)
FROM users
GROUP BY name, email);      

Cepat dan Kotor untuk menghapus baris duplikat yang tepat (untuk tabel kecil):

select  distinct * into t2 from t1;
delete from t1;
insert into t1 select *  from t2;
drop table t2;

Saya lebih suka solusi subquery \ having count (*)> 1 untuk inner join karena saya merasa lebih mudah dibaca dan sangat mudah untuk berubah menjadi pernyataan SELECT untuk memverifikasi apa yang akan dihapus sebelum Anda menjalankannya.

--DELETE FROM table1 
--WHERE id IN ( 
     SELECT MIN(id) FROM table1 
     GROUP BY col1, col2, col3 
     -- could add a WHERE clause here to further filter
     HAVING count(*) > 1
--)

SELECT  DISTINCT *
      INTO tempdb.dbo.tmpTable
FROM myTable

TRUNCATE TABLE myTable
INSERT INTO myTable SELECT * FROM tempdb.dbo.tmpTable
DROP TABLE tempdb.dbo.tmpTable

Saya pikir saya akan membagikan solusi saya karena ini bekerja dalam keadaan khusus. Saya kasus saya tabel dengan nilai duplikat tidak memiliki kunci asing (karena nilai-nilai itu digandakan dari db lain).

begin transaction
-- create temp table with identical structure as source table
Select * Into #temp From tableName Where 1 = 2

-- insert distinct values into temp
insert into #temp 
select distinct * 
from  tableName

-- delete from source
delete from tableName 

-- insert into source from temp
insert into tableName 
select * 
from #temp

rollback transaction
-- if this works, change rollback to commit and execute again to keep you changes!!

PS: ketika mengerjakan hal-hal seperti ini saya selalu menggunakan transaksi, ini tidak hanya memastikan semuanya dieksekusi secara keseluruhan, tetapi juga memungkinkan saya untuk menguji tanpa mempertaruhkan apapun. Tapi tentu saja Anda harus mengambil cadangan pula hanya untuk memastikan ...

Permintaan ini menunjukkan kinerja yang sangat baik untuk saya:

DELETE tbl
FROM
    MyTable tbl
WHERE
    EXISTS (
        SELECT
            *
        FROM
            MyTable tbl2
        WHERE
            tbl2.SameValue = tbl.SameValue
        AND tbl.IdUniqueValue < tbl2.IdUniqueValue
    )

itu menghapus baris 1M dalam sedikit lebih dari 30detik dari tabel 2M (50% duplikat)

Menggunakan CTE. Idenya adalah untuk bergabung pada satu atau lebih kolom yang membentuk catatan duplikat dan kemudian menghapus mana yang Anda suka:

;with cte as (
    select 
        min(PrimaryKey) as PrimaryKey
        UniqueColumn1,
        UniqueColumn2
    from dbo.DuplicatesTable 
    group by
        UniqueColumn1, UniqueColumn1
    having count(*) > 1
)
delete d
from dbo.DuplicatesTable d 
inner join cte on 
    d.PrimaryKey > cte.PrimaryKey and
    d.UniqueColumn1 = cte.UniqueColumn1 and 
    d.UniqueColumn2 = cte.UniqueColumn2;

Namun solusi mudah lainnya dapat ditemukan di tautan yang ditempelkan di sini . Ini mudah dipahami dan tampaknya efektif untuk sebagian besar masalah serupa. Ini untuk SQL Server, tetapi konsep yang digunakan lebih dari dapat diterima.

Berikut adalah bagian yang relevan dari halaman yang ditautkan:

Pertimbangkan data ini:

EMPLOYEE_ID ATTENDANCE_DATE
A001    2011-01-01
A001    2011-01-01
A002    2011-01-01
A002    2011-01-01
A002    2011-01-01
A003    2011-01-01

Jadi bagaimana kita bisa menghapus data duplikat itu?

Pertama, masukkan kolom identitas dalam tabel itu dengan menggunakan kode berikut:

ALTER TABLE dbo.ATTENDANCE ADD AUTOID INT IDENTITY(1,1)  

Gunakan kode berikut untuk mengatasinya:

DELETE FROM dbo.ATTENDANCE WHERE AUTOID NOT IN (SELECT MIN(AUTOID) _
    FROM dbo.ATTENDANCE GROUP BY EMPLOYEE_ID,ATTENDANCE_DATE) 

Berikut ini adalah artikel bagus lainnya tentang menghapus duplikat .

Ini membahas mengapa ini sulit: " SQL didasarkan pada aljabar relasional, dan duplikat tidak dapat terjadi dalam aljabar relasional, karena duplikat tidak diperbolehkan dalam satu set. "

Solusi tabel temp, dan dua contoh mysql.

Di masa depan Anda akan mencegahnya di tingkat basis data, atau dari perspektif aplikasi. Saya akan menyarankan tingkat database karena database Anda harus bertanggung jawab untuk menjaga integritas referensial, pengembang hanya akan menimbulkan masalah;)

Tentu Gunakan tabel temp. Jika Anda menginginkan pernyataan tunggal yang tidak terlalu berkinerja "berhasil", Anda dapat menggunakan:

DELETE FROM MyTable WHERE NOT RowID IN
    (SELECT 
        (SELECT TOP 1 RowID FROM MyTable mt2 
        WHERE mt2.Col1 = mt.Col1 
        AND mt2.Col2 = mt.Col2 
        AND mt2.Col3 = mt.Col3) 
    FROM MyTable mt)

Pada dasarnya, untuk setiap baris dalam tabel, sub-pilih menemukan RowID atas semua baris yang persis seperti baris yang dipertimbangkan. Jadi, Anda berakhir dengan daftar RowID yang mewakili baris "asli" yang tidak terduplikasi.

Saya punya meja di mana saya harus menjaga baris non-duplikat. Saya tidak yakin dengan kecepatan atau efisiensinya.

DELETE FROM myTable WHERE RowID IN (
  SELECT MIN(RowID) AS IDNo FROM myTable
  GROUP BY Col1, Col2, Col3
  HAVING COUNT(*) = 2 )

Gunakan ini

WITH tblTemp as
(
SELECT ROW_NUMBER() Over(PARTITION BY Name,Department ORDER BY Name)
   As RowNumber,* FROM <table_name>
)
DELETE FROM tblTemp where RowNumber >1

Cara lainnya adalah Buat tabel baru dengan bidang yang sama dan dengan Indeks Unik . Kemudian pindahkan semua data dari tabel lama ke tabel baru . Secara otomatis SQL SERVER abaikan (ada juga opsi tentang apa yang harus dilakukan jika akan ada nilai duplikat: abaikan, interupsi, atau sth) nilai duplikat. Jadi kami memiliki tabel yang sama tanpa baris duplikat. Jika Anda tidak ingin Indeks Unik, setelah transfer data Anda dapat menjatuhkannya .

Khusus untuk tabel yang lebih besar, Anda dapat menggunakan DTS (paket SSIS untuk mengimpor / mengekspor data) untuk mentransfer semua data dengan cepat ke tabel baru yang diindeks unik. Untuk 7 juta baris dibutuhkan hanya beberapa menit.

Dengan menggunakan kueri di bawah ini, kami dapat menghapus rekaman duplikat berdasarkan satu kolom atau beberapa kolom. kueri di bawah ini dihapus berdasarkan pada dua kolom. nama tabel adalah: testingdan nama kolomempno,empname

DELETE FROM testing WHERE empno not IN (SELECT empno FROM (SELECT empno, ROW_NUMBER() OVER (PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)
or empname not in
(select empname from (select empname,row_number() over(PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)

1. Buat tabel kosong baru dengan struktur yang sama

2. Jalankan query seperti ini

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) > 1

3. Kemudian jalankan query ini

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) = 1

Ini adalah cara termudah untuk menghapus catatan duplikat

 DELETE FROM tblemp WHERE id IN 
 (
  SELECT MIN(id) FROM tblemp
   GROUP BY  title HAVING COUNT(id)>1
 )

http://askme.indianyouth.info/details/how-to-dumplicate-record-from-table-in-using-sql-105

Saya akan menyebutkan pendekatan ini juga karena dapat membantu, dan bekerja di semua server SQL: Cukup sering hanya ada satu - dua duplikat, dan Id serta jumlah duplikat dikenal. Pada kasus ini:

SET ROWCOUNT 1 -- or set to number of rows to be deleted
delete from myTable where RowId = DuplicatedID
SET ROWCOUNT 0

Dari level aplikasi (sayangnya). Saya setuju bahwa cara yang tepat untuk mencegah duplikasi adalah pada tingkat basis data melalui penggunaan indeks unik, tetapi dalam SQL Server 2005, indeks diperbolehkan hanya 900 byte, dan bidang varchar (2048) saya pukulan itu.

Saya tidak tahu seberapa baik kinerjanya, tapi saya pikir Anda bisa menulis pemicu untuk menegakkan ini, bahkan jika Anda tidak bisa melakukannya secara langsung dengan indeks. Sesuatu seperti:

-- given a table stories(story_id int not null primary key, story varchar(max) not null)
CREATE TRIGGER prevent_plagiarism 
ON stories 
after INSERT, UPDATE 
AS 
    DECLARE @cnt AS INT 

    SELECT @cnt = Count(*) 
    FROM   stories 
           INNER JOIN inserted 
                   ON ( stories.story = inserted.story 
                        AND stories.story_id != inserted.story_id ) 

    IF @cnt > 0 
      BEGIN 
          RAISERROR('plagiarism detected',16,1) 

          ROLLBACK TRANSACTION 
      END 

Juga, varchar (2048) kedengarannya mencurigakan bagi saya (beberapa hal dalam hidup adalah 2048 bytes, tetapi sangat jarang); bukankah seharusnya itu varchar (maks)?

Cara lain untuk melakukan ini: -

DELETE A
FROM   TABLE A,
       TABLE B
WHERE  A.COL1 = B.COL1
       AND A.COL2 = B.COL2
       AND A.UNIQUEFIELD > B.UNIQUEFIELD 

DELETE
FROM
    table_name T1
WHERE
    rowid > (
        SELECT
            min(rowid)
        FROM
            table_name T2
        WHERE
            T1.column_name = T2.column_name
    );

CREATE TABLE car(Id int identity(1,1), PersonId int, CarId int)

INSERT INTO car(PersonId,CarId)
VALUES(1,2),(1,3),(1,2),(2,4)

--SELECT * FROM car

;WITH CTE as(
SELECT ROW_NUMBER() over (PARTITION BY personid,carid order by personid,carid) as rn,Id,PersonID,CarId from car)

DELETE FROM car where Id in(SELECT Id FROM CTE WHERE rn>1)

Saya ingin mempratinjau baris yang akan Anda hapus dan tetap mengontrol yang mana dari baris duplikat yang akan disimpan. Lihat http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/

with MYCTE as (
  SELECT ROW_NUMBER() OVER (
    PARTITION BY DuplicateKey1
                ,DuplicateKey2 -- optional
    ORDER BY CreatedAt -- the first row among duplicates will be kept, other rows will be removed
  ) RN
  FROM MyTable
)
DELETE FROM MYCTE
WHERE RN > 1