Bagaimana cara 'menyisipkan jika tidak ada' di MySQL?

Saya mulai dengan googling, dan menemukan artikel ini yang membahas tentang tabel mutex.

Saya punya meja dengan ~ 14 juta catatan. Jika saya ingin menambahkan lebih banyak data dalam format yang sama, apakah ada cara untuk memastikan catatan yang ingin saya masukkan tidak ada tanpa menggunakan sepasang kueri (yaitu, satu permintaan untuk memeriksa dan satu untuk memasukkan adalah hasil yang ditetapkan adalah kosong)?

Apakah uniquebatasan pada bidang menjamin insertkehendak gagal jika sudah ada?

Tampaknya dengan hanya kendala, ketika saya mengeluarkan insert via php, skripnya serak.

menggunakan INSERT IGNORE INTO table

lihat http://bogdan.org.ua/2007/10/18/mysql-insert-if-not-exists-syntax.html

ada juga INSERT … ON DUPLICATE KEY UPDATEsintaks, Anda dapat menemukan penjelasan di dev.mysql.com

Posting dari bogdan.org.ua sesuai dengan cache web Google :

18 Oktober 2007

Untuk memulai: pada MySQL terbaru, sintaks yang disajikan dalam judul tidak mungkin. Tetapi ada beberapa cara yang sangat mudah untuk mencapai apa yang diharapkan menggunakan fungsi yang ada.

Ada 3 solusi yang mungkin: menggunakan INSERT IGNORE, REPLACE, atau INSERT ... ON DUPLICATE UPDATE KEY.

Bayangkan kita punya meja:

CREATE TABLE `transcripts` (
`ensembl_transcript_id` varchar(20) NOT NULL,
`transcript_chrom_start` int(10) unsigned NOT NULL,
`transcript_chrom_end` int(10) unsigned NOT NULL,
PRIMARY KEY (`ensembl_transcript_id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Sekarang bayangkan bahwa kita memiliki pipa otomatis yang mengimpor meta-data transkrip dari Ensembl, dan bahwa karena berbagai alasan pipa itu mungkin rusak pada setiap langkah eksekusi. Jadi, kita perlu memastikan dua hal:

1. eksekusi berulang-ulang dari pipeline tidak akan menghancurkan database kami

2. eksekusi berulang tidak akan mati karena kesalahan 'duplikat kunci utama'.

Metode 1: menggunakan REPLACE

Ini sangat sederhana:

REPLACE INTO `transcripts`
SET `ensembl_transcript_id` = 'ENSORGT00000000001',
`transcript_chrom_start` = 12345,
`transcript_chrom_end` = 12678;

Jika catatan ada, itu akan ditimpa; jika belum ada, itu akan dibuat. Namun, menggunakan metode ini tidak efisien untuk kasus kami: kami tidak perlu menimpa catatan yang ada, tidak apa-apa hanya untuk melewatkannya.

Metode 2: menggunakan INSERT IGNORE Juga sangat sederhana:

INSERT IGNORE INTO `transcripts`
SET `ensembl_transcript_id` = 'ENSORGT00000000001',
`transcript_chrom_start` = 12345,
`transcript_chrom_end` = 12678;

Di sini, jika 'ensembl_transcript_id' sudah ada dalam database, ia akan dilewati secara diam-diam (diabaikan). (Lebih tepatnya, inilah kutipan dari manual referensi MySQL: "Jika Anda menggunakan kata kunci IGNORE, kesalahan yang terjadi saat mengeksekusi pernyataan INSERT diperlakukan sebagai peringatan. Sebagai contoh, tanpa IGNORE, baris yang menggandakan indeks UNIQUE yang ada atau nilai KUNCI UTAMA dalam tabel menyebabkan kesalahan duplikat kunci dan pernyataan dibatalkan. ".) Jika catatan belum ada, itu akan dibuat.

Metode kedua ini memiliki beberapa kelemahan potensial, termasuk non-aborsi permintaan jika terjadi masalah lain (lihat manual). Dengan demikian itu harus digunakan jika sebelumnya diuji tanpa kata kunci IGNORE.

Metode 3: menggunakan INSERT ... ON DUPLICATE UPDATE KUNCI:

Opsi ketiga adalah menggunakan INSERT … ON DUPLICATE KEY UPDATE sintaks, dan di bagian UPDATE hanya melakukan apa-apa melakukan beberapa operasi (kosong) tidak berarti, seperti menghitung 0 + 0 (Geoffray menyarankan melakukan tugas id = id untuk mesin optimasi MySQL untuk mengabaikan operasi ini). Keuntungan dari metode ini adalah bahwa ia hanya mengabaikan peristiwa kunci duplikat, dan masih membatalkan kesalahan lainnya.

Sebagai pemberitahuan terakhir: posting ini terinspirasi oleh Xaprb. Saya juga menyarankan untuk berkonsultasi posnya yang lain tentang penulisan query SQL yang fleksibel.

Larutan:

INSERT INTO `table` (`value1`, `value2`) 
SELECT 'stuff for value1', 'stuff for value2' FROM DUAL 
WHERE NOT EXISTS (SELECT * FROM `table` 
      WHERE `value1`='stuff for value1' AND `value2`='stuff for value2' LIMIT 1) 

Penjelasan:

Permintaan terdalam

SELECT * FROM `table` 
      WHERE `value1`='stuff for value1' AND `value2`='stuff for value2' LIMIT 1

digunakan sebagai WHERE NOT EXISTS-condition mendeteksi jika sudah ada baris dengan data yang akan dimasukkan. Setelah satu baris dari jenis ini ditemukan, kueri mungkin berhenti, karenanya LIMIT 1(optimasi mikro, dapat dihilangkan).

Kueri perantara

SELECT 'stuff for value1', 'stuff for value2' FROM DUAL

mewakili nilai yang akan dimasukkan. DUALmerujuk ke satu baris khusus, satu tabel kolom hadir secara default di semua database Oracle (lihat https://en.wikipedia.org/wiki/DUAL_table ). Pada MySQL-Server versi 5.7.26 saya mendapat permintaan yang valid ketika menghilangkan FROM DUAL, tetapi versi yang lebih lama (seperti 5.5.60) tampaknya memerlukan FROMinformasi. Dengan menggunakan WHERE NOT EXISTSkueri perantara, mengembalikan hasil kosong yang disetel jika kueri paling dalam menemukan data yang cocok.

Kueri luar

INSERT INTO `table` (`value1`, `value2`) 

menyisipkan data, jika ada yang dikembalikan oleh kueri perantara.

pada pembaruan kunci rangkap , atau masukkan abaikan dapat menjadi solusi yang layak dengan MySQL.

Contoh tentang pembaruan pembaruan kunci duplikat berdasarkan mysql.com

INSERT INTO table (a,b,c) VALUES (1,2,3)
  ON DUPLICATE KEY UPDATE c=c+1;

UPDATE table SET c=c+1 WHERE a=1;

Contoh memasukkan abaikan berdasarkan mysql.com

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name [(col_name,...)]
    {VALUES | VALUE} ({expr | DEFAULT},...),(...),...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]

Atau:

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    SET col_name={expr | DEFAULT}, ...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]

Atau:

INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name [(col_name,...)]
    SELECT ...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]

Kendala sederhana apa pun harus dilakukan, jika pengecualian dapat diterima. Contoh:

• kunci primer jika bukan pengganti
• kendala unik pada kolom
• kendala unik multi-kolom

Maaf apakah ini tampak sederhana. Saya tahu itu terlihat buruk dihadapkan pada tautan yang Anda bagikan dengan kami. ;-(

Tapi saya tetap memberikan jawaban ini, karena sepertinya memenuhi kebutuhan Anda. (Jika tidak, ini dapat memicu Anda memperbarui persyaratan Anda, yang juga akan menjadi "Hal yang Baik" (TM)).

Diedit : Jika sebuah insert akan merusak batasan unik basis data, sebuah pengecualian dilemparkan ke tingkat basis data, diteruskan oleh driver. Itu pasti akan menghentikan skrip Anda, dengan kegagalan. Harus dimungkinkan dalam PHP untuk mengatasi kasus itu ...

Berikut adalah fungsi PHP yang akan menyisipkan baris hanya jika semua nilai kolom yang ditentukan belum ada dalam tabel.

• Jika salah satu kolom berbeda, baris akan ditambahkan.

• Jika tabel kosong, baris akan ditambahkan.

• Jika ada baris di mana semua kolom yang ditentukan memiliki nilai yang ditentukan, baris tersebut tidak akan ditambahkan.

  function insert_unique($table, $vars)
  {
    if (count($vars)) {
      $table = mysql_real_escape_string($table);
      $vars = array_map('mysql_real_escape_string', $vars);
  
      $req = "INSERT INTO `$table` (`". join('`, `', array_keys($vars)) ."`) ";
      $req .= "SELECT '". join("', '", $vars) ."' FROM DUAL ";
      $req .= "WHERE NOT EXISTS (SELECT 1 FROM `$table` WHERE ";
  
      foreach ($vars AS $col => $val)
        $req .= "`$col`='$val' AND ";
  
      $req = substr($req, 0, -5) . ") LIMIT 1";
  
      $res = mysql_query($req) OR die();
      return mysql_insert_id();
    }
  
    return False;
  }

Contoh penggunaan:

<?php
insert_unique('mytable', array(
  'mycolumn1' => 'myvalue1',
  'mycolumn2' => 'myvalue2',
  'mycolumn3' => 'myvalue3'
  )
);
?>

REPLACE INTO `transcripts`
SET `ensembl_transcript_id` = 'ENSORGT00000000001',
`transcript_chrom_start` = 12345,
`transcript_chrom_end` = 12678;

Jika catatan ada, itu akan ditimpa; jika belum ada, itu akan dibuat.

Coba yang berikut ini:

IF (SELECT COUNT(*) FROM beta WHERE name = 'John' > 0)
  UPDATE alfa SET c1=(SELECT id FROM beta WHERE name = 'John')
ELSE
BEGIN
  INSERT INTO beta (name) VALUES ('John')
  INSERT INTO alfa (c1) VALUES (LAST_INSERT_ID())
END

Ada beberapa jawaban yang mencakup cara mengatasi ini jika Anda memiliki UNIQUEindeks yang dapat Anda periksa dengan ON DUPLICATE KEYatau INSERT IGNORE. Itu tidak selalu terjadi, dan karena UNIQUEmemiliki batasan panjang (1000 byte) Anda mungkin tidak dapat mengubahnya. Misalnya, saya harus bekerja dengan metadata di WordPress ( wp_postmeta).

Saya akhirnya menyelesaikannya dengan dua pertanyaan:

UPDATE wp_postmeta SET meta_value = ? WHERE meta_key = ? AND post_id = ?;
INSERT INTO wp_postmeta (post_id, meta_key, meta_value) SELECT DISTINCT ?, ?, ? FROM wp_postmeta WHERE NOT EXISTS(SELECT * FROM wp_postmeta WHERE meta_key = ? AND post_id = ?);

Kueri 1 adalah UPDATEkueri reguler tanpa efek ketika dataset yang dimaksud tidak ada. Kueri 2 adalah INSERTyang tergantung pada a NOT EXISTS, yaitu INSERThanya dieksekusi ketika dataset tidak ada.

Sesuatu yang perlu dicatat adalah bahwa INSERT IGNORE masih akan menambah kunci utama apakah pernyataan itu sukses atau tidak seperti INSERT biasa.

Ini akan menyebabkan celah pada kunci utama Anda yang mungkin membuat seorang programmer tidak stabil secara mental. Atau jika aplikasi Anda dirancang dengan buruk dan tergantung pada kunci primer tambahan yang sempurna, itu mungkin menjadi sakit kepala.

Lihat ke dalam innodb_autoinc_lock_mode = 0(pengaturan server, dan datang dengan sedikit performa), atau gunakan SELECT terlebih dahulu untuk memastikan permintaan Anda tidak akan gagal (yang juga datang dengan kinerja dan kode tambahan).

Perbarui atau masukkan tanpa kunci utama yang diketahui

Jika Anda sudah memiliki kunci utama atau unik, jawaban yang lain dengan salah satu INSERT INTO ... ON DUPLICATE KEY UPDATE ...atau REPLACE INTO ...harus berfungsi dengan baik (perhatikan bahwa ganti menjadi dihapus jika ada dan kemudian sisipkan - dengan demikian tidak memperbarui sebagian nilai yang ada).

Tetapi jika Anda memiliki nilai untuk some_column_iddan some_type, kombinasi yang dikenal unik. Dan Anda ingin memperbarui some_valuejika ada, atau masukkan jika tidak ada. Dan Anda ingin melakukannya hanya dalam satu permintaan (untuk menghindari menggunakan transaksi). Ini mungkin solusi:

INSERT INTO my_table (id, some_column_id, some_type, some_value)
SELECT t.id, t.some_column_id, t.some_type, t.some_value
FROM (
    SELECT id, some_column_id, some_type, some_value
    FROM my_table
    WHERE some_column_id = ? AND some_type = ?
    UNION ALL
    SELECT s.id, s.some_column_id, s.some_type, s.some_value
    FROM (SELECT NULL AS id, ? AS some_column_id, ? AS some_type, ? AS some_value) AS s
) AS t
LIMIT 1
ON DUPLICATE KEY UPDATE
some_value = ?

Pada dasarnya, kueri mengeksekusi dengan cara ini (tidak sesulit kelihatannya):

• Pilih baris yang ada melalui WHEREpencocokan klausa.
• Menyatukan yang menghasilkan dengan baris baru yang potensial (tabel s), di mana nilai kolom secara eksplisit diberikan (s.id adalah NULL, sehingga akan menghasilkan pengidentifikasi kenaikan otomatis baru).
• Jika baris yang ada ditemukan, maka baris baru yang potensial dari tabel sakan dibuang (karena LIMIT 1 pada tabel t), dan itu akan selalu memicu ON DUPLICATE KEYyang akan UPDATEmenjadi some_valuekolom.
• Jika baris yang ada tidak ditemukan, maka baris baru yang potensial dimasukkan (seperti yang diberikan oleh tabel s).

Catatan: Setiap tabel dalam database relasional harus memiliki setidaknya idkolom kenaikan otomatis utama . Jika Anda tidak memiliki ini, tambahkan, bahkan ketika Anda tidak membutuhkannya pada pandangan pertama. Pasti diperlukan untuk "trik" ini.