Saya penasaran. Dan seperti yang kita semua tahu, rasa ingin tahu memiliki reputasi untuk membunuh kucing.
Lantas, manakah cara tercepat menguliti kucing?
Lingkungan pengelupasan kucing yang tepat untuk tes ini:
- PostgreSQL 9.0 di Debian Squeeze dengan RAM dan pengaturan yang layak.
- 6.000 siswa, 24.000 keanggotaan klub (data disalin dari database yang mirip dengan data kehidupan nyata.)
- Sedikit pengalihan dari skema penamaan dalam pertanyaan:
student.id
is student.stud_id
and club.id
is club.club_id
here.
- Saya menamai kueri setelah penulisnya di utas ini, dengan indeks di mana ada dua.
- Saya menjalankan semua kueri beberapa kali untuk mengisi cache, lalu saya memilih yang terbaik dari 5 kueri dengan JELASKAN ANALISIS.
Indeks yang relevan (harus optimal - selama kita kekurangan pengetahuan sebelumnya tentang klub mana yang akan ditanyai):
ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
ALTER TABLE club ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
CREATE INDEX sc_club_id_idx ON student_club (club_id);
club_pkey
tidak diperlukan oleh sebagian besar kueri di sini.
Kunci utama menerapkan indeks unik secara otomatis di PostgreSQL.
Indeks terakhir adalah untuk menutupi kekurangan yang diketahui dari indeks multi-kolom di PostgreSQL:
Indeks pohon-B multikolom dapat digunakan dengan kondisi kueri yang melibatkan subset apa pun dari kolom indeks, tetapi indeks paling efisien ketika ada batasan pada kolom terdepan (paling kiri).
Hasil:
Total waktu proses dari EXPLAIN ANALYZE.
1) Martin 2: 44.594 ms
SELECT s.stud_id, s.name
FROM student s
JOIN student_club sc USING (stud_id)
WHERE sc.club_id IN (30, 50)
GROUP BY 1,2
HAVING COUNT(*) > 1;
2) Erwin 1: 33,217 md
SELECT s.stud_id, s.name
FROM student s
JOIN (
SELECT stud_id
FROM student_club
WHERE club_id IN (30, 50)
GROUP BY 1
HAVING COUNT(*) > 1
) sc USING (stud_id);
3) Martin 1: 31,735 md
SELECT s.stud_id, s.name
FROM student s
WHERE student_id IN (
SELECT student_id
FROM student_club
WHERE club_id = 30
INTERSECT
SELECT stud_id
FROM student_club
WHERE club_id = 50);
4) Derek: 2.287 ms
SELECT s.stud_id, s.name
FROM student s
WHERE s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);
5) Erwin 2: 2,181 ms
SELECT s.stud_id, s.name
FROM student s
WHERE EXISTS (SELECT * FROM student_club
WHERE stud_id = s.stud_id AND club_id = 30)
AND EXISTS (SELECT * FROM student_club
WHERE stud_id = s.stud_id AND club_id = 50);
6) Sean: 2.043 ms
SELECT s.stud_id, s.name
FROM student s
JOIN student_club x ON s.stud_id = x.stud_id
JOIN student_club y ON s.stud_id = y.stud_id
WHERE x.club_id = 30
AND y.club_id = 50;
Tiga yang terakhir tampil hampir sama. 4) dan 5) menghasilkan rencana kueri yang sama.
Penambahan Akhir:
SQL mewah, tetapi kinerjanya tidak dapat mengimbangi.
7) ypercube 1: 148.649 md
SELECT s.stud_id, s.name
FROM student AS s
WHERE NOT EXISTS (
SELECT *
FROM club AS c
WHERE c.club_id IN (30, 50)
AND NOT EXISTS (
SELECT *
FROM student_club AS sc
WHERE sc.stud_id = s.stud_id
AND sc.club_id = c.club_id
)
);
8) ypercube 2: 147.497 ms
SELECT s.stud_id, s.name
FROM student AS s
WHERE NOT EXISTS (
SELECT *
FROM (
SELECT 30 AS club_id
UNION ALL
SELECT 50
) AS c
WHERE NOT EXISTS (
SELECT *
FROM student_club AS sc
WHERE sc.stud_id = s.stud_id
AND sc.club_id = c.club_id
)
);
Seperti yang diharapkan, keduanya tampil hampir sama. Hasil rencana kueri dalam pemindaian tabel, perencana tidak menemukan cara untuk menggunakan indeks di sini.
9) wildplasser 1: 49,849 md
WITH RECURSIVE two AS (
SELECT 1::int AS level
, stud_id
FROM student_club sc1
WHERE sc1.club_id = 30
UNION
SELECT two.level + 1 AS level
, sc2.stud_id
FROM student_club sc2
JOIN two USING (stud_id)
WHERE sc2.club_id = 50
AND two.level = 1
)
SELECT s.stud_id, s.student
FROM student s
JOIN two USING (studid)
WHERE two.level > 1;
SQL yang mewah, performa yang layak untuk CTE. Rencana kueri yang sangat eksotis.
Sekali lagi, akan menarik bagaimana 9.1 menangani ini. Saya akan segera memutakhirkan kluster db yang digunakan di sini menjadi 9.1. Mungkin aku akan memutar ulang seluruh shebang ...
10) wildplasser 2: 36,986 ms
WITH sc AS (
SELECT stud_id
FROM student_club
WHERE club_id IN (30,50)
GROUP BY stud_id
HAVING COUNT(*) > 1
)
SELECT s.*
FROM student s
JOIN sc USING (stud_id);
Varian CTE dari kueri 2). Anehnya, ini bisa menghasilkan rencana kueri yang sedikit berbeda dengan data yang sama persis. Saya menemukan pemindaian sekuensial student
, di mana subkueri-varian menggunakan indeks.
11) ypercube 3: 101,482 md
Tambahan terlambat lainnya @ypercube. Sungguh luar biasa, ada banyak cara.
SELECT s.stud_id, s.student
FROM student s
JOIN student_club sc USING (stud_id)
WHERE sc.club_id = 10 -- member in 1st club ...
AND NOT EXISTS (
SELECT *
FROM (SELECT 14 AS club_id) AS c -- can't be excluded for missing the 2nd
WHERE NOT EXISTS (
SELECT *
FROM student_club AS d
WHERE d.stud_id = sc.stud_id
AND d.club_id = c.club_id
)
)
12) erwin 3: 2,377 md
@ ypercube's 11) sebenarnya hanyalah pendekatan terbalik yang memutarbalikkan pikiran dari varian yang lebih sederhana ini, yang juga masih hilang. Berkinerja hampir secepat kucing teratas.
SELECT s.*
FROM student s
JOIN student_club x USING (stud_id)
WHERE sc.club_id = 10 -- member in 1st club ...
AND EXISTS ( -- ... and membership in 2nd exists
SELECT *
FROM student_club AS y
WHERE y.stud_id = s.stud_id
AND y.club_id = 14
)
13) erwin 4: 2,375 ms
Sulit dipercaya, tapi inilah varian lain yang benar-benar baru. Saya melihat potensi untuk lebih dari dua keanggotaan, tetapi itu juga termasuk di antara kucing teratas dengan hanya dua.
SELECT s.*
FROM student AS s
WHERE EXISTS (
SELECT *
FROM student_club AS x
JOIN student_club AS y USING (stud_id)
WHERE x.stud_id = s.stud_id
AND x.club_id = 14
AND y.club_id = 10
)
Jumlah dinamis keanggotaan klub
Dengan kata lain: jumlah filter yang bervariasi. Pertanyaan ini menanyakan tepat dua keanggotaan klub. Tetapi banyak kasus penggunaan harus mempersiapkan jumlah yang bervariasi.
Diskusi mendetail dalam jawaban selanjutnya yang terkait ini:
(student_id, club_id)
indeks (atau sebaliknya).sumber
sumber
Jika Anda hanya ingin student_id maka:
Jika Anda juga membutuhkan nama dari siswa maka:
Jika Anda memiliki lebih dari dua klub dalam tabel club_selection maka:
sumber
Atau solusi yang lebih umum lebih mudah untuk diperluas ke
n
klub dan yang menghindariINTERSECT
(tidak tersedia di MySQL) danIN
(karena kinerja ini menyebalkan di MySQL )sumber
HAVING
dilakukan di MySQL.CTE lainnya. Kelihatannya bersih, tapi mungkin akan menghasilkan rencana yang sama seperti groupby di subkueri normal.
Bagi yang mau test, copy hasil testdata saya:
sumber
Jadi, ada lebih dari satu cara untuk menguliti kucing .
Saya akan menambahkan dua lagi untuk membuatnya, lebih lengkap.
1) GRUP terlebih dahulu, GABUNG nanti
Dengan asumsi model data waras mana
(student_id, club_id)
yang unik distudent_club
. Versi kedua Martin Smith agak mirip, tetapi dia bergabung lebih dulu, kemudian berkelompok. Ini harus lebih cepat:2) ADA
Dan tentu saja, ada yang klasik
EXISTS
. Mirip dengan varian Derek denganIN
. Sederhana dan cepat. (Di MySQL, ini seharusnya sedikit lebih cepat daripada varian denganIN
):sumber
Karena tidak ada yang menambahkan versi (klasik) ini:
atau serupa:
Sekali lagi mencoba dengan pendekatan yang sedikit berbeda. Terinspirasi oleh artikel di Explain Extended: Multiple atribut dalam tabel EAV: GRUP OLEH vs. TIDAK ADA :
Pendekatan lain:
sumber
(stud_id, club_id)
dan(club_id, stud_id)
(atau Utama dan Unik)? Saya masih berpikir bahwa untuk beberapa kueri tersebut, perbedaan dari 2 hingga 140 ms terlalu tinggi untuk dijelaskan oleh perbedaan rencana eksekusi.Ini tampaknya bekerja dengan cukup baik, karena CTE-scan menghindari kebutuhan akan dua subkueri terpisah.
Selalu ada alasan untuk menyalahgunakan kueri rekursif!
(BTW: mysql tampaknya tidak memiliki kueri rekursif)
sumber
Rencana kueri yang berbeda dalam kueri 2) dan 10)
Saya menguji db kehidupan nyata, jadi namanya berbeda dari daftar kulit kucing. Ini adalah salinan cadangan, jadi tidak ada yang berubah selama semua pengujian berjalan (kecuali perubahan kecil pada katalog).
Pertanyaan 2)
Pertanyaan 10)
sumber
@ erwin-brandstetter Tolong, patokan ini:
Ini seperti nomor 6) oleh @sean, hanya lebih bersih, kurasa.
sumber
@
-memberitahu hanya berfungsi di komentar, bukan di jawaban. Saya menemukan posting ini secara kebetulan. Rencana kueri dan kinerja kueri Anda identik dengan kueri Sean. Ini secara efektif sama, tetapi kueri Sean denganJOIN
sintaks eksplisit adalah bentuk yang umumnya disukai, karena lebih jelas. 1 lagi untuk jawaban valid lainnya!Rencana kueri:
Jadi sepertinya masih menginginkan seq scan pada siswa.
sumber
Penggunaan varian tercepat (Mr. Sean di grafik Mr. Brandstetter). Mungkin varian dengan hanya satu gabungan hanya matriks student_club memiliki hak untuk hidup. Jadi, kueri terpanjang hanya akan memiliki dua kolom untuk dihitung, idenya adalah membuat kueri tipis.
sumber