postgresql COUNT (DISTINCT ...) sangat lambat

Saya punya permintaan SQL yang sangat sederhana:

SELECT COUNT(DISTINCT x) FROM table;

Meja saya memiliki sekitar 1,5 juta baris. Permintaan ini berjalan sangat lambat; dibutuhkan sekitar 7,5, dibandingkan dengan

 SELECT COUNT(x) FROM table;

yang memakan waktu sekitar 435 ms. Apakah ada cara untuk mengubah kueri saya untuk meningkatkan kinerja? Saya sudah mencoba mengelompokkan dan melakukan penghitungan reguler, serta menempatkan indeks pada x; keduanya memiliki waktu eksekusi 7,5s yang sama.

Anda bisa menggunakan ini:

SELECT COUNT(*) FROM (SELECT DISTINCT column_name FROM table_name) AS temp;

Ini jauh lebih cepat daripada:

COUNT(DISTINCT column_name)

-- My default settings (this is basically a single-session machine, so work_mem is pretty high)
SET effective_cache_size='2048MB';
SET work_mem='16MB';

\echo original
EXPLAIN ANALYZE
SELECT
        COUNT (distinct val) as aantal
FROM one
        ;

\echo group by+count(*)
EXPLAIN ANALYZE
SELECT
        distinct val
       -- , COUNT(*)
FROM one
GROUP BY val;

\echo with CTE
EXPLAIN ANALYZE
WITH agg AS (
    SELECT distinct val
    FROM one
    GROUP BY val
    )
SELECT COUNT (*) as aantal
FROM agg
        ;

Hasil:

original                                                      QUERY PLAN                                                      
----------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=36448.06..36448.07 rows=1 width=4) (actual time=1766.472..1766.472 rows=1 loops=1)
   ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=31.371..185.914 rows=1499845 loops=1)
 Total runtime: 1766.642 ms
(3 rows)

group by+count(*)
                                                         QUERY PLAN                                                         
----------------------------------------------------------------------------------------------------------------------------
 HashAggregate  (cost=36464.31..36477.31 rows=1300 width=4) (actual time=412.470..412.598 rows=1300 loops=1)
   ->  HashAggregate  (cost=36448.06..36461.06 rows=1300 width=4) (actual time=412.066..412.203 rows=1300 loops=1)
         ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=26.134..166.846 rows=1499845 loops=1)
 Total runtime: 412.686 ms
(4 rows)

with CTE
                                                             QUERY PLAN                                                             
------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=36506.56..36506.57 rows=1 width=0) (actual time=408.239..408.239 rows=1 loops=1)
   CTE agg
     ->  HashAggregate  (cost=36464.31..36477.31 rows=1300 width=4) (actual time=407.704..407.847 rows=1300 loops=1)
           ->  HashAggregate  (cost=36448.06..36461.06 rows=1300 width=4) (actual time=407.320..407.467 rows=1300 loops=1)
                 ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=24.321..165.256 rows=1499845 loops=1)
       ->  CTE Scan on agg  (cost=0.00..26.00 rows=1300 width=0) (actual time=407.707..408.154 rows=1300 loops=1)
     Total runtime: 408.300 ms
    (7 rows)

Rencana yang sama dengan CTE mungkin juga dapat diproduksi dengan metode lain (fungsi jendela)

Jika Anda count(distinct(x))secara signifikan lebih lambat dari count(x)itu, Anda bisa mempercepat kueri ini dengan mempertahankan jumlah nilai x dalam tabel yang berbeda, misalnya table_name_x_counts (x integer not null, x_count int not null), menggunakan pemicu. Tetapi kinerja penulisan Anda akan menurun dan jika Anda memperbarui beberapa xnilai dalam satu transaksi maka Anda harus melakukan ini dalam urutan eksplisit untuk menghindari kemungkinan kebuntuan.

Saya juga mencari jawaban yang sama, karena pada suatu saat saya membutuhkan total_count dengan nilai yang berbeda bersama dengan limit / offset .

Karena agak sulit untuk dilakukan- Untuk mendapatkan jumlah total dengan nilai yang berbeda bersama dengan batas / offset. Biasanya sulit untuk mendapatkan jumlah total dengan batas / offset. Akhirnya saya mendapatkan cara untuk melakukan -

SELECT DISTINCT COUNT(*) OVER() as total_count, * FROM table_name limit 2 offset 0;

Performa permintaan juga tinggi.