pemilihan baris acak cepat di Postgres

Saya memiliki tabel di postgres yang berisi beberapa juta baris. Saya telah memeriksanya di internet dan saya menemukan yang berikut ini

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

Ini berfungsi, tetapi sangat lambat ... apakah ada cara lain untuk membuat kueri itu, atau cara langsung untuk memilih baris acak tanpa membaca semua tabel? Ngomong-ngomong, 'myid' adalah bilangan bulat tetapi dapat menjadi bidang kosong.

Anda mungkin ingin bereksperimen dengan OFFSET, seperti pada

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Ini Nadalah jumlah baris dalam mytable. Anda mungkin perlu melakukan a terlebih dahulu SELECT COUNT(*)untuk mengetahui nilai N.

Pembaruan (oleh Antony Hatchkins)

Anda harus menggunakan di floorsini:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Pertimbangkan tabel 2 baris; random()*Nmenghasilkan 0 <= x < 2dan misalnya SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;mengembalikan 0 baris karena pembulatan implisit ke int terdekat.

PostgreSQL 9.5 memperkenalkan pendekatan baru untuk pemilihan sampel yang jauh lebih cepat: TABLESAMPLE

Sintaksnya adalah

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

Ini bukan solusi optimal jika Anda hanya ingin satu baris dipilih, karena Anda perlu mengetahui JUMLAH tabel untuk menghitung persentase yang tepat.

Untuk menghindari HITUNGAN lambat dan menggunakan TABLESAMPLE cepat untuk tabel dari 1 baris hingga miliaran baris, Anda dapat melakukan:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

Ini mungkin tidak terlihat begitu elegan, tetapi mungkin lebih cepat daripada jawaban lainnya.

Untuk memutuskan apakah Anda ingin menggunakan BERNULLI atau SYSTEM, baca perbedaannya di http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/

Saya mencoba ini dengan subquery dan berhasil dengan baik. Offset, setidaknya di Postgresql v8.4.4 berfungsi dengan baik.

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

Anda perlu menggunakan floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Lihat tautan ini untuk beberapa opsi berbeda. http://www.depesz.com/index.php/2007/09/16/my-thoughts-on-getting-random-row/

Memperbarui: (A. Hatchkins)

Rangkuman artikel (sangat) panjang itu adalah sebagai berikut.

Penulis mendaftar empat pendekatan:

1) ORDER BY random() LIMIT 1; - lambat

2) ORDER BY id where id>=random()*N LIMIT 1- tidak seragam jika ada celah

3) kolom acak - perlu diperbarui sesekali

4) agregat acak khusus - metode licik, bisa lambat: random () perlu dibuat N kali

dan menyarankan untuk meningkatkan metode # 2 dengan menggunakan

5) ORDER BY id where id=random()*N LIMIT 1 dengan permintaan berikutnya jika hasilnya kosong.

Cara termudah dan tercepat untuk mengambil baris acak adalah dengan menggunakan tsm_system_rowsekstensi:

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

Kemudian Anda dapat memilih jumlah baris yang Anda inginkan:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

Ini tersedia dengan PostgreSQL 9.5 dan yang lebih baru.

Lihat: https://www.postgresql.org/docs/current/static/tsm-system-rows.html

Saya telah menemukan solusi yang sangat cepat tanpa TABLESAMPLE. Jauh lebih cepat dari OFFSET random()*N LIMIT 1. Itu bahkan tidak membutuhkan hitungan tabel.

Idenya adalah membuat indeks ekspresi dengan data acak tetapi dapat diprediksi, misalnya md5(primary key).

Berikut adalah pengujian dengan sampel data 1 juta baris:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

Hasil:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

Query ini terkadang (dengan probabilitas sekitar 1 / Number_of_rows) mengembalikan 0 baris, sehingga perlu diperiksa dan dijalankan ulang. Probabilitas juga tidak persis sama - beberapa baris lebih mungkin daripada yang lain.

Untuk perbandingan:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

Hasil sangat bervariasi, tetapi bisa sangat buruk:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)