Apa cara termudah untuk menyimpan output PL / pgSQL dari database PostgreSQL ke file CSV?

Saya menggunakan PostgreSQL 8.4 dengan plugin pgAdmin III dan PSQL tempat saya menjalankan kueri.

Apakah Anda ingin file yang dihasilkan di server, atau di klien?

Sisi server

Jika Anda menginginkan sesuatu yang mudah digunakan kembali atau diotomatisasi, Anda dapat menggunakan perintah COPY bawaan Postgresql . misalnya

Copy (Select * From foo) To '/tmp/test.csv' With CSV DELIMITER ',' HEADER;

Pendekatan ini berjalan sepenuhnya pada server jauh - tidak dapat menulis ke PC lokal Anda. Itu juga perlu dijalankan sebagai "pengguna super" Postgres (biasanya disebut "root") karena Postgres tidak dapat menghentikannya melakukan hal-hal buruk dengan sistem file lokal mesin itu.

Itu tidak benar-benar berarti Anda harus terhubung sebagai superuser (mengotomatisasi yang akan menjadi risiko keamanan dari jenis yang berbeda), karena Anda dapat menggunakan yang SECURITY DEFINERpilihan untukCREATE FUNCTION membuat fungsi yang berjalan seolah-olah Anda superuser .

Bagian penting adalah bahwa fungsi Anda ada untuk melakukan pemeriksaan tambahan, tidak hanya memotong keamanan - sehingga Anda dapat menulis fungsi yang mengekspor data persis yang Anda butuhkan, atau Anda dapat menulis sesuatu yang dapat menerima berbagai pilihan selama mereka temui daftar putih yang ketat. Anda perlu memeriksa dua hal:

1. File mana yang harus pengguna baca / tulis pada disk? Ini mungkin direktori tertentu, misalnya, dan nama file mungkin harus memiliki awalan atau ekstensi yang sesuai.
2. Tabel mana yang harus dibaca / ditulis oleh pengguna dalam basis data? Ini biasanya didefinisikan oleh GRANTs dalam database, tetapi fungsinya sekarang berjalan sebagai superuser, sehingga tabel yang biasanya "di luar batas" akan dapat diakses sepenuhnya. Anda mungkin tidak ingin membiarkan seseorang memanggil fungsi Anda dan menambahkan baris di akhir tabel "pengguna" Anda ...

Saya telah menulis posting blog yang diperluas dengan pendekatan ini , termasuk beberapa contoh fungsi yang mengekspor (atau mengimpor) file dan tabel yang memenuhi persyaratan ketat.

Sisi klien

Pendekatan lain adalah melakukan penanganan file di sisi klien , yaitu di aplikasi atau skrip Anda. Server Postgres tidak perlu tahu file apa yang Anda salin, hanya memuntahkan data dan klien meletakkannya di suatu tempat.

Sintaks dasar untuk ini adalah COPY TO STDOUTperintah, dan alat grafis seperti pgAdmin akan membungkusnya untuk Anda dalam dialog yang bagus.

The psqlbaris perintah klien memiliki khusus "meta-command" yang disebut \copy, yang mengambil semua pilihan sama dengan "nyata" COPY, tetapi dijalankan dalam klien:

\copy (Select * From foo) To '/tmp/test.csv' With CSV

Perhatikan bahwa tidak ada terminasi ;, karena meta-command diakhiri oleh baris baru, tidak seperti perintah SQL.

Dari dokumen :

Jangan bingung COPY dengan instruksi psql \ copy. \ copy meminta COPY DARI STDIN atau COPY TO STDOUT, dan kemudian mengambil / menyimpan data dalam file yang dapat diakses oleh klien psql. Dengan demikian, aksesibilitas file dan hak akses bergantung pada klien daripada server ketika \ copy digunakan.

Bahasa pemrograman aplikasi Anda juga mungkin memiliki dukungan untuk mendorong atau mengambil data, tetapi Anda umumnya tidak dapat menggunakan COPY FROM STDIN/ TO STDOUTdalam pernyataan SQL standar, karena tidak ada cara untuk menghubungkan aliran input / output. PostgreSQL handler PHP ( bukan PDO) mencakup fungsi yang sangat mendasar pg_copy_fromdan pg_copy_toyang disalin ke / dari array PHP, yang mungkin tidak efisien untuk set data besar.

Ada beberapa solusi:

1 psqlperintah

psql -d dbname -t -A -F"," -c "select * from users" > output.csv

Ini memiliki keuntungan besar yang bisa Anda gunakan melalui SSH, seperti ssh postgres@host command- memungkinkan Anda untuk mendapatkannya

2 copyperintah postgres

COPY (SELECT * from users) To '/tmp/output.csv' With CSV;

3 psql interaktif (atau tidak)

>psql dbname
psql>\f ','
psql>\a
psql>\o '/tmp/output.csv'
psql>SELECT * from users;
psql>\q

Semuanya bisa digunakan dalam skrip, tapi saya lebih suka # 1.

4 pgadmin tapi itu tidak bisa skrip.

Di terminal (saat terhubung ke db) atur output ke file cvs

1) Setel pemisah bidang ke ',':

\f ','

2) Setel format output tidak selaras:

\a

3) Hanya tampilkan tupel:

\t

4) Tetapkan output:

\o '/tmp/yourOutputFile.csv'

5) Jalankan permintaan Anda:

:select * from YOUR_TABLE

6) Output:

\o

Anda kemudian dapat menemukan file csv Anda di lokasi ini:

cd /tmp

Salin menggunakan scpperintah atau edit menggunakan nano:

nano /tmp/yourOutputFile.csv

Jika Anda tertarik pada semua kolom tabel tertentu bersama dengan header, Anda bisa menggunakannya

COPY table TO '/some_destdir/mycsv.csv' WITH CSV HEADER;

Ini sedikit lebih sederhana daripada

COPY (SELECT * FROM table) TO '/some_destdir/mycsv.csv' WITH CSV HEADER;

yang, setahu saya, setara.

Unifikasi Ekspor CSV

Informasi ini tidak terwakili dengan baik. Karena ini adalah kedua kalinya saya perlu menurunkan ini, saya akan meletakkan ini di sini untuk mengingatkan diri saya jika tidak ada yang lain.

Sungguh cara terbaik untuk melakukan ini (mengeluarkan CSV dari postgres) adalah dengan menggunakan COPY ... TO STDOUTperintah. Meskipun Anda tidak ingin melakukannya dengan cara yang ditunjukkan dalam jawaban di sini. Cara yang benar untuk menggunakan perintah adalah:

COPY (select id, name from groups) TO STDOUT WITH CSV HEADER

Ingat hanya satu perintah!

Ini bagus untuk digunakan lebih dari ssh:

$ ssh psqlserver.example.com 'psql -d mydb "COPY (select id, name from groups) TO STDOUT WITH CSV HEADER"' > groups.csv

Ini bagus untuk digunakan di dalam docker di atas ssh:

$ ssh pgserver.example.com 'docker exec -tu postgres postgres psql -d mydb -c "COPY groups TO STDOUT WITH CSV HEADER"' > groups.csv

Ini bahkan hebat di mesin lokal:

$ psql -d mydb -c 'COPY groups TO STDOUT WITH CSV HEADER' > groups.csv

Atau di dalam buruh pelabuhan di mesin lokal ?:

docker exec -tu postgres postgres psql -d mydb -c 'COPY groups TO STDOUT WITH CSV HEADER' > groups.csv

Atau di cluster kubernetes, di buruh pelabuhan, melalui HTTPS ??:

kubectl exec -t postgres-2592991581-ws2td 'psql -d mydb -c "COPY groups TO STDOUT WITH CSV HEADER"' > groups.csv

Sangat fleksibel, banyak koma!

Apakah kamu bahkan

Ya saya lakukan, ini catatan saya:

COPYses

Menggunakan /copyoperasi file yang dijalankan secara efektif pada sistem apa pun yang psqldijalankan perintah, sebagai pengguna yang menjalankannya 1 . Jika Anda terhubung ke server jarak jauh, mudah untuk menyalin file data pada sistem yang menjalankan psqlke / dari server jarak jauh.

COPYmengeksekusi operasi file di server sebagai akun pengguna proses backend (default postgres), jalur file dan izin diperiksa dan diterapkan sesuai. Jika menggunakan TO STDOUTmaka pemeriksaan file izin dilewati.

Kedua opsi ini memerlukan perpindahan file selanjutnya jika psqltidak dijalankan pada sistem di mana Anda ingin CSV yang dihasilkan berada. Ini adalah kasus yang paling mungkin, menurut pengalaman saya, ketika Anda kebanyakan bekerja dengan server jarak jauh.

Lebih kompleks untuk mengkonfigurasi sesuatu seperti terowongan TCP / IP lewat ssh ke sistem jarak jauh untuk output CSV sederhana, tetapi untuk format output lainnya (biner) mungkin lebih baik untuk /copymelewati koneksi tunneled, mengeksekusi lokal psql. Dalam nada yang sama, untuk impor besar, memindahkan file sumber ke server dan menggunakan COPYmungkin merupakan opsi dengan kinerja tertinggi.

Parameter PSQL

Dengan parameter psql Anda dapat memformat output seperti CSV tetapi ada kelemahannya karena harus ingat untuk menonaktifkan pager dan tidak mendapatkan header:

$ psql -P pager=off -d mydb -t -A -F',' -c 'select * from groups;'
2,Technician,Test 2,,,t,,0,,                                                                                                                                                                   
3,Truck,1,2017-10-02,,t,,0,,                                                                                                                                                                   
4,Truck,2,2017-10-02,,t,,0,,

Alat Lainnya

Tidak, saya hanya ingin mengeluarkan CSV dari server saya tanpa mengkompilasi dan / atau menginstal alat.

Saya harus menggunakan \ COPY karena saya menerima pesan kesalahan:

ERROR:  could not open file "/filepath/places.csv" for writing: Permission denied

Jadi saya menggunakan:

\Copy (Select address, zip  From manjadata) To '/filepath/places.csv' With CSV;

dan berfungsi

psql dapat melakukan ini untuk Anda:

edd@ron:~$ psql -d beancounter -t -A -F"," \
                -c "select date, symbol, day_close " \
                   "from stockprices where symbol like 'I%' " \
                   "and date >= '2009-10-02'"
2009-10-02,IBM,119.02
2009-10-02,IEF,92.77
2009-10-02,IEV,37.05
2009-10-02,IJH,66.18
2009-10-02,IJR,50.33
2009-10-02,ILF,42.24
2009-10-02,INTC,18.97
2009-10-02,IP,21.39
edd@ron:~$

Lihat man psqlbantuan tentang opsi yang digunakan di sini.

Versi baru - psql 12 - akan mendukung --csv.

psql - devel

--csv

Beralih ke mode keluaran CSV (Comma-Separated Values). Ini sama dengan \ pset format csv .

---

csv_fieldsep

Menentukan pemisah bidang yang akan digunakan dalam format output CSV. Jika karakter pemisah muncul dalam nilai bidang, bidang itu adalah output dalam tanda kutip ganda, mengikuti aturan standar CSV. Standarnya adalah koma.

Pemakaian:

psql -c "SELECT * FROM pg_catalog.pg_tables" --csv  postgres

psql -c "SELECT * FROM pg_catalog.pg_tables" --csv -P csv_fieldsep='^'  postgres

psql -c "SELECT * FROM pg_catalog.pg_tables" --csv  postgres > output.csv

Saya sedang mengerjakan AWS Redshift, yang tidak mendukung COPY TOfitur ini.

Alat BI saya mendukung CSV pembatasan-tab, jadi saya menggunakan yang berikut:

 psql -h dblocation -p port -U user -d dbname -F $'\t' --no-align -c "SELECT * FROM TABLE" > outfile.csv

Di pgAdmin III ada opsi untuk mengekspor ke file dari jendela kueri. Di menu utama itu Permintaan -> Jalankan ke file atau ada tombol yang melakukan hal yang sama (itu adalah segitiga hijau dengan floppy disk biru sebagai lawan dari segitiga hijau polos yang hanya menjalankan permintaan). Jika Anda tidak menjalankan kueri dari jendela kueri, maka saya akan melakukan apa yang disarankan IMSoP dan menggunakan perintah salin.

Saya mencoba beberapa hal tetapi beberapa di antaranya mampu memberi saya CSV yang diinginkan dengan detail tajuk.

Inilah yang bekerja untuk saya.

psql -d dbame -U username \
  -c "COPY ( SELECT * FROM TABLE ) TO STDOUT WITH CSV HEADER " > \
  OUTPUT_CSV_FILE.csv

Saya telah menulis alat kecil yang disebut psql2csvmerangkum COPY query TO STDOUTpola, menghasilkan CSV yang tepat. Antarmukanya mirip dengan psql.

psql2csv [OPTIONS] < QUERY
psql2csv [OPTIONS] QUERY

Permintaan diasumsikan sebagai isi STDIN, jika ada, atau argumen terakhir. Semua argumen lain diteruskan ke psql kecuali untuk ini:

-h, --help           show help, then exit
--encoding=ENCODING  use a different encoding than UTF8 (Excel likes LATIN1)
--no-header          do not output a header

Jika Anda memiliki kueri yang lebih panjang dan Anda ingin menggunakan psql kemudian masukkan kueri Anda ke file dan gunakan perintah berikut:

psql -d my_db_name -t -A -F";" -f input-file.sql -o output-file.csv

Untuk Mengunduh file CSV dengan nama kolom sebagai HEADER gunakan perintah ini:

Copy (Select * From tableName) To '/tmp/fileName.csv' With CSV HEADER;

Saya sangat merekomendasikan DataGrip , IDE basis data oleh JetBrains. Anda dapat mengekspor kueri SQL ke file CSV , dan dapat mengatur tunneling ssh dengan mudah. Ketika dokumentasi merujuk ke "set hasil", itu berarti hasil dikembalikan oleh kueri SQL di konsol.

Saya tidak terkait dengan DataGrip, saya suka produk ini!

JackDB , klien basis data di peramban web Anda, menjadikan ini sangat mudah. Apalagi jika Anda menggunakan Heroku.

Ini memungkinkan Anda terhubung ke basis data jauh dan menjalankan query SQL pada mereka.

                                                                                                                                                       ^Sumber _{(sumber: jackdb.com )}

Setelah DB terhubung, Anda dapat menjalankan kueri dan mengekspor ke CSV atau TXT (lihat kanan bawah).

^{Catatan: Saya sama sekali tidak berafiliasi dengan JackDB. Saat ini saya menggunakan layanan gratis mereka dan berpikir itu adalah produk hebat.}

Sesuai permintaan @ skeller88, saya mengepos ulang komentar saya sebagai jawaban agar tidak hilang oleh orang-orang yang tidak membaca setiap tanggapan ...

Masalah dengan DataGrip adalah bahwa ia mencengkeram dompet Anda. Ini tidak gratis. Coba edisi komunitas DBeaver di dbeaver.io. Ini adalah alat database multi-platform FOSS untuk pemrogram SQL, DBA, dan analis yang mendukung semua basis data populer: MySQL, PostgreSQL, SQLite, Oracle, DB2, SQL Server, Sybase, MS Access, Teradata, Firebird, Hive, Presto, dll.

DBeaver Community Edition membuatnya sepele untuk terhubung ke database, mengeluarkan pertanyaan untuk mengambil data, dan kemudian mengunduh hasil yang ditetapkan untuk menyimpannya ke CSV, JSON, SQL, atau format data umum lainnya. Ini adalah pesaing FOSS yang layak untuk TOAD untuk Postgres, TOAD untuk SQL Server, atau Toad untuk Oracle.

Saya tidak memiliki afiliasi dengan DBeaver. Saya suka harga dan fungsionalitasnya, tetapi saya berharap mereka akan membuka aplikasi DBeaver / Eclipse lebih banyak dan membuatnya mudah untuk menambahkan widget analytics ke DBeaver / Eclipse, daripada meminta pengguna untuk membayar langganan tahunan untuk membuat grafik dan grafik langsung di dalam aplikasi. Keahlian coding Java saya berkarat dan saya merasa tidak butuh waktu berminggu-minggu untuk mempelajari kembali cara membuat widget Eclipse, hanya untuk menemukan bahwa DBeaver telah menonaktifkan kemampuan untuk menambahkan widget pihak ketiga ke Edisi Komunitas DBeaver.

Apakah pengguna DBeaver memiliki wawasan tentang langkah-langkah untuk membuat widget analytics untuk ditambahkan ke Edisi Komunitas DBeaver?

import json
cursor = conn.cursor()
qry = """ SELECT details FROM test_csvfile """ 
cursor.execute(qry)
rows = cursor.fetchall()

value = json.dumps(rows)

with open("/home/asha/Desktop/Income_output.json","w+") as f:
    f.write(value)
print 'Saved to File Successfully'