Pertanyaan yang diberi tag bigdata

Apa yang akan menjadi cara paling efisien untuk menyisipkan jutaan catatan katakan 50 juta dari bingkai data Spark ke Postgres Tables. Saya telah melakukan ini dari percikan ke MSSQL di masa lalu dengan memanfaatkan salinan massal dan opsi ukuran batch yang berhasil juga. Adakah sesuatu yang...

Saya mencoba menunjukkan kepada anak saya bagaimana pengkodean dapat digunakan untuk memecahkan masalah yang ditimbulkan oleh sebuah permainan serta melihat bagaimana R menangani data besar. Game yang dimaksud disebut "Lucky 26". Dalam game ini angka (1-12 tanpa duplikat) diposisikan pada 12 poin...

Saya menjelajahi perilaku Spark ketika bergabung dengan tabel untuk dirinya sendiri. Saya menggunakan Databricks. Skenario boneka saya adalah: Baca tabel eksternal sebagai dataframe A (file yang mendasarinya dalam format delta) Definisikan dataframe B sebagai dataframe A dengan hanya kolom...