Baru-baru ini saya telah melakukan beberapa analisis tentang efek reputasi pada upvote (lihat posting blog ), dan kemudian saya punya beberapa pertanyaan tentang analisis dan grafik yang mungkin lebih mencerahkan (atau lebih tepat). Jadi beberapa pertanyaan (dan jangan ragu untuk menanggapi siapa...
Saya sedang mengerjakan proyek yang melibatkan 14 variabel dan 345.000 pengamatan untuk data perumahan (hal-hal seperti tahun dibangun, rekaman persegi, harga jual, wilayah tempat tinggal, dll). Saya prihatin dengan mencoba menemukan teknik grafis yang baik dan perpustakaan R yang berisi teknik...
Pertanyaan saya dapat diulangi sebagai "bagaimana menilai kesalahan pengambilan sampel menggunakan data besar", terutama untuk publikasi jurnal. Berikut adalah contoh untuk menggambarkan tantangan. Dari kumpulan data yang sangat besar (> 100000 pasien unik dan obat yang diresepkan dari 100...
Secara tradisional kami menggunakan model campuran untuk memodelkan data longitudinal, yaitu data seperti: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 kita dapat mengasumsikan intersep atau lereng acak untuk orang yang berbeda. Namun...
Katakanlah kumpulan data kami berisi 1 juta contoh, yaitu, , dan kami ingin menggunakan gradient descent untuk melakukan regresi logistik atau linear pada kumpulan data ini.x1, ... , x106x1,…,x106x_1, \ldots, x_{10^6} Ada apa dengan metode gradient descent yang membuatnya tidak efisien? Ingat...
Dengan pengetahuan terbatas yang saya miliki tentang SVM, itu baik untuk data pendek dan gemuk matriks , (banyak fitur, dan tidak terlalu banyak contoh), tetapi tidak untuk data besar.XXX Saya mengerti salah satu alasannya adalah Kernel Matrix adalah matriks mana, adalah jumlah instance dalam...
Saya baru dalam ilmu data dan memiliki masalah menemukan cluster dalam kumpulan data dengan 200.000 baris dan 50 kolom di R. Karena data memiliki variabel numerik dan nominal, metode seperti K-means yang menggunakan ukuran jarak Euclidean sepertinya bukan pilihan yang tepat. Jadi saya beralih ke...
Saya sedang mengerjakan masalah regresi linier yang sangat besar, dengan ukuran data yang sangat besar sehingga harus disimpan pada sekelompok mesin. Akan terlalu besar untuk menggabungkan semua sampel ke dalam memori satu mesin (bahkan disk) Untuk melakukan regresi data ini, saya berpikir tentang...
Saya sedang memeriksa bagian dari dataset saya yang berisi 46840 nilai ganda mulai dari 1 hingga 1690 yang dikelompokkan dalam dua grup. Untuk menganalisis perbedaan antara kelompok-kelompok ini saya mulai dengan memeriksa distribusi nilai-nilai untuk memilih tes yang tepat. Mengikuti panduan...
Saya mengumpulkan sampel kategori data yang sangat besar (> 1.000.000) setiap hari dan ingin melihat data yang terlihat "berbeda" secara signifikan antar hari untuk mendeteksi kesalahan dalam pengumpulan data. Saya pikir menggunakan tes good-of-fit (khususnya, G-test) akan menjadi cocok (pun...
Saya memiliki dataset yang sangat besar dan sekitar 5% nilai acak hilang. Variabel-variabel ini berkorelasi satu sama lain. Contoh berikut dataset R hanyalah contoh mainan dengan data berkorelasi dummy. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE),...
Bagaimana Anda melakukan tes hipotesis dengan data besar? Saya menulis skrip MATLAB berikut untuk menekankan kebingungan saya. Yang dilakukannya hanyalah menghasilkan dua seri acak, dan menjalankan regresi linier sederhana dari satu variabel di variabel lainnya. Itu melakukan regresi ini beberapa...
Saya mencari model antara stockprices energi dan cuaca. Saya memiliki harga MWatt yang dibeli antara negara-negara Eropa, dan banyak nilai pada cuaca (file Grib). Setiap jam dalam jangka waktu 5 tahun (2011-2015). Harga / hari Ini per hari selama satu tahun. Saya memiliki ini per jam pada 5...
Saya seorang R noob yang diharuskan untuk melakukan berbagai macam analisis pada set data besar di R. Jadi sambil melihat-lihat situs ini dan di tempat lain, tampak bagi saya bahwa ada banyak masalah esoteris dan kurang terkenal yang terlibat di sini - seperti paket mana yang digunakan kapan,...
Saya sering berurusan dengan jumlah data deret waktu yang masuk akal, 50-200 juta ganda dengan perangko waktu terkait dan ingin memvisualisasikannya secara dinamis. Apakah ada perangkat lunak yang ada untuk melakukan ini secara efektif? Bagaimana dengan perpustakaan dan format data? Zoom-cache...
Hanya ingin melihat apakah ada yang punya pengalaman menerapkan Gaussian process regression (GPR) ke set data dimensi tinggi. Saya sedang melihat ke beberapa metode GPR yang jarang (mis. Input pseudo-input GPR yang jarang) untuk melihat apa yang bisa bekerja untuk set data dimensi tinggi di mana...
Apakah masuk akal untuk menghitung interval kepercayaan dan untuk menguji hipotesis ketika data dari seluruh populasi tersedia? Menurut pendapat saya, jawabannya adalah tidak, karena kita dapat secara akurat menghitung nilai sebenarnya dari parameter. Tetapi kemudian, berapa proporsi maksimal data...
Pada dasarnya, ada dua cara umum untuk belajar melawan kumpulan data besar (ketika Anda dihadapkan pada batasan waktu / ruang): Kecurangan :) - gunakan hanya subset "dikelola" untuk pelatihan. Hilangnya keakuratan dapat diabaikan karena hukum pengembalian yang semakin menurun - kinerja prediktif...
Untuk mengajukan pertanyaan saya dengan lebih baik, saya telah menyediakan beberapa output dari model 16 variabel ( fit) dan 17 model variabel ( fit2) di bawah ini (semua variabel prediktor dalam model ini kontinu, di mana satu-satunya perbedaan antara model ini adalah yang fittidak mengandung...
Saya memiliki akses ke dataset yang sangat besar. Data tersebut dari rekaman MEG dari orang yang mendengarkan kutipan musik, dari satu dari empat genre. Data adalah sebagai berikut: 6 mata pelajaran 3 pengulangan Eksperimental (zaman) 120 Percobaan per zaman 8 detik data per percobaan pada 500Hz...