Pertanyaan yang diberi tag large-data

'Data besar' mengacu pada situasi di mana jumlah pengamatan (titik data) sangat besar sehingga memerlukan perubahan dalam cara analis data memikirkan atau melakukan analisis. (Jangan bingung dengan 'dimensi tinggi'.)

56
Tantangan Industri vs Kaggle. Apakah mengumpulkan lebih banyak pengamatan dan memiliki akses ke lebih banyak variabel lebih penting daripada pemodelan mewah?

Saya harap judulnya cukup jelas. Di Kaggle, sebagian besar pemenang menggunakan susun dengan kadang-kadang ratusan model dasar, untuk memeras beberapa% ekstra MSE, keakuratan ... Secara umum, menurut pengalaman Anda, seberapa pentingkah pemodelan mewah seperti menumpuk vs sekadar mengumpulkan lebih...

large-data stacking collecting-data kaggle
44
Apa itu Big Data?

Saya telah ditanya beberapa kali pertanyaan: Apa itu Big-Data? Baik oleh siswa dan kerabat saya yang mengambil buzz di sekitar statistik dan ML. Saya menemukan posting CV ini . Dan saya merasa saya setuju dengan satu-satunya jawaban di sana. The halaman Wikipedia juga memiliki beberapa...

large-data
21
Langkah pertama untuk data besar ( , )

Misalkan Anda menganalisis kumpulan data besar dengan jumlah milyaran pengamatan per hari, di mana setiap pengamatan memiliki beberapa ribu variabel yang mungkin jarang dan variabel numerik dan kategororial yang berlebihan. Katakanlah ada satu masalah regresi, satu masalah klasifikasi biner yang...

r machine-learning data-mining large-data
21
Bagaimana cara memproyeksikan vektor baru ke ruang PCA?

Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA....

r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial
18
Opsi analisis data di luar inti

Saya telah menggunakan SAS secara profesional selama hampir 5 tahun sekarang. Saya sudah menginstalnya di laptop saya dan sering harus menganalisis dataset dengan 1.000-2.000 variabel dan ratusan ribu pengamatan. Saya telah mencari alternatif untuk SAS yang memungkinkan saya untuk melakukan...

r sas large-data