Jadi dalam pemodelan teks (tanpa pengawasan), Latent Dirichlet Allocation (LDA) adalah versi Bayesian dari Probabilistic Latent Semantic Analysis (PLSA). Intinya, LDA = PLSA + Dirichlet sebelum parameternya. Pemahaman saya adalah bahwa LDA sekarang menjadi algoritma referensi dan diimplementasikan...
Saya telah mencoba menghitung AIC dari regresi linier dalam R tetapi tanpa menggunakan AICfungsi, seperti ini: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Namun, AICmemberikan nilai...
Saya mencapai hubungan linier yang kuat antara variabel dan Y saya setelah mengubah responsnya. Modelnya adalah Y ∼ X tetapi saya mengubahnya menjadi √XXXYYYY∼XY∼XY\sim X meningkatkanR2dari 0,19 ke 0,76.YX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X}R2R2R^2 Jelas saya melakukan beberapa...
Saya memiliki data tentang karyawan perusahaan besar Italia selama lebih dari sepuluh tahun dan saya ingin melihat bagaimana kesenjangan gender dalam pendapatan pria-wanita berubah dari waktu ke waktu. Untuk tujuan ini saya menjalankan OLS dikumpulkan:
Secara khusus, saya bertanya-tanya mengapa kita memiliki konsep Multiple R (yang dapat saya pahami sebagai korelasi antara skor yang diamati dan yang diprediksi dalam regresi berganda), dan kemudian konsep terpisah R-squared yang hanya berbentuk bujur sangkar atau R. Saya telah diberi tahu bahwa...
Saya ingin mencoba menggunakan Support Vector Machines (SVMs) pada dataset saya. Sebelum saya mencoba masalah, saya diperingatkan bahwa SVM tidak bekerja dengan baik pada data yang sangat tidak seimbang. Dalam kasus saya, saya dapat memiliki sebanyak 95-98% 0 dan 2-5% 1. Saya mencoba untuk...
Saya membaca makalah ilmiah tentang klasifikasi gambar. Dalam hasil percobaan mereka berbicara tentang akurasi top-1 dan top-5 tetapi saya belum pernah mendengar istilah itu, juga tidak dapat menemukannya menggunakan google. Bisakah seseorang memberi saya definisi atau menunjuk saya ke suatu...
Saya telah mendengar bahwa regresi ridge dapat diturunkan sebagai rata-rata distribusi posterior, jika prior dipilih secara memadai. Apakah intuisi bahwa kendala seperti yang ditetapkan pada koefisien regresi oleh sebelumnya (misalnya distribusi normal standar sekitar 0) adalah identik / ganti...
Dalam analisis kluster bagaimana kita menghitung kemurnian? Apa persamaannya? Saya tidak mencari kode untuk melakukannya untuk saya. Biarkan menjadi cluster k, dan c_j menjadi kelas j.c jωkωk\omega_kcjcjc_j Jadi apakah kemurnian bisa dibilang akurat? sepertinya menjumlahkan jumlah kelas yang...
Saya sedang mengerjakan ukuran kepentingan fitur Gini untuk hutan acak. Oleh karena itu, saya perlu menghitung penurunan Gini dalam ketidakmurnian simpul. Inilah cara saya melakukannya, yang mengarah pada konflik dengan definisi tersebut, menunjukkan bahwa saya pasti salah di suatu tempat ......
Apakah ada tesaurus referensi untuk statistik dan istilah pembelajaran mesin? Saya tahu bahwa artikel Wikipedia sering mengandung sinonim, tetapi saya ingin memiliki tesaurus belaka yang bisa saya lalui dengan mudah (vs. ensiklopedia lengkap) untuk memastikan saya tahu semua
Saya memiliki dataset dengan beberapa juta baris dan ~ 100 kolom. Saya ingin mendeteksi sekitar 1% dari contoh dalam dataset, yang termasuk kelas umum. Saya memiliki batasan presisi minimum, tetapi karena biaya yang sangat asimetris, saya tidak terlalu tertarik pada penarikan tertentu (selama saya...
Saya menggunakan KL Divergence sebagai ukuran ketidaksamaan antara 2 p.m.f.p.m.f.p.m.f. PPP dan QQQ . DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum...
Jika saya memiliki sistem peringkat bintang di mana pengguna dapat mengekspresikan preferensi mereka untuk suatu produk atau barang, bagaimana saya bisa mendeteksi secara statistik jika suara sangat "terbagi". Artinya, bahkan jika rata-rata adalah 3 dari 5, untuk produk yang diberikan, bagaimana...
Saya mencoba melakukan regresi pada data heteroskedastik di mana saya mencoba untuk memprediksi varians kesalahan serta nilai rata-rata dalam hal model linier. Sesuatu seperti
Saya memiliki masalah dengan normalitas beberapa data yang saya miliki: Saya telah melakukan tes Kolmogorov yang mengatakan itu tidak normal dengan p = 0,0000, saya tidak mengerti: kemiringan distribusi saya = - .497, dan kurtosis = -0,024 Ini adalah plot distribusi saya yang terlihat sangat...
Apakah bermakna dan mungkin untuk melakukan tes KS satu sisi? Apa hipotesis nol dari tes semacam itu? Atau apakah tes KS secara inheren merupakan tes dua sisi? Saya akan mendapat manfaat dari jawaban yang membantu saya memahami distribusi D (Saya sedang mengerjakan makalah Massey tahun 1951, dan...
Saya mencoba memahami model faktorisasi matriks untuk sistem yang merekomendasikan dan saya selalu membaca 'fitur laten', tetapi apa artinya itu? Saya tahu apa artinya fitur untuk dataset pelatihan tapi saya tidak bisa memahami ide fitur laten. Setiap makalah tentang topik yang saya temukan terlalu...
Saya mencoba melihat apakah akan menggunakan regresi ridge , LASSO , regresi komponen utama (PCR), atau Partial Least Squares (PLS) dalam situasi di mana ada sejumlah besar variabel / fitur ( ) dan jumlah sampel yang lebih kecil ( n < p ), dan tujuan saya adalah prediksi.pppn<pn<pn...
Saya memiliki dua set data dan saya ingin tahu apakah mereka berbeda secara signifikan atau tidak (ini berasal dari " Dua kelompok berbeda secara signifikan? Tes untuk digunakan "). Saya memutuskan untuk menggunakan tes permutasi, melakukan hal berikut di R: permutation.test <-...