Pertanyaan Umum Katakanlah kita memiliki data id x1x1x_1 , x2x2x_2 , ... ∼f(x|θ)∼f(x|θ)\sim
MLE = Estimasi Kemungkinan Maksimum MAP = Maksimum a posteriori MLE bersifat intuitif / naif karena MLE hanya dimulai dengan probabilitas pengamatan yang diberikan parameter (yaitu fungsi kemungkinan) dan mencoba menemukan parameter terbaik sesuai dengan pengamatan . Tapi itu tidak...
θ^θ^\hat\thetaθ∗θ∗\theta^*nnn∥θ^−θ∗∥‖θ^−θ∗‖\lVert\hat\theta-\theta^*\rVertO(1/n−−√)O(1/n)O(1/\sqrt n)∥Eθ^−θ∗∥‖Eθ^−θ∗‖\lVert \mathbb E\hat\theta - \theta^*\rVert∥Eθ^−θ^∥‖Eθ^−θ^‖\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/n−−√)O(1/n)O(1/\sqrt{n}) Saya tertarik pada model yang memiliki bias yang...
Tampaknya ada banyak kebingungan dalam perbandingan menggunakan di glmnetdalam caretuntuk mencari lambda yang optimal dan menggunakan cv.glmnetuntuk melakukan tugas yang sama. Banyak pertanyaan diajukan, misalnya: Klasifikasi model train.glmnet vs. cv.glmnet? Apa cara yang tepat untuk...
Dalam bab pertama buku Algebraic Geometry dan Statistical Learning Theory yang berbicara tentang konvergensi estimasi dalam ruang fungsional yang berbeda, disebutkan bahwa estimasi Bayesian sesuai dengan topologi distribusi Schwartz, sedangkan estimasi kemungkinan maksimum sesuai dengan topologi...
Saya bertanya-tanya apakah estimasi kemungkinan maksimum pernah digunakan dalam statistik. Kami belajar konsep itu tetapi saya bertanya-tanya kapan itu benar-benar digunakan. Jika kita mengasumsikan distribusi data, kita menemukan dua parameter, satu untuk mean dan satu untuk varians, tetapi apakah...
Pertanyaan ini berkaitan dengan estimasi kemungkinan maksimum terbatas (REML) dalam versi tertentu dari model linier, yaitu: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), di mana adalah matriks ( ) yang diparameterisasi oleh...
Setelah pemusatan, dua pengukuran x dan −x dapat diasumsikan sebagai pengamatan independen dari distribusi Cauchy dengan fungsi kerapatan probabilitas: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞<x<∞,−∞<x<∞, -∞ < x < ∞ Tunjukkan bahwa jika...
Saya mencoba memahami regresi logistik Firth (metode penanganan pemisahan logistik sempurna / lengkap atau kuasi-lengkap) sehingga saya dapat menjelaskannya kepada orang lain dalam istilah yang disederhanakan. Adakah yang punya penjelasan bodoh tentang modifikasi estimasi Firth yang dibuat untuk...
Katakanlah saya memiliki masalah pemilihan model dan saya mencoba menggunakan AIC atau BIC untuk mengevaluasi model. Ini mudah untuk model yang memiliki sejumlah dari parameter bernilai riil.kkk Namun, bagaimana jika salah satu model kami (misalnya, model Mallows ) memiliki permutasi, ditambah...
Kapan lebih baik menggunakan Estimasi Kemungkinan Maksimum alih-alih Kuadrat Terkecil Biasa? Apa kekuatan dan keterbatasan masing-masing? Saya mencoba untuk mengumpulkan pengetahuan praktis tentang di mana harus menggunakan masing-masing dalam situasi
Diberikan set data dengan hasil biner y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n dan beberapa matriks prediktor X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , model regresi logistik standar memperkirakan koefisien βMLEβMLE\beta_{MLE} yang memaksimalkan kemungkinan binomial. Ketika XXX adalah peringkat penuh...
Saya telah menulis beberapa kode yang dapat melakukan pemfilteran Kalman (menggunakan sejumlah filter tipe Kalman yang berbeda [Information Filter et al.]) Untuk Linear Gaussian State Space Analysis untuk vektor keadaan n-dimensi. Filter bekerja dengan baik dan saya mendapatkan beberapa output yang...
Saat melakukan regresi jika kita menggunakan definisi dari: Apa perbedaan antara kemungkinan parsial, kemungkinan profil dan kemungkinan marginal? itu, Kemungkinan Maksimum Temukan β dan θ yang memaksimalkan L (β, θ | data). Sementara, Marginal Likelihood Kami mengintegrasikan θ dari persamaan...
Pertanyaan ini terinspirasi dari diskusi panjang dalam komentar di sini: Bagaimana regresi linier menggunakan distribusi normal? Dalam model regresi linier biasa, untuk kesederhanaan di sini ditulis dengan hanya satu prediktor: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i...
Ini semacam pemikiran aneh yang saya miliki ketika meninjau beberapa statistik lama dan untuk beberapa alasan saya sepertinya tidak bisa memikirkan jawabannya. PDF kontinu memberi tahu kita kepadatan nilai pengamatan dalam rentang tertentu. Yaitu, jika X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) ,...
Secara umum sepertinya metode saat ini hanya cocok dengan rata-rata sampel yang diamati, atau varians dengan momen teoritis untuk mendapatkan estimasi parameter. Ini sering sama dengan MLE untuk keluarga eksponensial, saya kumpulkan. Namun, sulit untuk menemukan definisi yang jelas tentang metode...
Saya memiliki model untuk memprediksi lintasan (x sebagai fungsi waktu) dengan beberapa parameter. Saat ini, saya menghitung root mean square error (RMSE) antara lintasan yang diprediksi dan lintasan yang direkam secara eksperimental. Saat ini, saya meminimalkan perbedaan ini (RMSE) menggunakan...
Saya baru-baru ini meninjau beberapa makalah lama oleh Nancy Reid, Barndorff-Nielsen, Richard Cox dan, ya, sedikit Ronald Fisher tentang konsep "inferensi kondisional" dalam paradigma frequentist, yang tampaknya berarti bahwa kesimpulan didasarkan hanya dengan mempertimbangkan "subset yang relevan"...
Saya melihat disebutkan di berbagai tempat bahwa ANOVA melakukan estimasi menggunakan metode momen. Saya bingung dengan pernyataan itu karena, meskipun saya tidak terbiasa dengan metode momen, pemahaman saya adalah bahwa itu adalah sesuatu yang berbeda dan tidak setara dengan metode kemungkinan...