Dengan flat sebelumnya, estimator ML (frequentist - maximum likelihood) dan MAP (Bayesian - maximum a posteriori) bersamaan. Namun, secara lebih umum, saya berbicara tentang penduga titik yang diturunkan sebagai pengoptimal beberapa fungsi kerugian. Yaitu (Bayesian) x
Pendekatan teoritikal apa yang harus saya ketahui sebagai ahli statistik / ekonometrik terapan? Saya tahu (sedikit) Model kausal Neyman – Rubin (dan Roy , Haavelmo dll.) Karya Pearl tentang Kausalitas Granger Causality (meskipun kurang berorientasi pada perawatan) Konsep apa yang saya lewatkan...
Adakah buku bagus yang menjelaskan konsep penting teori probabilitas seperti fungsi distribusi probabilitas dan fungsi distribusi kumulatif? Tolong, hindari merujuk buku-buku seperti "Statistik Matematika dan Analisis Data" oleh John Rice yang dimulai dengan konsep permutasi sederhana dan...
Saya telah menemukan beberapa cara dasar untuk mengukur kompleksitas jaringan saraf: Naif dan informal: hitung jumlah neuron, neuron tersembunyi, lapisan, atau lapisan tersembunyi Dimensi VC (Eduardo D. Sontag [1998] "Dimensi VC dari jaringan saraf" [ pdf ].) Suatu ukuran kompleksitas...
Pertanyaan ini terinspirasi oleh dua interaksi terakhir yang saya miliki, satu di sini di CV , yang lain di economics.se. Di sana, saya telah mengirimkan jawaban ke terkenal "Envelope Paradox" (pikiran Anda, bukan sebagai yang "jawaban yang benar" tetapi sebagai jawaban mengalir dari asumsi...
Saya baru-baru ini membaca artikel ini pada entropi distribusi probabilitas diskrit. Ini menjelaskan cara berpikir yang baik tentang entropi sebagai bit angka yang diharapkan (setidaknya ketika menggunakan log2log2\log_2 dalam definisi entropi Anda) yang diperlukan untuk menyandikan pesan ketika...
Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan...
Pertanyaan ini memberikan definisi kuantitatif tentang entropi silang, dalam hal rumusnya. Saya mencari definisi yang lebih jelas, kata wikipedia: Dalam teori informasi, entropi silang antara dua distribusi probabilitas mengukur jumlah rata-rata bit yang diperlukan untuk mengidentifikasi suatu...
Saya telah mencoba menghitung AIC dari regresi linier dalam R tetapi tanpa menggunakan AICfungsi, seperti ini: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Namun, AICmemberikan nilai...
Pertimbangkan solusi Jaynes untuk paradoks Bertrand menggunakan prinsip ketidakpedulian . Mengapa argumen serupa tidak berlaku untuk paradoks Borel-Kolmogorov ? Apakah ada yang salah dengan berargumen bahwa karena masalahnya tidak menentukan orientasi untuk bola, memutar bola seharusnya tidak...
Tanpa mengutip sumber, Wikipedia mendefinisikan lintas-entropi dari distribusi diskrit dan Q menjadiPPPQQQ H×( P; Q )= - ∑xp ( x )catatanq( x ) .H×(P;Q)=-∑xhal(x)catatanq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Siapa yang pertama kali mulai...
Saya berpikir bahwa konsep himpunan tipikal cukup intuitif: urutan panjang akan menjadi milik himpunan jika probabilitas urutan yang keluar tinggi. Jadi, urutan apa pun yang mungkin ada di . (Saya menghindari definisi formal terkait dengan entropi karena saya mencoba memahaminya secara...
Untuk variabel acak kontinu acak, katakanlah XXX , apakah entropi diferensialnya selalu kurang dari ∞∞\infty ? (Tidak apa-apa jika −∞−∞-\infty .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari ∞∞\infty
Model campuran Gaussian (GMM) menarik karena mudah digunakan baik secara analitis maupun dalam praktik, dan mampu memodelkan beberapa distribusi eksotis tanpa terlalu banyak kerumitan. Ada beberapa sifat analitik yang harus kita pegang yang umumnya tidak jelas.
Bayangkan pengaturan berikut: Anda memiliki 2 koin, koin A yang dijamin adil, dan koin B yang mungkin atau mungkin tidak adil. Anda diminta untuk melakukan 100 koin terbalik, dan tujuan Anda adalah memaksimalkan jumlah kepala . Informasi Anda sebelumnya tentang koin B adalah bahwa koin itu dibalik...
Konteks : Saya ingin menggambar garis di sebar yang tidak tampak parametrik, oleh karena itu saya gunakan geom_smooth()di ggplotdalam R. Secara otomatis mengembalikan geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x'...
Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran...
Entropi diferensial dari Gaussian RV adalah . Ini tergantung padaσ, yang merupakan standar deviasi.catatan2( σ2 πe---√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jika kita menormalkan variabel acak sehingga memiliki varians unit, tetesan diferensialnya turun. Bagi saya ini kontra-intuitif...
Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum. Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima
Saya telah bekerja pada sampel penting cukup dekat selama setahun terakhir dan memiliki beberapa pertanyaan terbuka yang saya harap dapat membantu. Pengalaman praktis saya dengan skema sampel penting adalah bahwa mereka kadang-kadang dapat menghasilkan estimasi varians rendah dan bias rendah yang...