Saya tidak nyaman dengan informasi Fisher, apa yang diukur dan bagaimana itu membantu. Juga hubungannya dengan Cramer-Rao terikat tidak jelas bagi saya. Bisakah seseorang tolong berikan penjelasan intuitif tentang konsep-konsep
Ok, ini pertanyaan yang cukup mendasar, tapi saya agak bingung. Dalam tesis saya, saya menulis: Kesalahan standar dapat ditemukan dengan menghitung kebalikan dari akar kuadrat dari elemen diagonal dari (Informasi) matriks Informasi Fisher: Sejak perintah optimasi di meminimalkan R-logLyang...
Saya ingin mengukur entropi / kepadatan informasi / pola-kemiripan dari matriks biner dua dimensi. Biarkan saya menunjukkan beberapa gambar untuk klarifikasi: Tampilan ini harus memiliki entropi yang agak tinggi: SEBUAH) Ini harus memiliki entropi sedang: B) Foto-foto ini, akhirnya, semua...
Mengapa dan kapan kita harus menggunakan Informasi Reksa atas pengukuran korelasi statistik seperti "Pearson", "spearman", atau "Kendall's
Jika bunga hanya memperkirakan parameter model (estimasi pointwise dan / atau interval) dan informasi sebelumnya tidak dapat diandalkan, lemah, (saya tahu ini agak kabur tetapi saya mencoba untuk membangun skenario di mana pilihan suatu sebelumnya sulit) ... Mengapa seseorang memilih untuk...
Misalkan kita memiliki variabel acak X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) . Jika θ0θ0\theta_0 adalah parameter sebenarnya, fungsi kemungkinan harus dimaksimalkan dan turunannya sama dengan nol. Ini adalah prinsip dasar di balik estimator kemungkinan maksimum. Seperti yang saya pahami, informasi...
Baru-baru ini, saya membaca dua artikel. Yang pertama adalah tentang sejarah korelasi dan yang kedua adalah tentang metode baru yang disebut Maximal Information Coefficient (MIC). Saya butuh bantuan Anda untuk memahami metode MIC untuk memperkirakan korelasi non-linear antara variabel. Selain itu,...
Dapatkah seseorang membuktikan hubungan berikut antara metrik informasi Fisher dan entropi relatif (atau divergensi KL) dengan cara yang benar-benar ketat secara matematis? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
Diberikan model hirarkis berikut, dan, μ ∼ L a p l a c e ( 0 , c ) di mana N ( ⋅ , ⋅ ) adalah distribusi normal. Apakah ada cara untuk mendapatkan ekspresi yang tepat untuk informasi Fisher dari distribusi marginal X yang diberikan c . Yaitu, apa informasi Fisher dari: p ( x | c ) = ∫X∼ N( μ ,...
Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Informasi timbal balik antara dan didefinisikan
Biarkan . Matriks Informasi Fisher didefinisikan sebagai:θ ∈ Rnθ∈Rn\theta \in R^{n} saya( θ )saya , j= - E[ ∂2catatan( f( X| θ))∂θsaya∂θj∣∣∣θ ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial...
Saya mengepos ulang "jawaban" untuk pertanyaan yang saya berikan sekitar dua minggu yang lalu di sini: Mengapa Jeffrey dulu bermanfaat? Itu benar-benar sebuah pertanyaan (dan saya juga tidak punya hak untuk mengirim komentar pada saat itu), jadi saya harap tidak apa-apa untuk melakukan ini: Dalam...
Dalam pengaturan kemungkinan maksimum standar (sampel I Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} dari beberapa distribusi dengan kepadatan fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) dan dalam kasus model yang ditentukan dengan benar, informasi Fisher diberikan
Saya mencoba untuk membuktikan bahwa matriks informasi yang diamati dievaluasi pada estimator kemungkinan maksimum yang konsisten (MLE) yang lemah, adalah estimator yang lemah konsisten dari matriks informasi yang diharapkan. Ini adalah hasil yang dikutip secara luas tetapi tidak ada yang...
Saya telah bekerja dengan informasi timbal balik untuk beberapa waktu. Tetapi saya menemukan ukuran yang sangat baru dalam "dunia korelasi" yang juga dapat digunakan untuk mengukur independensi distribusi, yang disebut "korelasi jarak" (juga disebut korelasi Brown):
pertanyaan saya khususnya berlaku untuk rekonstruksi
Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan...
Ketika melihat vektor eigen dari matriks kovarians, kita mendapatkan arah varians maksimum (vektor eigen pertama adalah arah di mana data paling bervariasi, dll.); ini disebut analisis komponen utama (PCA). Saya bertanya-tanya apa artinya melihat vektor-vektor eigen / nilai-nilai matriks informasi...
Buku pelajaran yang berbeda mengutip kondisi yang berbeda untuk keberadaan matriks informasi Fisher. Beberapa kondisi seperti tercantum di bawah ini, masing-masing muncul dalam beberapa, tetapi tidak semua, definisi "matriks informasi Fisher". Apakah ada standar, serangkaian kondisi...
Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran...