Untuk variabel acak kontinu acak, katakanlah XXX , apakah entropi diferensialnya selalu kurang dari ∞∞\infty ? (Tidak apa-apa jika −∞−∞-\infty .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari ∞∞\infty
Entropi diferensial dari Gaussian RV adalah . Ini tergantung padaσ, yang merupakan standar deviasi.catatan2( σ2 πe---√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jika kita menormalkan variabel acak sehingga memiliki varians unit, tetesan diferensialnya turun. Bagi saya ini kontra-intuitif...
Apakah ada gunanya kuantitas ∫f( x )2dx∫f(x)2dx \int f(x)^2 dx dalam statistik atau teori
Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum. Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima
Saya telah bekerja pada sampel penting cukup dekat selama setahun terakhir dan memiliki beberapa pertanyaan terbuka yang saya harap dapat membantu. Pengalaman praktis saya dengan skema sampel penting adalah bahwa mereka kadang-kadang dapat menghasilkan estimasi varians rendah dan bias rendah yang...
Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran...
Catatan: pertanyaan ini adalah repost, karena pertanyaan saya sebelumnya harus dihapus karena alasan hukum. Sambil membandingkan PROC CAMPURAN dari SAS dengan fungsi lmedari nlmepaket di R, saya menemukan beberapa perbedaan yang agak membingungkan. Lebih khusus lagi, derajat kebebasan dalam...
Saya ingin menghitung divergensi jensen-shannon untuknya mengikuti 3 distribusi. Apakah perhitungan di bawah ini benar? (Saya mengikuti rumus JSD dari wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6,...
(Saya memposting pertanyaan serupa di math.se. ) Dalam geometri informasi, penentu matriks informasi Fisher adalah bentuk volume alami pada manifold statistik, sehingga memiliki interpretasi geometris yang bagus. Fakta bahwa itu muncul dalam definisi sebelumnya Jeffreys, misalnya, terkait dengan...
Dari Wikipedia ada definisi Akaike Information Criterion (AIC) sebagai , di mana adalah jumlah parameter dan \ log L adalah log-kemungkinan model.k log LAIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkklogLlogL\log L Namun, Ekonometrik kami mencatat di universitas yang dihormati bahwa...
Bentuk paling sederhana dari teori informasi CLT adalah sebagai berikut: Biarkan menjadi iid dengan mean dan varians 1 . Biarkan f_n menjadi kepadatan jumlah normal \ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}} dan \ phi menjadi kepadatan Gaussian standar. Maka teori informasi CLT menyatakan bahwa,...
Saya memiliki keraguan yang sangat mendasar. Maaf jika ini mengganggu sedikit. Saya tahu bahwa nilai Mutual Information harus lebih besar dari 0, tetapi haruskah itu kurang dari 1? Apakah dibatasi oleh nilai tertinggi? Terima kasih,
Dapatkah informasi timbal balik melalui entropi bersama: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 didefinisikan sebagai: "Peluang menyampaikan informasi dari X ke Y"? Saya minta maaf karena begitu naif, tetapi saya belum pernah mempelajari teori informasi, dan saya...
Saya telah menulis sebuah program untuk mensimulasikan kartu shuffle overhand . Setiap kartu diberi nomor, dengan setelan naik dari CLUBS, DIAMONDS, HEARTS, SPADESdan peringkat dari Dua hingga Sepuluh kemudian Jack, Ratu, Raja dan Ace. Jadi Dua Klub memiliki Jumlah 1, Tiga Klub a 2. .... Ace of...
Apa metrik yang baik untuk menilai kualitas analisis komponen utama (PCA)? Saya melakukan algoritma ini pada dataset. Tujuan saya adalah mengurangi jumlah fitur (informasinya sangat berlebihan). Saya tahu persentase varians yang disimpan adalah indikator yang baik tentang seberapa banyak informasi...
Dalam penelitian saya, saya telah mengalami masalah umum berikut: Saya memiliki dua distribusi dan di domain yang sama, dan sejumlah besar sampel (tetapi terbatas) dari distribusi tersebut. Sampel didistribusikan secara independen dan identik dari salah satu dari dua distribusi ini (meskipun...
Saya ingin mengukur hubungan antara dua variabel, A dan B, menggunakan informasi timbal balik. Cara untuk menghitungnya adalah dengan membuang pengamatan (lihat contoh kode Python di bawah). Namun, faktor apa yang menentukan jumlah sampah yang masuk akal? Saya perlu perhitungan yang cepat jadi saya...
Saya mencoba menerapkan ide informasi timbal balik ke pemilihan fitur, seperti yang dijelaskan dalam catatan kuliah ini (di halaman 5). Platform saya adalah Matlab. Satu masalah yang saya temukan ketika menghitung informasi timbal balik dari data empiris adalah bahwa angka selalu bias ke atas....
Atau kondisi apa yang menjamin hal itu? Secara umum (dan bukan hanya model normal dan binomial) saya kira alasan utama yang mematahkan klaim ini adalah bahwa ada ketidakkonsistenan antara model pengambilan sampel dan model sebelumnya, tetapi apa lagi? Saya mulai dengan topik ini, jadi saya sangat...
Seperti judulnya, apakah pengurangan dimensi selalu kehilangan beberapa informasi? Pertimbangkan misalnya PCA. Jika data yang saya miliki sangat jarang, saya akan menganggap "pengkodean yang lebih baik" dapat ditemukan (apakah ini terkait dengan peringkat data?), Dan tidak ada yang akan...