Cabang matematika / statistik yang digunakan untuk menentukan daya dukung informasi suatu saluran, apakah yang digunakan untuk komunikasi atau yang didefinisikan dalam pengertian abstrak. Entropi adalah salah satu ukuran yang digunakan oleh para ahli teori informasi untuk mengukur ketidakpastian yang terlibat dalam memprediksi variabel acak.
Saya telah melihat beberapa pertanyaan di sini tentang apa artinya dalam istilah awam, tetapi ini terlalu awam untuk tujuan saya di sini. Saya mencoba memahami secara matematis apa arti skor AIC. Tetapi pada saat yang sama, saya tidak ingin bukti yang kuat yang akan membuat saya tidak melihat poin...
Saya mencari penjelasan intuitif untuk pertanyaan berikut: Dalam teori statistik dan informasi, apa perbedaan antara jarak Bhattacharyya dan divergensi KL, sebagai ukuran perbedaan antara dua distribusi probabilitas diskrit? Apakah mereka sama sekali tidak memiliki hubungan dan mengukur jarak...
Andrew More mendefinisikan perolehan informasi sebagai: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) di mana adalah entropi bersyarat . Namun, Wikipedia menyebut informasi timbal balik kuantitas di atas .H(Y|X)H(Y|X)H(Y|X) Wikipedia di sisi lain mendefinisikan perolehan...
Apakah ada ukuran kesamaan atau jarak antara dua matriks kovarians simetris (keduanya memiliki dimensi yang sama)? Saya berpikir di sini analog dengan KL divergensi dari dua distribusi probabilitas atau jarak Euclidean antara vektor kecuali diterapkan pada matriks. Saya membayangkan akan ada...
Saya telah menggunakan prinsip entropi maksimum untuk membenarkan penggunaan beberapa distribusi di berbagai pengaturan; akan tetapi, saya belum dapat merumuskan interpretasi statistik, sebagai lawan dari teori informasi, dari entropi maksimum. Dengan kata lain, apa yang memaksimumkan entropi...
Setelah banyak memukulkan Cross Validated, saya masih tidak merasa seperti saya lebih dekat untuk memahami perbedaan KL di luar bidang teori informasi. Agak aneh jika seseorang dengan latar belakang matematika lebih mudah memahami penjelasan teori informasi. Untuk menguraikan pemahaman saya dari...
Saya sedang mempelajari pohon klasifikasi dan regresi, dan salah satu ukuran untuk lokasi split adalah skor GINI. Sekarang saya terbiasa menentukan lokasi split terbaik ketika log rasio kemungkinan dari data yang sama antara dua distribusi adalah nol, yang berarti kemungkinan keanggotaan...
Baru-baru ini, saya membaca dua artikel. Yang pertama adalah tentang sejarah korelasi dan yang kedua adalah tentang metode baru yang disebut Maximal Information Coefficient (MIC). Saya butuh bantuan Anda untuk memahami metode MIC untuk memperkirakan korelasi non-linear antara variabel. Selain itu,...
Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya...
Dalam definisi set bersama (dalam "Elemen Teori Informasi", bab 7.6, hal. 195), kita menggunakan np(xn)=∏ n i = 1 p(xi)- 1ncatatanp ( xn)-1ncatatanhal(xn)-\frac{1}{n} \log{p(x^n)} sebagai entropi empiris dari sebuah -berikutnya dengan . Saya tidak pernah menemukan terminologi ini sebelumnya. Itu...
Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Informasi timbal balik antara dan didefinisikan
Mari kita perhatikan dua distribusi probabilitas berikut P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Saya telah menghitung divergensi Kullback-Leibler yang sama dengan , saya ingin tahu secara umum apa yang ditunjukkan angka ini kepada...
Mengapa divergensi KL non-negatif? Dari perspektif teori informasi, saya memiliki pemahaman yang intuitif: Katakanlah ada dua ansambel AAA dan BBB yang terdiri dari himpunan elemen yang sama dengan label xxx . p(x)p(x)p(x) dan q(x)q(x)q(x) adalah distribusi probabilitas yang berbeda atas...
Saya baru-baru ini membaca artikel ini pada entropi distribusi probabilitas diskrit. Ini menjelaskan cara berpikir yang baik tentang entropi sebagai bit angka yang diharapkan (setidaknya ketika menggunakan log2log2\log_2 dalam definisi entropi Anda) yang diperlukan untuk menyandikan pesan ketika...
Tanpa mengutip sumber, Wikipedia mendefinisikan lintas-entropi dari distribusi diskrit dan Q menjadiPPPQQQ H×( P; Q )= - ∑xp ( x )catatanq( x ) .H×(P;Q)=-∑xhal(x)catatanq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Siapa yang pertama kali mulai...
Pertanyaan ini memberikan definisi kuantitatif tentang entropi silang, dalam hal rumusnya. Saya mencari definisi yang lebih jelas, kata wikipedia: Dalam teori informasi, entropi silang antara dua distribusi probabilitas mengukur jumlah rata-rata bit yang diperlukan untuk mengidentifikasi suatu...
Saya telah mencoba menghitung AIC dari regresi linier dalam R tetapi tanpa menggunakan AICfungsi, seperti ini: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Namun, AICmemberikan nilai...
Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan...
Untuk variabel acak kontinu acak, katakanlah XXX , apakah entropi diferensialnya selalu kurang dari ∞∞\infty ? (Tidak apa-apa jika −∞−∞-\infty .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari ∞∞\infty
Model campuran Gaussian (GMM) menarik karena mudah digunakan baik secara analitis maupun dalam praktik, dan mampu memodelkan beberapa distribusi eksotis tanpa terlalu banyak kerumitan. Ada beberapa sifat analitik yang harus kita pegang yang umumnya tidak jelas.