Dalam makalah yang disebut Deep Learning dan Information Bottleneck Principle , penulis menyatakan di bagian II A) berikut ini: Neuron tunggal mengklasifikasikan hanya input yang dapat dipisahkan secara linear, karena mereka hanya dapat mengimplementasikan hiperplanes dalam ruang inputnya ....
Saya mencoba menerapkan ide informasi timbal balik ke pemilihan fitur, seperti yang dijelaskan dalam catatan kuliah ini (di halaman 5). Platform saya adalah Matlab. Satu masalah yang saya temukan ketika menghitung informasi timbal balik dari data empiris adalah bahwa angka selalu bias ke atas....
Dalam https://cs231n.github.io/neural-networks-case-study/ ini mengapa disebutkan "Softmax classifier menafsirkan setiap elemen ff sebagai memegang probabilitas log (tidak normal) dari tiga kelas." Saya mengerti mengapa itu tidak dinormalkan tetapi tidak mengapa itu log? Apa arti probabilitas...
Saya kesulitan membangun intuisi tentang entropi bersama. = ketidakpastian dalam distribusi bersama p ( x , y ) ; H ( X ) = ketidakpastian dalam p x ( x ) ; H ( Y ) = ketidakpastian dalam p y ( y )
Pertanyaan saya menyangkut hubungan antara hipotesis pengkodean efisien yang diuraikan di halaman Wikipedia tentang pengkodean efisien dan algoritma pembelajaran jaringan saraf. Apa hubungan antara hipotesis pengkodean yang efisien dan jaringan saraf? Apakah ada model jaringan saraf yang secara...
Hari ini saya membaca buku "Teori Informasi: Pengantar tutorial" oleh James Stone dan berpikir sejenak tentang sejauh mana penggunaan teori informasi dalam ilmu data terapan (jika Anda tidak nyaman dengan istilah yang masih agak kabur ini, berpikir analisis data , yang ilmu data IMHO adalah versi...
Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]? Informasi timbal balik yang bijak...
Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati dari empat acara saya (18) saya dapat...
Dalam entri Wikipedia untuk kriteria informasi Akaike , kita membaca di bawah Perbandingan dengan BIC (kriteria informasi Bayesian) yang ... AIC / AICc memiliki keunggulan teoritis dibandingkan BIC ... AIC / AICc berasal dari prinsip-prinsip informasi; BIC bukan ... BIC memiliki prioritas 1 / R...
Diberi dua distribusi normal bivariat P≡N(μp,Σp)P≡N(μp,Σp)P \equiv \mathcal{N}(\mu_p, \Sigma_p) dan Q≡N(μq,Σq)Q≡N(μq,Σq)Q \equiv \mathcal{N}(\mu_q, \Sigma_q), Saya mencoba menghitung perbedaan Jensen-Shannon di antara mereka, didefinisikan (untuk kasus diskrit) sebagai:...