entropi maksimum atau maxent adalah prinsip statistik yang diturunkan dari teori informasi. Distribusi yang memaksimalkan entropi (di bawah beberapa batasan) dianggap "tidak informatif secara maksimal" mengingat batasannya. Entropi maksimum dapat digunakan untuk berbagai tujuan, seperti pilihan sebelumnya, pilihan model pengambilan sampel, atau desain eksperimen.
Saya tahu bahwa entropi adalah ukuran keacakan dari suatu proses / variabel dan dapat didefinisikan sebagai berikut. untuk variabel acak set : - . Dalam buku tentang Entropi dan Teori Informasi oleh MacKay, ia memberikan pernyataan ini dalam Ch2X∈X∈X
Dalam makalah ini , peneliti berbakat Cosma Shalizi berpendapat bahwa untuk sepenuhnya menerima pandangan Bayesian yang subjektif, kita juga harus menerima hasil yang tidak fisik bahwa panah waktu (diberikan oleh aliran entropi) harus benar-benar mundur . Ini terutama merupakan upaya untuk berdebat...
Saya telah menggunakan prinsip entropi maksimum untuk membenarkan penggunaan beberapa distribusi di berbagai pengaturan; akan tetapi, saya belum dapat merumuskan interpretasi statistik, sebagai lawan dari teori informasi, dari entropi maksimum. Dengan kata lain, apa yang memaksimumkan entropi...
Saya telah menggunakan distribusi log normal sebagai distribusi sebelumnya untuk parameter skala (untuk distribusi normal, distribusi t, dll.) Ketika saya memiliki gagasan kasar tentang apa skala seharusnya, tetapi ingin berbuat salah di sisi mengatakan saya tidak tahu banyak tentang itu. Saya...
Untuk variabel acak kontinu acak, katakanlah XXX , apakah entropi diferensialnya selalu kurang dari ∞∞\infty ? (Tidak apa-apa jika −∞−∞-\infty .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari ∞∞\infty
Berapakah distribusi entropi maksimum untuk variabel kontinu positif, mengingat momen pertama dan kedua? Sebagai contoh, distribusi Gaussian adalah distribusi entropi maksimum untuk variabel yang tidak terikat, mengingat mean dan standar deviasinya, dan distribusi Gamma adalah distribusi entropi...
Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum. Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima
Biarkan menjadi distribusi gabungan dari dua variabel kategori , dengan . Katakanlah sampel diambil dari distribusi ini, tetapi kami hanya diberi jumlah marginal, yaitu untuk : X , Y x , y ∈ { 1 , ... , K } n j = 1 , ... ,
Pertanyaannya: Bootstrapping lebih unggul daripada jackknifing; Namun, saya bertanya-tanya apakah ada contoh di mana jackknifing adalah satu-satunya atau setidaknya pilihan yang layak untuk mengkarakterisasi ketidakpastian dari estimasi parameter. Juga, dalam situasi praktis bagaimana bias / tidak...
Saya membaca diskusi di Hacker News tentang penggunaan standar deviasi yang bertentangan dengan metrik lain seperti rata-rata deviasi absolut. Jadi, jika kita mengikuti prinsip entropi maksimum, distribusi seperti apa yang akan kita gunakan jika kita hanya tahu mean distribusi dan mean penyimpangan...
Salah satu masalah penting yang dihadapi oleh peramal adalah apakah seri yang diberikan dapat diperkirakan atau tidak? Saya menemukan sebuah artikel berjudul " Entropi sebagai Indikator A Priori dari Kemampuan Prakiraan " oleh Peter Catt yang menggunakan Perkiraan Entropi (ApEn) sebagai ukuran...
Umumnya ada banyak distribusi gabungan konsisten dengan set distribusi marginal yang diketahui .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) Dari distribusi gabungan ini, apakah produk dibentuk dengan...
Saya tertarik dengan konsep Maximum Entropy Markov Model (MEMM), dan saya berpikir untuk menggunakannya untuk tagger Part of Speech (POS). Saat ini, saya menggunakan classifier Maximum Entropy (ME) konvensional untuk menandai setiap kata. Ini menggunakan sejumlah fitur, termasuk dua tag...
Pertanyaan pendek: Mengapa ini benar ?? Pertanyaan panjang: Sederhananya, saya mencoba mencari tahu apa yang membenarkan persamaan pertama ini. Penulis buku yang saya baca, (konteks di sini jika Anda menginginkannya, tetapi tidak perlu), mengklaim sebagai berikut: Karena asumsi...
Misalkan jumlah yang ingin kita simpulkan adalah distribusi probabilitas. Yang kita tahu adalah bahwa distribusi berasal dari himpunan ditentukan, katakanlah, pada beberapa momennya dan kami memiliki sebelumnya .EEEQQQ Prinsip entropi maksimum (MEP) mengatakan bahwa yang memiliki entropi relatif...
Baru-baru ini saya berdiskusi singkat dengan seorang teman yang berpengetahuan luas yang menyebutkan bahwa SVM adalah batas suhu nol dari regresi logistik. Alasannya melibatkan polytopes marginal dan dualitas fenchel. Saya tidak bisa mengikuti. Apakah pernyataan tentang SVM ini sebagai batas suhu...