Apa fungsi kepadatan probabilitas entropi maksimum untuk variabel kontinu positif dari mean rata-rata dan simpangan baku?

13

Berapakah distribusi entropi maksimum untuk variabel kontinu positif, mengingat momen pertama dan kedua?

Sebagai contoh, distribusi Gaussian adalah distribusi entropi maksimum untuk variabel yang tidak terikat, mengingat mean dan standar deviasinya, dan distribusi Gamma adalah distribusi entropi maksimum untuk variabel positif, dengan nilai rata-rata dan nilai rata-rata logaritma-nya.

becko
sumber

Jawaban:

13

Orang bisa menggunakan teorema Boltzmann yang ada di artikel Wikipedia yang Anda tunjukkan .

Perhatikan bahwa menentukan mean dan varians setara dengan menentukan dua momen mentah pertama - masing-masing menentukan yang lain (itu sebenarnya tidak perlu untuk memohon ini, karena kita dapat menerapkan teorema langsung ke mean dan varians, hanya sedikit lebih sederhana dengan cara ini ).

Teorema kemudian menetapkan bahwa kepadatan harus dalam bentuk:

f(x)=cexp(λ1x+λ2x2) for all x0

Integrabilitas atas garis nyata positif akan membatasi menjadi 0 , dan saya pikir menempatkan beberapa batasan pada hubungan antara λ s (yang mungkin akan terpenuhi secara otomatis ketika mulai dari mean dan varians yang ditentukan daripada momen mentah).λ20λ

Yang mengejutkan saya (karena saya tidak akan mengharapkannya ketika saya memulai jawaban ini), ini tampaknya meninggalkan kami dengan distribusi normal terpotong.

Ketika itu terjadi, saya tidak berpikir saya telah menggunakan teorema ini sebelumnya, jadi kritik atau saran yang bermanfaat pada apa pun yang saya belum pertimbangkan atau tinggalkan akan disambut.

Glen_b -Reinstate Monica
sumber
+1 Terima kasih. Sepertinya baik-baik saja. Ketika saya membaca artikel Wikipedia, saya sepertinya melewatkan fakta bahwa teorema Boltzmann berlaku untuk semua interval tertutup. Saya berasumsi itu hanya berlaku untuk variabel dari ke .
becko
Untuk beberapa alasan ukuran dasar yang seragam dan distribusi normal terpotong yang dihasilkan tidak sepenuhnya meyakinkan saya: Seperti yang ditekankan Fred Schoen, untuk menemukan entropi (relatif) maksimum dalam kasus kontinu, kita memerlukan ukuran dasar atau distribusi probabilitas referensi. Karena variabel kontinu dalam pertanyaan adalah positif, itu bisa menjadi variabel skala, dan ukuran dasar proporsional dengan 1 / x kemudian merekomendasikan dirinya sendiri karena berbagai alasan (misalnya invarian kelompok; lihat buku Jaynes atau buku Jeffreys). x1/x
pglpm
Dengan ukuran dasar ini, distribusi yang dihasilkan sebanding dengan tetapi sayangnya itu tidak dapat dinormalisasi (masih dapat digunakan sebagai sebelumnya yang tidak tepat, meskipun). Mengingat positifnya variabel yang dipertanyakan, mungkin perlu dipertimbangkan apakah momen-momen logaritma-nya mungkin lebih masuk akal sebagai pembawa informasi dan batasan-batasan entropi maksimum. Mereka akan mengarah ke distribusi entropi maksimum seperti gamma.
1xexp(αxβx2)
pglpm
7

Saya ingin membuat jawaban @ Glen_b lebih eksplisit, berikut ini adalah jawaban tambahan hanya karena tidak cocok sebagai komentar.

f(x)N(x|1/2λ1/λ2,1/(2λ2))
λ1λ2a1,a2a1=μ,a2=μ2+σ2λ1=μ/σ2,λ2=0.5σ2N(x|μ,σ2)

x>xminλ1,21/cμσ2xmin=0xmin

Jika Anda memiliki nilai konkret untuk Sebuah1,Sebuah2, Anda masih bisa menyelesaikannya λ1,2secara numerik dan masukkan solusi ke dalam persamaan umum dan Anda selesai! Nilai-nilaiλ1,2 dari kasing yang tidak terikat dapat menjadi titik awal yang baik untuk pemecah angka.

Pertanyaan ini adalah duplikat dari /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

Fred Schoen
sumber