Mengapa keluarga eksponensial tidak memasukkan semua distribusi?

Saya membaca buku:

Uskup, Pengenalan Pola dan Pembelajaran Mesin (2006)

yang mendefinisikan keluarga eksponensial sebagai distribusi bentuk (Persamaan 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Tapi saya melihat tidak ada batasan yang ditempatkan pada atau . Apakah ini tidak berarti bahwa distribusi apa pun dapat dimasukkan ke dalam formulir ini, dengan pilihan dan (sebenarnya hanya satu di antaranya yang harus dipilih dengan benar!)? Jadi, mengapa keluarga eksponensial tidak memasukkan semua distribusi probabilitas? Apa yang saya lewatkan? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Akhirnya, pertanyaan yang lebih khusus yang saya minati adalah ini: Apakah distribusi Bernoulli dalam keluarga eksponensial ? Wikipedia mengklaim itu, tetapi karena saya jelas bingung tentang sesuatu di sini, saya ingin tahu mengapa.

mathematical-statistics exponential-family becko
sumber

untuk bukti bahwa distribusi Bernoulli ada dalam keluarga eksponensial, coba gunakan fakta bahwa

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ dan lihat di mana

hasilnya

Untuk memperjelas, apakah Anda bertanya apakah ada distribusi yang dapat ditulis dalam formulir ini, atau apakah ada keluarga distribusi yang dapat ditulis dalam formulir ini? Anda sepertinya mendapatkan jawaban untuk pertanyaan terakhir.

Owen

@Wen Ya, saya melihat sekarang bahwa ini adalah poin penting. Meskipun distribusi apa pun dapat ditulis dalam bentuk ini (dengan menetapkan tepat, dan ), itu tidak menyiratkan bahwa setiap keluarga dapat ditulis dalam bentuk ini.

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

becko

@becko, Benar sekali. Ungkapan dalam teks, "keluarga eksponensial", agak menyesatkan, karena tidak hanya ada satu keluarga eksponensial; melainkan, setiap pilihan memunculkan keluarga. Banyak penulis sebaliknya mengatakan "keluarga eksponensial", membuat ini lebih jelas; misalnya, lihat halaman Wikipedia: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

Brent Kerby

@becko Saya pikir argumen Anda menunjukkan bahwa setiap distribusi yang diberikan dapat menjadi salah satu anggota keluarga eksponensial, tetapi bukan bahwa keluarga distribusi mana pun dapat menjadi keluarga eksponensial.

Matthew Drury

Jawaban:

Nah, satu konsekuensi dari definisi Anda: adalah bahwa dukungan keluarga distribusi yang diindeks oleh parameter tidak bergantung pada . (Dukungan distribusi probabilitas adalah (penutupan) paling tidak ditetapkan dengan probabilitas satu, atau dengan kata lain, di mana distribusi hidup .) Jadi cukup untuk memberikan sampel tandingan dari keluarga distribusi dengan dukungan tergantung pada parameter, contoh paling mudah adalah keluarga distribusi seragam berikut:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (jawaban lain oleh @Chaconne memberikan counterexample yang lebih canggih).

kjetil b halvorsen
sumber

Pertimbangkan distribusi Laplace non-pusat

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

Kecuali Anda tidak akan dapat menulissebagai produk dalam antara dan beberapa fungsi . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

Keluarga eksponensial mencakup sebagian besar distribusi bernama baik yang biasa kita temui, jadi pada awalnya mungkin tampak seperti memiliki segala sesuatu yang menarik, tetapi itu sama sekali tidak lengkap.

jld
sumber