Kapan Markov bidang acak

Dalam buku teks mereka, Model Grafis, Keluarga Eksponensial dan Inferensi Variasi , M. Jordan dan M. Wainwright membahas hubungan antara keluarga Eksponensial dan Markov Random Fields (model grafis tidak diarahkan).

Saya mencoba memahami hubungan antara mereka dengan pertanyaan-pertanyaan berikut:

• Apakah semua anggota MRF dari keluarga Eksponensial?
• Bisakah semua anggota dari keluarga Eksponensial direpresentasikan sebagai MRF?
• Jika keluarga eksponensial, apa saja contoh distribusi yang baik dari satu jenis yang tidak termasuk yang lain ?$\neq$

Dari apa yang saya pahami dalam buku teks mereka (Bab 3), Jordan dan Wainwright menyajikan argumen berikut:

1. Katakanlah kita memiliki aa skalar variabel acak X yang mengikuti beberapa distribusi , dan menarik pengamatan iid , dan kami ingin mengidentifikasi .$p$X 1 , ... X n$n$$X^1, \ldots X^n$$p$

2. Kami menghitung ekspektasi empiris fungsi-fungsi tertentu$\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ untuk semua$\alpha \in \mathcal{I}$

   di mana setiap dalam beberapa set mengindeks fungsiI ϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Maka jika kita memaksa dua set jumlah berikut untuk konsisten, yaitu untuk mencocokkan (untuk mengidentifikasi ):$p$

   • Harapan dari statistik yang cukup dari distribusiϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • Harapan di bawah distribusi empiris

kami mendapatkan masalah yang tidak ditentukan , dalam arti bahwa ada banyak distribusi yang konsisten dengan pengamatan. Jadi kita perlu prinsip untuk memilih di antara mereka (untuk mengidentifikasi ).$p$$p$

Jika kita menggunakan prinsip entropi maksimum untuk menghapus ketidakpastian ini, kita bisa mendapatkan satu :$p$

E p [ ( φ a ( X ) ] = μ a a ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ tunduk pada untuk semua$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

di mana mengambil bentuk exp mana merupakan parameterisasi distribusi dalam bentuk keluarga eksponensial.p θ ( x ) ∝ ∑ α ∈ I θ α ϕ α ( x ) , θ ∈ R $p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

Dengan kata lain, jika kita

1. Buat harapan distribusi menjadi konsisten dengan harapan di bawah distribusi empiris
2. Gunakan prinsip entropi maksimum untuk menyingkirkan ketidakpastian

$\rightarrow$ Kita berakhir dengan distribusi keluarga eksponensial.

Namun, ini lebih seperti argumen untuk memperkenalkan keluarga eksponensial, dan (sejauh yang saya bisa mengerti) itu tidak menggambarkan hubungan antara MRF dan exp. keluarga. Apakah saya kehilangan sesuatu?

Anda sepenuhnya benar - argumen yang Anda ajukan mengaitkan keluarga eksponensial dengan prinsip entropi maksimum, tetapi tidak ada hubungannya dengan MRF.

Untuk menjawab tiga pertanyaan awal Anda:

Bisakah semua anggota dari keluarga Eksponensial direpresentasikan sebagai MRF?

Apakah semua anggota MRF dari keluarga Eksponensial?

$are$

$\neq$

Distribusi campuran adalah contoh umum distribusi keluarga non-eksponensial. Pertimbangkan model ruang keadaan Gaussian linier (seperti model Markov tersembunyi, tetapi dengan status tersembunyi terus menerus dan transisi Gaussian dan distribusi emisi). Jika Anda mengganti kernel transisi dengan campuran Gaussians, distribusi yang dihasilkan tidak lagi dalam keluarga eksponensial (tetapi masih mempertahankan karakteristik struktur independensi bersyarat kaya dari model grafis praktis).

[1] http://en.wikipedia.org/wiki/Markov_random_field