Referensi yang membenarkan penggunaan Campuran Gaussian

Model campuran Gaussian (GMM) menarik karena mudah digunakan baik secara analitis maupun dalam praktik, dan mampu memodelkan beberapa distribusi eksotis tanpa terlalu banyak kerumitan. Ada beberapa sifat analitik yang harus kita pegang yang umumnya tidak jelas. Khususnya:

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Katakanlah kita memiliki distribusi kontinu dan kami telah menemukan campuran komponen Gaussian yang dekat dengan dalam variasi total: . Bisakah kita mengikat dengan ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Jika kita ingin mengamati $X\sim P_X$ melalui noise aditif independen $Y\sim P_Y$ (keduanya nyata, berkelanjutan), dan kami memiliki GMM $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ mana $\delta(P,Q)<\epsilon$ , maka apakah nilainya kecil: $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ yaitu apakah benar bahwa memperkirakan $X$ sampai $Y$ noise hampir sama sulitnya dengan memperkirakan $\hat{X}$ melalui $\hat{Y}$ noise?
Bisakah Anda melakukannya untuk model kebisingan non-aditif seperti kebisingan Poisson?

Ulasan literatur saya (singkat) sejauh ini baru saja muncul tutorial yang sangat diterapkan. Adakah yang punya referensi yang menunjukkan dengan ketat dalam kondisi apa kita dibenarkan menggunakan model campuran?

probability normal-distribution references gaussian-mixture information-theory enthdegree
sumber

Himpunan GMM padat dalam himpunan distribusi dalam topologi yang lemah (sesuai dengan konvergensi dalam distribusi); lihat misalnya di sini . Saya tidak yakin apakah pernyataan pertama Anda memegang, meskipun itu pasti akan memerlukan memungkinkan komponen nol-varians dalam campuran untuk menangani setiap massa titik di . Saya juga skeptis tentang poin kedua, lagi karena masalah titik massa.

P

$P$

Dougal

Poin bagus, saya sudah menentukan semuanya harus kontinu

enthdegree

Anda mungkin lebih beruntung melihat literatur tentang estimasi kepadatan kernel dengan kernel Gaussian. Karena Anda memiliki campuran Gaussians dengan satu per sampel, karena jumlah sampel meningkat, apakah Anda mendapatkan penduga yang tidak bias dan konsisten dari distribusi? Saya pikir jawabannya adalah ya, tetapi tidak dapat segera menemukan referensi.

Greg Ver Steeg

@enthdegree: Pertanyaan yang sangat bagus. Karena Anda ingin menggunakan topologi yang kuat (KL divergensi dan variasi total), jawaban umum untuk dua poin pertama Anda adalah tidak: misalnya, pertimbangkan distribusi berekor lemak; KL untuk setiap campuran gaussian terbatas tidak terbatas (saya cukup yakin ini bekerja, meskipun tidak 100%). Tetapi ini mengarah pada pertanyaan yang jauh lebih menarik, untuk subclass mana dari distribusi probabilitas yang akan diterapkan oleh semua poin Anda? Saya tidak tahu jawabannya tetapi tampaknya sangat menarik. Dugaan saya mungkin hampir semua distribusi probabilitas.

Guillaume Dehaene

Saya mengambil kelas dengan buku ini. Link Ini melakukan beberapa latar belakang yang layak pada fundamental.

EngrStudent

Jawaban:

Dalam ekonometrik, di mana konteksnya adalah distribusi campuran koefisien dalam model logit, referensi standar adalah: MODEL MNL CAMPURAN UNTUK RESPON BISNIS DANIEL MCFADDEN DAN KERETA KENNETH, JURNAL ECONOMETRICS, J. Appl. Econ. 15: 447-470 (2000).

Tim
sumber

Sehubungan dengan pertanyaan Anda:

Untuk masalah Bayesian yang sangat mirip dari campuran Prosesauschaus gaussians, saya mengerti jawabannya adalah ya. Ghosal (2013) .
Ketika saya menghadiri beberapa pembicaraan tentang topik ini, sepertinya kemajuan telah dibuat terutama menggunakan perbedaan KL. Lihat slide Harry van Zanten .
Saya tidak jelas. Namun, ini tampak seperti masalah pemisahan sumber ( dikenal). Ini umumnya jauh lebih sulit daripada pemodelan campuran saja. Khususnya untuk kasus sederhana Anda tidak akan dapat mengidentifikasi sebenarnya $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ dan karena simetri distribusi sekitar nol. $Y$
Lihat slide keempat yang ditautkan di atas, ada daftar model Bayesian yang jaminan konvergensinya berlaku.

dugaan
sumber

Ini jawaban parsial.

Say adalah kelas dari semua campuran Gaussian dengan komponen. Untuk setiap distribusi kontinu pada real, apakah kami dijamin bahwa ketika tumbuh, kami dapat memperkirakan dengan GMM dengan kerugian yang dapat diabaikan dalam artian relatif entropi? Yaitu, apakah $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

No Anda hanya bisa berharap bahwa KL divergensi kecil jika Anda tahu bahwa 'ekor s adalah akhirnya dari urutan yang sama seperti ' s. Ini tidak benar secara umum. Tidaklah sulit untuk melihat bahwa untuk Cauchy maka untuk , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Diperlukan lebih banyak kondisi pada untuk mengatakan itu. $P$

Katakanlah kita memiliki distribusi kontinu dan kami telah menemukan campuran komponen Gaussian yang dekat dengan dalam variasi total: . Bisakah kita mengikat dengan ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Tidak. Contoh yang sama di atas berlaku.

Jika kita ingin mengamati melalui noise aditif independen (keduanya nyata, berkelanjutan), dan kami memiliki GMM mana , maka apakah nilainya kecil: yaitu apakah benar bahwa memperkirakan sampai noise hampir sama sulitnya dengan memperkirakan melalui noise? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

Saya tidak tahu Jika memiliki mean dan varian hingga maka MMSE adalah dan (derivasi sederhana di sini ). Dengan asumsi ini, tujuannya adalah untuk menentukan apakahkecil ketika kecil. $X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$ Terkait

Saya belum dapat membuktikan ini, baik secara umum atau menggunakan struktur aditif tambahan yang kita asumsikan pada P, Q, atau menghasilkan contoh tandingan.

Bisakah Anda melakukannya untuk model kebisingan non-aditif seperti kebisingan Poisson?

Ini ambigu. Dalam konteks pertanyaan sebelumnya, jika pernyataan dalam jawaban itu dapat dibuktikan secara umum maka jawabannya adalah ya.

enthdegree
sumber