Hubungan antara jumlah RV Gaussian dan Campuran Gaussian

13

Saya tahu bahwa sejumlah orang Gaussi adalah orang Gaussian. Jadi, bagaimana campuran dari orang-orang Gauss berbeda?

Maksud saya, campuran Gaussians hanya sejumlah Gaussians (di mana masing-masing Gaussian dikalikan dengan koefisien pencampuran masing-masing) kan?

normal-distribution random-variable mixture gaussian-mixture njk
sumber

7

Campuran gaussians adalah jumlah bobot kepadatan gaussian , bukan jumlah bobot variabel gaussian acak.

probabilityislogic

7

Jumlah tertimbang dari variabel acak Gaussian adalah variabel acak Gaussian : if lalu $X_1,\ldots,X_p$

\sum_{saya = 1}^{hal} β_{saya} X_{saya}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, ..., X_{hal}) \sim N_{hal} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, ..., X_{hal}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

Campuran kepadatan Gaussian memiliki kepadatan yang diberikan sebagai jumlah bobot kepadatan Gaussian : yang hampir selalu tidak sama dengan kepadatan Gaussian. Lihat misalnya estimasi kerapatan campuran biru di bawah ini (di mana pita kuning adalah ukuran variabilitas campuran yang diperkirakan):

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{i}, σ_{i})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ masukkan deskripsi gambar di sini

[Sumber: Marin dan Robert, Bayesian Core , 2007]

Sebuah variabel acak dengan kepadatan ini, dapat direpresentasikan sebagai mana dan adalah Multinomial dengan : $X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

Xi'an
sumber

3

Dan berikut ini adalah beberapa kode R untuk melengkapi jawaban Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

masukkan deskripsi gambar di sini

Alberto
sumber

1

Distribusi jumlah variabel acak independen adalah konvolusi distribusinya. Seperti yang telah Anda catat, konvolusi dua Gaussi kebetulan Gaussian.

Distribusi model campuran melakukan rata - rata tertimbang dari distribusi RV. Sampel dari model campuran (hingga) dapat diproduksi dengan membalik koin (atau menggulung dadu) untuk menentukan distribusi yang akan diambil: Katakanlah saya memiliki dua RVs dan saya ingin menghasilkan RV yang distribusinya rata-rata dari dan Jika saya melempar koin, biarkan . jika saya mendarat ekor, biarkan . $X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

enthdegree
sumber

Terima kasih enthdegree. Saya tahu bahwa contoh berikut secara inheren salah, tetapi mungkin tetap menarik: katakanlah kita memiliki jenis "campuran" khusus (jika kita masih dapat menyebutnya "campuran") dari 2 kepadatan Gaussian, di mana koefisien pencampuran keduanya sesuai dengan 1, apakah itu sama dengan jumlah RV Gaussian?

njk

Tidak, meskipun campuran Anda akan menjadi gaussian dalam kasus ini, jika Anda menambahkan dua RV dengan distribusi komponen, jumlah RV akan memiliki lebih banyak varian daripada RV campuran.

enthdegree

@enthdegree Bagaimana campuran rv gaussian? Itu masih bisa menjadi bimodal jika caranya tidak bersamaan, kan?

belajar

@ belajar, Ya Anda benar. Ketika saya menulis prev. komentar untuk beberapa alasan saya berasumsi mereka memiliki rata-rata yang sama.

enthdegree

Hubungan antara jumlah RV Gaussian dan Campuran Gaussian

Jawaban: