Apa varian dari campuran tertimbang dari dua gaussians?

Katakanlah saya memiliki dua distribusi normal A dan B dengan mean dan dan varians dan . Saya ingin mengambil campuran berbobot dari dua distribusi ini menggunakan bobot dan mana dan . Saya tahu bahwa rata-rata campuran ini adalah . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Apa perbedaannya?

Contoh konkret adalah jika saya tahu parameter untuk distribusi tinggi pria dan wanita. Jika saya memiliki ruangan yang terdiri dari 60% pria, saya dapat menghasilkan tinggi rata-rata yang diharapkan untuk seluruh ruangan, tetapi bagaimana dengan variansnya?

normal-distribution mixture JoFrhwld
sumber

Terminologi ulang: Campuran itu hanya memiliki mean dan varian; tidak masuk akal dalam mengkualifikasi ini sebagai "yang diharapkan," kecuali Anda mungkin mengisyaratkan bahwa dan harus dianggap sebagai variabel acak.

p

$p$

q

$q$

whuber

Saya tahu bahwa campuran dari dua distribusi gaussian dapat diidentifikasi. Tetapi apakah kedua distribusi memiliki eman yang sama? Yaitu: apakah campuran dari dua distribusi normal dengan cara yang sama dan standar deviasi yang berbeda dapat diidentifikasi? Ada makalah dalam konteks ini? Terima kasih sebelumnya

Ada pertanyaan serupa dengan jawaban (berurusan juga dengan COVARIANCES) di sini: math.stackexchange.com/q/195911/96547

hplieninger

Variansnya adalah momen kedua dikurangi kuadrat dari momen pertama, sehingga cukup untuk menghitung momen campuran.

Secara umum, distribusi yang diberikan dengan PDF dan konstan (non-acak) , PDF dari campuran tersebut adalah $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

dari yang berikut segera untuk setiap saat yang $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

Saya telah menulis untuk momen dari dan untuk momen dari . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Menggunakan rumus-rumus ini, varians dapat ditulis

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Secara ekivalen, jika varian diberikan sebagai , maka , memungkinkan varians dari campuran untuk ditulis dalam hal varian dan sarana komponennya sebagai $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

Dengan kata lain, ini adalah varians rata-rata (tertimbang) ditambah rata-rata kuadrat rata-rata dikurangi kuadrat dari rata-rata. Karena kuadrat adalah fungsi cembung, Ketidaksamaan Jensen menegaskan bahwa rata-rata kuadrat dapat tidak kurang dari kuadrat rata-rata rata-rata. Hal ini memungkinkan kita untuk memahami formula karena menyatakan varian campuran adalah campuran varian ditambah istilah non-negatif yang menghitung dispersi (tertimbang) sarana.

Dalam kasus Anda variansnya

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Kita dapat menafsirkan ini adalah campuran berbobot dari dua varian, , ditambah istilah koreksi (harus positif) untuk memperhitungkan pergeseran dari rata-rata individu relatif terhadap rata-rata campuran keseluruhan. $p_A\sigma_A^2 + p_B\sigma_B^2$

Kegunaan varian ini dalam menginterpretasikan data, seperti yang diberikan dalam pertanyaan, diragukan, karena distribusi campuran tidak akan Normal (dan mungkin jauh berbeda darinya, sejauh menunjukkan bimodalitas).

whuber
sumber

Secara khusus, mencatat bahwa , ekspresi terakhir Anda menyederhanakan menjadi .

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

Ilmari Karonen

Atau, jika kita melakukan memaksakan penjelasan probabilistik untuk kepadatan campuran (ada acara dari probabiity dan kondisional kepadatan diberikan adalah sedangkan bersyarat kepadatan diberikan adalah ), lalu var adalah jumlah dari rata-rata dari varian bersyarat ditambah dengan varian dari rata-rata bersyarat. Yang terakhir adalah RV diskrit dengan nilai dengan probabilitas dan

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$ dan ekspresi Anda dalam tanda kurung siku mudah dikenal sebagai .

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

Dilip Sarwate

@Neodyme Secara definisi, varians adalah momen kedua dikurangi rata-rata kuadrat. Oleh karena itu, momen kedua adalah varians plus mean kuadrat.

whuber

@Neodyme use .

E (X) = μ

$E(X)=\mu$

whuber

@Kiran Meskipun dalam beberapa kasus campuran mungkin terlihat Normal, itu tidak akan terjadi. Salah satu cara untuk melihatnya adalah dengan menghitung kelebihan kurtosis menggunakan rumus yang diberikan di sini. Ini akan menjadi nol kecuali semua standar deviasi sama - dalam hal ini "campuran" sebenarnya bukan campuran di tempat pertama.

whuber

Apa varian dari campuran tertimbang dari dua gaussians?

Jawaban: