Menggambar sampel dari campuran terbatas dari distribusi normal?

Setelah beberapa langkah pembaruan Bayesian, saya dibiarkan dengan distribusi posterior bentuk campuran distribusi normal,

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$ Yaitu, parameter

θ

$\theta$ diambil dari distribusi yang PDFnya diberikan sebagai campuran tertimbang dari PDF normal, dan bukan jumlah RV normal. Saya ingin menggambar sampel

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$ untuk digunakan dalam perkiraan sampling yang penting dari posterior ini. Dalam praktiknya, penjumlahan atas

i

$i$ dapat memiliki sejumlah besar istilah, sehingga tidak praktis untuk memilih istilah

i

$i$ sesuai dengan bobot

{w_{i}}

$\{w_i\}$ dan kemudian menggambar

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . Apakah ada cara yang efisien untuk mengambil sampel dari posterior formulir ini?

monte-carlo probability Chris Granade
sumber

Apakah Anda benar-benar mencoba metode pemilihan lalu melempar? Pemilihan dapat dilakukan dengan cukup cepat dari langkah-langkah O (k).

dmckee --- ex-moderator kitten

Jika solusi Barron benar-benar tidak benar, dan Anda sebenarnya berarti "model campuran", bisakah Anda menggunakan istilah itu?

Neil G

Neil G: Saya bukan ahli statistik berdasarkan perdagangan, melainkan fisikawan yang terkadang perlu menggunakan statistik. Karena itu, saya tidak tahu istilah yang tepat untuk menggambarkan apa yang saya butuhkan. Saya bisa melanjutkan dan mengedit pertanyaan sekarang, untuk membuatnya lebih jelas bahwa PDF sedang dijumlahkan dan bukan RVs.

Chris Granade

@ ChrisGranade: Saya tidak mencoba untuk menjatuhkan Anda. Saya hanya ingin memastikan bahwa itu yang Anda maksud, dan menyarankan hasil edit.

Neil G

Mengapa tidak praktis untuk memilih berdasarkan bobot dan sampel dari distribusi seragam pada , lalu sampel ? Ini hanya lebih mahal daripada sampling distribusi normal tunggal, biaya tidak tergantung pada jumlah distribusi campuran dan tidak bergantung pada distribusi yang normal.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

Jed Brown

Jawaban:

Pada prinsipnya seseorang dapat memilih terlebih dahulu jumlah sampel yang akan diambil dari setiap sub-distribusi, kemudian mengunjungi setiap sub-distribusi hanya sekali dan menggambar dari jumlah poin.

Itu adalah

Temukan set acak sedemikian rupa sehingga dan bobotnya. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Saya percaya bahwa Anda melakukan ini dengan ~~menggambar distribusi Poisson distribusi~~ multinomial (lihat komentar) dari rata-rata untuk setiap sub-distribusi dan kemudian menormalkan jumlah ke . $w_i * n$ $n$

Pekerjaan di sini adalah $\mathcal{O}(k) * \mathcal{O}(n)$

Lalu lakukan

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

Pekerjaan di sini adalah $\mathcal{O}(n)$

Meskipun ini berarti Anda tidak mendapatkan secara acak. Jika diperlukan urutan acak, Anda harus mengacak undian (juga big ). $\mathcal{O}(n)$

Sepertinya langkah pertama mendominasi dalam menjalankan waktu dan urutan yang sama dengan algoritma naif, tetapi jika Anda yakin bahwa semua Anda dapat memperkirakan distribusi Poisson dengan distribusi Normal dan mempercepat langkah pertama. $w_i * n \gg 1$

dmckee --- mantan kucing moderator
sumber

Distribusi bukan distribusi Poisson jika diperbaiki, tetapi distribusi binomial.

n_{i}

$n_i$

n

$n$

Frédéric Grosshans

@ FrédéricGrosshans Uhm ... di sinilah saya mengakui kelemahan saya dalam hal probabilitas. Melihat saya pikir Anda mungkin benar. Saya tidak memiliki tautan untuk melempar distribusi binomial sembarang, tetapi wikipedia memiliki beberapa referensi . Ada juga hubungan antara Poisson dan Binomial yang akan saya klaim bertanggung jawab atas ketidakpastian saya. Ya, itulah tiketnya.

dmckee --- ex-moderator kitten

@dmckee: Jawaban yang bagus untuk menggambar dari model campuran, kecuali bahwa itu harus menjadi distribusi multinomial daripada distribusi Poisson pada langkah 1.

Neil G

Catatan: Versi asli dari pertanyaan ini bertanya tentang "jumlah distribusi normal yang berbobot" di mana jawaban berikut mungkin berguna. Namun, setelah sedikit diskusi yang baik tentang jawaban ini, jawaban oleh @ Geoff, dan pada pertanyaan itu sendiri, menjadi jelas pertanyaan itu benar-benar pada sampel "campuran distribusi normal" yang jawaban ini tidak berlaku.

Jumlah dari distribusi normal adalah distribusi normal, sehingga Anda dapat menghitung parameter dari distribusi tunggal ini dan kemudian cukup mengambil sampel dari itu. Jika kita menyebut distribusi itu maka, $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

Barron
sumber

Singkatnya, Chris menjumlahkan fungsi kepadatan probabilitas, bukan variabel acak.

Geoff Oxberry

Chris menginginkan PDF yang memiliki (setidaknya pada prinsipnya) banyak gundukan di dalamnya. Artinya, dia adalah jumlah dari PDF, bukan jumlah dari suatu jumlah.

dmckee --- ex-moderator kitten

Memang benar bahwa jumlah variabel acak terdistribusi normal itu sendiri merupakan variabel acak terdistribusi normal. Namun, jumlah distribusi normal bukanlah distribusi normal. Jadi jika dan , memang benar bahwa , tetapi . (Kredit diberikan ke @ChrisGranade untuk penjelasannya.)

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

Geoff Oxberry

@ dmckee: itu bukan "jumlah distribusi normal yang berbobot", itu "campuran distribusi normal".

Neil G

@Barron komentar tidak dianggap sebagai bagian penting dari halaman. Anda harus mengedit jawaban Anda untuk memasukkan inti dari komentar sehingga pembaca yang tidak melihat komentar tidak disesatkan.

David Ketcheson

Pembaruan : Jawaban ini salah, yang berasal dari kebingungan dalam terminologi (lihat rantai komentar di bawah untuk detailnya); Saya hanya meninggalkannya sebagai penunjuk jalan agar orang tidak mengirim ulang jawaban ini (selain Barron). Tolong jangan memilihnya naik atau turun.

Saya hanya akan menggunakan properti variabel acak untuk menguranginya menjadi variabel acak tunggal yang terdistribusi normal. The jumlah dari dua independen, variabel acak terdistribusi normal itu sendiri merupakan variabel acak , jadi jika dan , lalu $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

Juga, jika , maka $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Menggunakan kedua hasil ini digabungkan, lalu

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

Jadi dalam hal ini, Anda hanya perlu menarik sampel dari satu distribusi, yang seharusnya jauh lebih bisa ditelusuri.

Geoff Oxberry
sumber

Ini adalah solusi untuk masalah yang berbeda yang dapat dilihat dari fakta bahwa distribusi asli adalah multi-modal dan saran Anda adalah uni-modal.

Chris Ferrie

@ ChrisFerrie: Saya percaya Anda, tetapi berdasarkan notasi, saya bingung mengapa distribusi di atas multimodal, sedangkan jumlah dua variabel acak Gaussian independen tidak akan. Apa yang kulewatkan di sini?

Geoff Oxberry

Saya pikir kebingungannya adalah bahwa kita tidak melihat jumlah variabel acak, tetapi PDF yang merupakan jumlah dari banyak PDF. Ini tidak selalu sama, karena . Sebaliknya, PDF kita dapat dianggap meminggirkan variabel acak .

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Chris Granade

Ah, Anda sedang melihat jumlah PDF. Ya, itu adalah binatang yang sama sekali berbeda. Sekarang saya membaca pertanyaan lebih dekat, saya melihat apa yang Anda katakan, dan saya akan menghapus jawaban saya. Terima kasih!

Geoff Oxberry

Saya telah membatalkan penghapusan jawaban saya yang sebelumnya dihapus hanya untuk berfungsi sebagai pedoman bagi orang lain sehingga tidak ada orang lain yang menjawab pertanyaan ini seperti Barron dan saya. Harap jangan naik atau turun memilih jawaban saya lagi.

Geoff Oxberry