Sebagian besar ini adalah latar belakang, lewati sampai akhir jika Anda sudah cukup tahu tentang campuran proses Dirichlet . Misalkan saya pemodelan beberapa data berasal dari campuran proses Dirichlet, yaitu membiarkan dan tergantung pada F mengasumsikan Y i i i d ~ ∫ f ( y | θ ) F ( d θ ) .F∼ D ( α H)F
Ysaya∼i i d∫f( y| θ)F( dθ ) .
Di sini dan α H adalah ukuran dasar sebelumnya. Ternyata jika untuk setiap pengamatan Y i , jika saya tahu laten terkait θ i , kemungkinan α dalam model ini adalah L ( α | t ) ∝ α t Γ ( α )α > 0α HYsayaθsayaα manatadalah jumlah nilai yang berbeda dariθi(ukuran acakFhampir pasti terpisah). Escobar dan Baratmengembangkan skema berikut untuk pengambilan sampelαmenggunakan Gamma prior; pertama, mereka menulisπ(α|t)∝π(α)αtΓ(α)
L ( α | t ) ∝ αtΓ ( α )Γ ( α + n )
tθsayaFα
mana
B ( ⋅ , ⋅ ) adalah fungsi beta. Kemudian perhatikan bahwa jika kita memperkenalkan parameter laten
X ∼ Beta ( α + 1 , n )π(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫10xα(1−x)n−1 dx,
B(⋅,⋅)X∼Beta(α+1,n) maka kemungkinan memiliki bentuk campuran distribusi Gamma dan menggunakan ini untuk menulis sampler Gibbs.
L(α|t)∝αtΓ(α)Γ(α+n)=αtΓ(n)Γ(α)Γ(α+n)Γ(n)=αtB(α,n)Γ(n)∝αt∫10xα−1(1−x)n−1 dx,
X∼Beta(α,n)
αaa/b
π(α|t)∝αa+t−2(α+n)e−bα∫10xα(1−x)n−1 dx
Xπ(α,x|t)∝αa+t−2(α+n)e−bαxα(1−x)n−1.
Beta(α+1,n)XG(a+t,b−log(x))G(a+t−1,b−log(x))α
Beta(α,n)XG(a+t,b−log(x))α