Menempatkan prioritas pada parameter konsentrasi dalam proses Dirichlet

9

Sebagian besar ini adalah latar belakang, lewati sampai akhir jika Anda sudah cukup tahu tentang campuran proses Dirichlet . Misalkan saya pemodelan beberapa data berasal dari campuran proses Dirichlet, yaitu membiarkan dan tergantung pada F mengasumsikan Y i i i d ~ f ( y | θ ) F ( d θ ) .FD(αH)F

Yiiidf(y|θ)F(dθ).

Di sini dan α H adalah ukuran dasar sebelumnya. Ternyata jika untuk setiap pengamatan Y i , jika saya tahu laten terkait θ i , kemungkinan α dalam model ini adalah L ( α | t ) α t Γ ( α )α>0αHYiθiα manatadalah jumlah nilai yang berbeda dariθi(ukuran acakFhampir pasti terpisah). Escobar dan Baratmengembangkan skema berikut untuk pengambilan sampelαmenggunakan Gamma prior; pertama, mereka menulisπ(α|t)π(α)αtΓ(α)

L(α|t)αtΓ(α)Γ(α+n)
tθiFα mana B ( , ) adalah fungsi beta. Kemudian perhatikan bahwa jika kita memperkenalkan parameter laten X Beta ( α + 1 , n )
π(α|t)π(α)αtΓ(α)Γ(α+n)π(α)αt1(α+n)B(α+1,n)=π(α)αt1(α+n)01xα(1x)n1 dx,
B(,)XBeta(α+1,n) maka kemungkinan memiliki bentuk campuran distribusi Gamma dan menggunakan ini untuk menulis sampler Gibbs.

L(α|t)αtΓ(α)Γ(α+n)=αtΓ(n)Γ(α)Γ(α+n)Γ(n)=αtB(α,n)Γ(n)αt01xα1(1x)n1 dx,
XBeta(α,n)

αaa/b

π(α|t)αa+t2(α+n)ebα01xα(1x)n1 dx
X
π(α,x|t)αa+t2(α+n)ebαxα(1x)n1.
Beta(α+1,n)XG(a+t,blog(x))G(a+t1,blog(x))α

Beta(α,n)XG(a+t,blog(x))α

orang
sumber

Jawaban:

3

Saya tidak melihat bagaimana apa yang Anda tulis pada dasarnya berbeda dari Escobar dan Barat.

π(α|t)π(α)π(t|α)=π(α)L(α|t)π(α)αtΓ(α)Γ(α+n)π(α)αtΓ(α)Γ(n)Γ(α+n)=π(α)αtB(α,n)=π(α)αt1(α+n)B(α+1,n)
αB(α,n)=αΓ(α)Γ(n)Γ(α+n)=(αΓ(α))Γ(n)(α+n)(Γ(α+n)(α+n))=(α+n)Γ(α+1)Γ(n)Γ(α+n+1)=(α+n)B(α+1,n)
Γ(z+1)=zΓ(z)

Saya menduga mereka lebih suka formulasi mereka daripada milik Anda karena hanya memiliki istilah fungsi Beta, bukan produk Beta dan Gamma, tetapi saya bisa saja salah. Saya tidak cukup mengikuti bagian terakhir yang Anda tulis, bisakah Anda lebih eksplisit tentang skema pengambilan sampel Anda?

Daniel Johnson
sumber
Menambahkan detail tambahan dalam posting saya.
pria