Dirichlet posterior

11

Saya punya pertanyaan tentang distribusi posterior Dirichlet. Diberi fungsi multinomial likelihood, diketahui bahwa posterior adalah , di mana adalah berapa kali kita telah melihat observasi .N i i t hDir(αi+Ni)Niith

Apa yang terjadi jika kita mulai mengurangi s untuk data tetap yang diberikan ? Tampaknya dari bentuk posterior bahwa setelah beberapa titik s akan berhenti mempengaruhi posterior sama sekali. Tapi tidak akan lebih tepat untuk mengatakan bahwa ketika kita membuat s sangat kecil bergerak massa probabilitas untuk sudut-sudut simplex dan posterior harus terpengaruh untuk tingkat yang lebih besar? Pernyataan apa yang benar?D α ααDαα

Maks
sumber

Jawaban:

6

Bagi saya cara yang paling membantu untuk membayangkan efek dari parameter untuk Dirichlet adalah guci Polya. Bayangkan Anda memiliki guci yang berisi n warna yang berbeda, dengan dari setiap warna di guci (perhatikan bahwa Anda dapat memiliki pecahan bola). Anda meraih dan menggambar bola, lalu menggantinya dengan yang lain dengan warna yang sama. Anda kemudian ulangi ini dalam jumlah tak terbatas dan proporsi akhir merupakan sampel dari distribusi Dirichlet. Jika Anda memiliki nilai yang sangat kecil untuk , harus jelas bahwa bola yang ditambahkan akan sangat membebani Anda ke arah warna undian pertama, yang menjelaskan mengapa massa bergerak ke sudut simpleks. Jika Anda memiliki , maka pengundian pertama itu tidak terlalu memengaruhi proporsi akhir. α α sαiααs

Apa yang dikatakan posterior Anda pada dasarnya adalah bahwa Anda mulai dengan bola warna , melakukan banyak pengundian, dan kebetulan menggambar warna itu kali. Anda kemudian dapat membayangkan sampel dari posterior yang dihasilkan dengan proses yang sama dan membayangkan efek awal bersama dengan jumlah akan ada pada sampel tersebut. Jelas nilai kecil untuk akan memiliki lebih sedikit efek pada posterior. i N i α N ααiiNiαNα

Cara lain untuk memikirkannya adalah bahwa parameter untuk Dirichlet Anda mengontrol seberapa besar Anda mempercayai data Anda. Jika Anda memiliki nilai kecil , maka Anda mempercayai data Anda hampir seluruhnya. Sebaliknya, jika Anda memiliki nilai besar untuk , maka Anda kurang mempercayai data Anda dan akan memperlancar posterior sedikit lebih.ααα

Singkatnya, Anda benar untuk mengatakan bahwa ketika Anda mengurangi , mereka akan memiliki lebih sedikit efek pada posterior, tetapi pada saat yang sama sebelumnya akan memiliki sebagian besar massanya di sudut-sudut simpleks.αs

jlund3
sumber