Tutorial dan referensi sampling Gibbs yang bagus

29

Saya ingin mempelajari cara kerja Gibbs Sampling dan saya mencari dasar yang bagus untuk makalah menengah. Saya memiliki latar belakang ilmu komputer dan pengetahuan statistik dasar.

Adakah yang sudah membaca materi bagus? dimana kamu belajar

Terima kasih

references gibbs fabrizioM
sumber
2
googling "Pengambilan sampel Gibbs" bukanlah cara yang buruk untuk mendapatkan berbagai pandangan tentang subjek tersebut. Saya pikir ini cara yang baik untuk memulai, karena Anda cenderung mendekatinya dengan "pikiran skeptis" - Anda tidak dapat menerima kata googles begitu saja, jadi Anda perlu menemukan berbagai pandangan. Tentu saja Anda mungkin memerlukan sumber yang memiliki reputasi baik di tahap selanjutnya ketika Anda mencoba menerapkannya. Tetapi memulai dengan "sumber yang memiliki reputasi baik" tidak selalu merupakan ide terbaik, karena mereka mungkin cukup terikat pada cara tertentu dalam melakukan sesuatu - yaitu mereka tahu "jalan yang benar" dan "semua yang lain salah atau tidak efektif".
probabilityislogic
3
(+1) Pertanyaan yang mudah dijawab oleh Googling biasanya tidak diterima, tetapi IMO yang satu ini mencoba memanfaatkan kebijaksanaan kolektif suatu komunitas dengan cara yang tidak bisa dilakukan peringkat Google. Akan menarik untuk melihat sumber apa yang benar-benar bermanfaat bagi orang untuk mempelajari materi ini.
whuber
4
Itulah masalahnya. Google mengembalikan terlalu banyak hasil dan tidak semua makalah atau tutorial cukup jelas.
fabrizioM

Jawaban:

19

Saya akan mulai dengan:

Casella, George; George, Edward I. (1992). " Menjelaskan sampler Gibbs ". The American Statistician 46 (3): 167–174. ( PDF GRATIS )

Abstrak : Algoritma intensif komputer, seperti sampler Gibbs, telah menjadi alat statistik yang semakin populer, baik dalam pekerjaan terapan maupun teoretis. Namun, sifat-sifat algoritme tersebut terkadang tidak jelas. Di sini kami memberikan penjelasan sederhana tentang bagaimana dan mengapa sampler Gibbs bekerja. Kami secara analitik membangun propertinya dalam kasing sederhana dan memberikan wawasan untuk kasing yang lebih rumit. Ada juga sejumlah contoh.

Ahli Statistik Amerika seringkali merupakan sumber yang baik untuk artikel pengantar pendek (ish) yang tidak mengasumsikan pengetahuan sebelumnya tentang topik tersebut, meskipun mereka menganggap Anda memiliki latar belakang dalam probabilitas dan statistik yang secara wajar dapat diharapkan dari seorang anggota Amerika. Asosiasi Statistik .

onestop
sumber
12

Salah satu artikel online yang benar-benar membantu saya memahami Gibbs Sampling adalah estimasi Parameter untuk analisis teks oleh Gregor Heinrich. Ini bukan tutorial sampel Gibbs umum tetapi membahasnya dalam hal alokasi dirichlet laten, model Bayesian yang cukup populer untuk pemodelan dokumen. Ini masuk ke matematika secara rinci adil.

Salah satu yang masuk ke detail matematis yang lebih lengkap adalah Gibbs Sampling untuk yang belum tahu . Dan maksud saya lengkap karena menganggap Anda tahu beberapa kalkulus multivarian dan kemudian menjabarkan setiap langkah dari titik itu. Jadi, sementara ada banyak matematika, tidak ada yang maju.

Saya berasumsi ini akan lebih berguna bagi Anda daripada sesuatu yang menghasilkan hasil yang lebih maju, seperti yang membuktikan mengapa sampling Gibbs menyatu dengan distribusi yang benar. Referensi yang saya tunjukkan tidak membuktikan ini.

JasonMond
sumber
2

Buku Monte Carlo Strategies in Scientific Computing adalah sumber yang bagus. Itu memang menangani hal-hal dengan cara yang ketat secara matematis, tetapi Anda dapat dengan mudah melewati bagian matematika yang tidak menarik minat Anda dan masih mendapatkan banyak saran praktis dari itu. Secara khusus, itu melakukan pekerjaan yang baik untuk mengikat sampel Metropolis-Hastings dan Gibbs, yang sangat penting. Dalam sebagian besar aplikasi, Anda harus menggambar dari distribusi posterior menggunakan sampling Gibbs, dan mengetahui bagaimana itu sesuai dengan logika Metropolis secara umum sangat membantu.

Ely
sumber