Kapan orang akan menggunakan sampel Gibbs alih-alih Metropolis-Hastings?

Ada berbagai jenis algoritma MCMC:

• Metropolis-Hastings
• Gibbs
• Pentingnya / penolakan sampel (terkait).

Mengapa orang menggunakan sampling Gibbs alih-alih Metropolis-Hastings? Saya menduga ada kasus-kasus di mana kesimpulan lebih mudah ditelusuri dengan sampling Gibbs daripada dengan Metropolis-Hastings, tetapi saya tidak jelas secara spesifik.

Pertama, izinkan saya mencatat [agak pedantis] itu

Ada beberapa jenis algoritma MCMC: Metropolis-Hastings, Gibbs, sampel penting / penolakan (terkait).

$f$$\omega$$f$$f$$f$

Kedua, pertanyaannya

Mengapa seseorang pergi dengan Gibbs mengambil sampel alih-alih Metropolis-Hastings? Saya menduga ada kasus-kasus di mana kesimpulan lebih mudah ditelusuri dengan sampling Gibbs daripada dengan Metropolis-Hastings

tidak memiliki jawaban karena sampler Metropolis-Hastings bisa berupa apa saja, termasuk sampler Gibbs. Saya menjawab secara agak terperinci untuk pertanyaan sebelumnya dan yang serupa. Tapi izinkan saya menambahkan beberapa poin jika berlebihan di sini:

Alasan utama mengapa sampling Gibbs diperkenalkan adalah untuk mematahkan kutukan dimensi (yang berdampak baik penolakan dan sampel penting) dengan menghasilkan serangkaian simulasi dimensi rendah yang masih menyatu dengan target yang tepat. Meskipun dimensi target berdampak pada kecepatan konvergensi. Sampler Metropolis-Hastings dirancang untuk membuat rantai Markov (seperti pengambilan sampel Gibbs) berdasarkan proposal (seperti sampel kepentingan dan penolakan) dengan mengoreksi kepadatan yang salah melalui langkah penerimaan-penolakan. Tetapi poin penting adalah bahwa mereka tidak menentang: yaitu, pengambilan sampel Gibbs mungkin memerlukan langkah-langkah Metropolis-Hastings ketika menghadapi target bersyarat kompleks jika dimensi rendah, sementara proposal Metropolis-Hastings dapat dibangun berdasarkan perkiraan untuk kondisi penuh (Gibbs) penuh. Dalam definisi formal, Pengambilan sampel Gibbs adalah kasus khusus dari algoritma Metropolis-Hasting dengan kemungkinan penerimaan satu. (Omong-omong, saya keberatan dengan penggunaankesimpulan dalam kutipan itu, karena saya akan memesannya untuk keperluan statistik , sedangkan sampler tersebut adalah perangkat numerik .)

Biasanya, pengambilan sampel Gibbs [dipahami sebagai menjalankan serangkaian simulasi kondisional dimensi rendah] disukai dalam pengaturan di mana dekomposisi menjadi kondisi seperti itu mudah diimplementasikan dan cepat dijalankan. Dalam pengaturan di mana dekomposisi seperti itu mendorong multimodality dan karenanya kesulitan untuk berpindah di antara mode (model variabel laten seperti model campuran datang ke pikiran), menggunakan proposal yang lebih global dalam algoritma Metropolis-Hasting dapat menghasilkan efisiensi yang lebih tinggi. Tetapi kelemahannya adalah memilih distribusi proposal dalam algoritma Metropolis-Hasting.