Saya terus membaca tentang perlunya memeriksa autokorelasi di MCMC. Mengapa autokorelasi itu penting? Apa yang diukur dalam konteks MCMC?
sampling
autocorrelation
mcmc
Amelio Vazquez-Reina
sumber
sumber
Jawaban:
Autokorelasi adalah ukuran seberapa besar nilai suatu sinyal berkorelasi dengan nilai lain dari sinyal itu pada titik waktu yang berbeda. Dalam konteks MCMC, autokorelasi adalah ukuran seberapa independen sampel yang berbeda dari distribusi posterior Anda - autokorelasi yang lebih rendah menunjukkan hasil yang lebih independen.
Ketika Anda memiliki autokorelasi tinggi, sampel yang telah Anda ambil tidak secara akurat mewakili distribusi posterior dan karena itu tidak memberikan informasi yang bermakna untuk solusi untuk masalah tersebut. Dengan kata lain, autokorelasi yang lebih rendah berarti efisiensi yang lebih tinggi dalam rantai Anda dan perkiraan yang lebih baik. Aturan umum adalah bahwa semakin rendah autokorelasi Anda, semakin sedikit sampel yang Anda butuhkan agar metode menjadi efektif (tetapi itu mungkin terlalu menyederhanakan).
sumber
Pertama, dan yang paling jelas, jika autokorelasi tinggi maka N sampel tidak memberi Anda N informasi tentang distribusi Anda tetapi lebih sedikit dari itu. Ukuran Sampel Efektif (ESS) adalah salah satu ukuran seberapa banyak informasi yang benar-benar Anda dapatkan (dan merupakan fungsi dari parameter autokorelasi).
Terkait, autokorelasi memberi Anda sampel tidak representatif 'dalam jangka pendek'. Selain itu, semakin banyak autokorelasi di sana, semakin lama 'jangka pendek' itu. Untuk autokorelasi yang sangat kuat, jangka pendek mungkin merupakan sebagian kecil dari total sampel Anda. Pemulihan langsung yang biasa adalah parameterisasi ulang atau parameter pengambilan sampel yang Anda perkirakan saling terkait dalam blok daripada secara terpisah karena jika tidak mereka akan menghasilkan autokorelasi dalam rantai. Orang sering juga 'kurus', walaupun ada beberapa diskusi tentang seberapa bermanfaat hal ini dalam menyelesaikan masalah yang mendasarinya, misalnya di sini . Kass 1997 adalah diskusi informal tentang masalah ini, meskipun mungkin ada sesuatu yang lebih baru yang dapat direkomendasikan orang lain.
Singkatnya, rantai yang sangat berkorelasi otomatis membutuhkan waktu lebih lama dari kondisi awalnya hingga distribusi target yang Anda inginkan, sementara kurang informatif dan membutuhkan waktu lebih lama untuk mengeksplorasi distribusi itu ketika sampai di sana.
sumber