Inferensi Variasi dalam bahasa Inggris sederhana

Setelah menonton video di youtube, saya merasa seperti saya tidak dapat benar-benar mendefinisikan inferensi variasi apa. Saya dapat mengikuti prosedur saat saya menonton video ceramah tentang hal itu. Tetapi sulit untuk mendefinisikan apa yang sebenarnya. Berharap untuk mendengarnya.

Tidak berdasarkan pengetahuan saya, tetapi inilah makalah (dalam bahasa Inggris yang cukup sederhana) yang menurut saya sangat relevan dengan pertanyaan: Blei, Kucukelbir & McAuliffe 2016. Inferensi Variasi: A Review for Statisticians . https://arxiv.org/abs/1601.00670

Dari abstrak:

Salah satu masalah inti dari statistik modern adalah memperkirakan kepadatan probabilitas yang sulit dihitung. Masalah ini sangat penting dalam statistik Bayesian, yang membingkai semua kesimpulan tentang jumlah yang tidak diketahui sebagai perhitungan yang melibatkan kerapatan posterior. Dalam tulisan ini, kami meninjau inferensi variasional (VI), metode dari pembelajaran mesin yang mendekati kepadatan probabilitas melalui optimasi. VI telah digunakan dalam banyak aplikasi dan cenderung lebih cepat daripada metode klasik, seperti rantai sampel Monte Carlo. Gagasan di balik VI adalah pertama-tama menempatkan keluarga kepadatan dan kemudian menemukan anggota keluarga yang dekat dengan target. Kedekatan diukur dengan perbedaan Kullback-Leibler. Kami meninjau ide-ide di balik inferensi variasional bidang-rata, membahas kasus khusus VI yang diterapkan pada model keluarga eksponensial, menyajikan contoh lengkap dengan campuran Bayesian dari Gaussians, dan mendapatkan varian yang menggunakan optimasi stokastik untuk meningkatkan data besar. Kami membahas penelitian modern dalam VI dan menyoroti masalah terbuka penting. VI sangat kuat, tetapi belum dipahami dengan baik . Harapan kami dalam menulis makalah ini adalah untuk mengkatalisasi penelitian statistik pada kelas algoritma ini.

Mereka juga menawarkan panduan kapan para ahli statistik harus menggunakan pengambilan sampel rantai Markov Monte Carlo dan ketika inferensi variasional (lihat paragraf Membandingkan inferensi variasional dan MCMC dalam artikel).