Mesin inferensi variabel

8

Setelah melakukan beberapa penelitian pada topik, saya telah melihat defisit mengejutkan paket inferensi dan perpustakaan yang bergantung pada pesan-lewat atau metode optimasi untuk Python dan R.

Sejauh pengetahuan saya, metode ini sangat berguna. Misalnya, untuk propagasi keyakinan Bayes Network (terarah, asiklik) saja harus mampu memberikan jawaban yang tepat. Namun, sebagian besar perangkat lunak inferensi yang tersedia online (mis. STAN, BUGS, PyMC) mengandalkan metode MCMC.

Dalam kasus Python, sejauh yang saya ketahui, baik PyMC, scikit-learn atau statsmodels tidak menyertakan algoritma inferensi variasional seperti penyebaran kepercayaan, metode penyampaian pesan atau salah satu variannya.

Mengapa demikian? Apakah metode ini kurang digunakan dalam praktek karena mereka terlihat tidak sekuat atau generik rekan MCMC mereka? atau Apakah itu hanya masalah kurangnya tenaga kerja dan waktu?

r python bayes variational-bayes Amelio Vazquez-Reina
sumber
Mengapa memilih dekat?
Amelio Vazquez-Reina
Mungkin karena pertanyaan Anda tampaknya tentang perangkat lunak daripada statistik atau pembelajaran mesin. Jika Anda mengedit untuk membuatnya sangat jelas, mana dari topik CV yang Anda ajukan pertanyaan tentang (yaitu mengapa itu bukan 'hanya pertanyaan perangkat lunak') suara dekat cenderung untuk berhasil (dan bahkan jika itu berhasil, jika Anda sunting untuk memperjelas, kemungkinan besar akan dibalik dengan pemilihan kembali). Jadi, jika pertanyaan Anda jelas terlihat sebagai pertanyaan "jaringan kepercayaan" atau "inferensi variasional" (bahkan jika itu juga melibatkan perangkat lunak), mungkin itu boleh saja.
Glen_b -Reinstate Monica
@Glen_b terima kasih. Itu masuk akal, saya mengerti. Saya telah memperbarui pertanyaan. Semoga itu lebih menempatkannya dalam ruang lingkup situs.
Amelio Vazquez-Reina
1
Itu mungkin cukup - jika saya belum memilih untuk tetap terbuka, saya akan memiliki sedikit kekhawatiran tentang melakukannya sekarang. Di sisi lain, beberapa orang jauh lebih ketat tentang di mana mereka menarik garis antara 'ini adalah statistik / pertanyaan ML' dan 'ini adalah pertanyaan perangkat lunak' daripada saya. Anda tidak boleh mengambil suara dekat dengan cara apa pun secara pribadi, bahkan jika itu akhirnya ditutup atau dipindahkan ke situs SE lain; ini sebagian cara kerja situs tersebut.
Glen_b -Reinstate Monica
Ini pada topik, berharap akan ada yang mengambil di beberapa titik.
Dugaan

Jawaban:

2

Sudahkah Anda memandang Edward ? The Inference API mendukung antara lain Variasional inferensi:

  • Inferensi variasional kotak hitam
  • Inferensi variasional stokastik
  • Penyandi-otomatis variasi
  • Divergensi KL inklusif: KL(p∥q)
ruoho ruotsi
sumber
Terima kasih! Ya, saya benar-benar mengujinya baru-baru ini. Saya pikir ini sangat baru dan tidak ada ketika saya bertanya pada Q. Baik untuk memilikinya di utasnya!
Amelio Vazquez-Reina
2
Bagaimana Anda menemukan bekerja dengan Edward? Seperti apa yang Anda pikirkan? apakah itu memenuhi kebutuhan Anda?
ruoho ruotsi