Saya tahu 3 metode untuk melakukan estimasi parameter, pendekatan ML, MAP dan Bayes. Dan untuk pendekatan MAP dan Bayes, kita perlu memilih prior untuk parameter, kan?
Katakanlah saya memiliki model ini , di mana α , β adalah parameter, untuk melakukan estimasi menggunakan MAP atau Bayes, saya membaca di buku bahwa kita sebaiknya memilih konjugat p sebelumnya ( α , β ) , yang merupakan probabilitas gabungan α , β , kan?
Saya punya 2 pertanyaan:
Apakah kita memiliki pilihan lain memilih yang sebelumnya selain yang konjugat ini?
Bisakah kita memilih prior untuk dan β masing-masing seperti p ( α ) dan p ( β ) , selain menempatkannya bersama-sama dalam satu sambungan?
bayesian
estimation
prior
alpukat
sumber
sumber
Jawaban:
Sebagaimana dinyatakan dalam komentar, distribusi sebelumnya mewakili keyakinan sebelumnya tentang distribusi parameter.
Ketika keyakinan sebelumnya benar-benar tersedia, Anda dapat:
Ketika tidak ada keyakinan eksplisit sebelumnya yang tersedia, Anda dapat:
sumber
Ada juga Bayes empiris. Idenya adalah untuk menyempurnakan sebelum data:
Meskipun ini mungkin tampak canggung pada awalnya, sebenarnya ada hubungan dengan panjang deskripsi minimum. Ini juga merupakan cara khas untuk memperkirakan parameter kernel dari proses Gaussian.
sumber
Untuk menjawab dua pertanyaan di atas secara langsung:
Anda memiliki pilihan lain untuk memilih prior non-konjugat selain dari konjugat. Masalahnya adalah bahwa jika Anda memilih prior non-konjugat, Anda tidak dapat membuat inferensi Bayesian yang tepat (sederhananya, Anda tidak dapat memperoleh posterior bentuk dekat). Sebaliknya, Anda perlu membuat perkiraan inferensi atau menggunakan metode pengambilan sampel seperti pengambilan sampel Gibbs, pengambilan sampel Penolakan, MCMC, dll. Untuk menurunkan Anda posterior. Masalah dengan metode pengambilan sampel adalah bahwa secara intuitif, itu seperti menggambar gambar gajah dalam kegelapan dengan menyentuhnya berulang kali ---- Anda mungkin bias dan tidak lengkap. Alasan orang memilih non-konjugat sebelum adalah karena kemungkinan tertentu, opsi konjugat sebelumnya sangat terbatas, atau untuk mengatakan, sebagian besar adalah non-konjugat.
Ya, Anda pasti bisa. Jika α dan β independen, yang merupakan kondisi idealis, Anda dapat memperoleh distribusi bersama mereka dengan p (α) p (β). Jika mereka tidak independen, Anda mungkin perlu mencari tahu probabilitas bersyarat dan melakukan integral untuk memperoleh distribusi bersama.
sumber