Dalam teorema Bayesian, , dan dari buku yang saya baca, disebut sebagai kemungkinan , tapi saya menganggap itu hanya probabilitas bersyarat dari diberikan , kan? p(x|y)
The maksimum estimasi kemungkinan mencoba untuk memaksimalkan , kan? Jika demikian, saya sangat bingung, karena keduanya variabel acak, bukan? Untuk memaksimalkan hanya untuk mencari tahu yang ? Satu lagi masalah, jika 2 variabel acak ini independen, maka hanya , bukan? Maka memaksimalkan adalah memaksimalkan .x , y p ( x | y ) p(x|y)p(x)p(x|y)p(x)
Atau mungkin, adalah fungsi dari beberapa parameter , yaitu , dan MLE mencoba menemukan yang dapat memaksimalkan ? Atau bahkan bahwa sebenarnya adalah parameter dari model, bukan variabel acak, memaksimalkan kemungkinannya adalah untuk menemukan ?θ p ( x | y ; θ ) θ p ( x | y ) y y
MEMPERBARUI
Saya seorang pemula dalam pembelajaran mesin, dan masalah ini adalah kebingungan dari hal-hal yang saya baca dari tutorial pembelajaran mesin. Ini dia, diberikan dataset yang diamati , nilai targetnya adalah , dan saya mencoba menyesuaikan model dengan dataset ini. , jadi saya berasumsi bahwa, mengingat , memiliki bentuk distribusi bernama parameterized oleh , yaitu , dan saya menganggap ini adalah probabilitas posterior , kan?{ y 1 , y 2 , . . . , y n } x y W θ p ( y | x ; θ )
Sekarang untuk memperkirakan nilai , saya menggunakan MLE. OK, inilah masalah saya, saya pikir kemungkinannya adalah , kan? Memaksimalkan kemungkinan berarti saya harus memilih hak dan ?p ( x | y ; θ ) θ y
Jika pemahaman saya tentang kemungkinan salah, tolong tunjukkan saya cara yang benar.
sumber
Jawaban:
Saya pikir kesalahpahaman inti berasal dari pertanyaan yang Anda ajukan di paruh pertama pertanyaan Anda. Saya mendekati jawaban ini sebagai kontras dengan paradigma inferensi MLE dan Bayesian. Diskusi MLE yang sangat mudah didekati dapat ditemukan di Bab 1 dari Gary King, Unifying Metodologi Politik Analisis Data Bayesian Gelman dapat memberikan rincian tentang sisi Bayesian.
Kemungkinannya adalah probabilitas bersyarat. Untuk sebuah Bayesian, rumus ini menggambarkan distribusi parameter diberikan Data dan sebelum . Tetapi karena notasi ini tidak mencerminkan maksud Anda, untuk selanjutnya saya akan menggunakan ( , ) untuk parameter dan untuk data Anda.x p ( y ) θ y xy x p ( y) θ y x
Tetapi pembaruan Anda menunjukkan bahwa diamati dari beberapa distribusi . Jika kami menempatkan data dan parameter kami di tempat yang tepat dalam aturan Bayes, kami menemukan bahwa parameter tambahan ini tidak menimbulkan masalah bagi orang Bayes: p ( x | θ , y ) p ( θ | x , y ) = p ( x , y | θ ) p ( θ )x p ( x | θ , y)
Saya percaya ungkapan ini adalah apa yang Anda cari dalam pembaruan Anda.
Iya. MLE berpendapat bahwa Yaitu, ia memperlakukan istilah sebagai tidak dikenal (dan tidak diketahui) konstan. Sebaliknya, inferensi Bayesian memperlakukan sebagai konstanta normalisasi (sehingga probabilitas dijumlahkan / diintegrasikan ke dalam kesatuan) dan sebagai informasi kunci: informasi sebelumnya. Kita dapat menganggap sebagai cara untuk menjatuhkan penalti pada prosedur optimalisasi untuk "berkeliaran terlalu jauh" dari wilayah yang kita anggap paling masuk akal.p ( θ , y )
Dalam MLE, diasumsikan sebagai kuantitas tetap yang tidak diketahui tetapi dapat disimpulkan, bukan variabel acak. Bayesian inference memperlakukan sebagai variabel acak. Bayesian menempatkan inferensi probabilitas fungsi kepadatan di dan mendapat fungsi kepadatan probabilitas keluar , daripada titik ringkasan dari model, seperti dalam MLE. Artinya, inferensi Bayesian melihat kisaran penuh nilai parameter dan probabilitas masing-masing. MLE berpendapat bahwa adalah ringkasan yang memadai dari data yang diberikan model. q qθ^ θ θ^
sumber
Biasanya adalah fungsi dari parameter y . Pertimbangkan reformulasi teorema Bayes berikut:p ( x | y) y
Atau bahkan lebih eksplisit (berkenaan dengan gagasan kemungkinan):
Untuk contoh nyata, pertimbangkan modelnya
sumber
sumber
Dari manual referensi STAN:
sumber