Jika Anda menggunakan estimasi titik yang memaksimalkan

Jika seseorang berkata

"Metode itu menggunakan MLE estimasi titik untuk parameter yang memaksimalkan , oleh karena itu sering, dan lebih lanjut itu bukan Bayesian."$\mathrm{P}(x|\theta)$

apakah kamu setuju?

• Pembaruan di latar belakang : Saya baru-baru ini membaca sebuah makalah yang mengaku sering. Saya tidak setuju dengan klaim mereka, paling baik saya merasa itu ambigu. Makalah ini tidak secara eksplisit menyebutkan MLE (atau MAP , dalam hal ini). Mereka hanya mengambil estimasi titik, dan mereka hanya melanjutkan seolah-olah estimasi titik ini benar. Mereka tidak melakukannyalakukan analisis distribusi sampling dari penaksir ini, atau semacamnya; modelnya cukup kompleks dan oleh karena itu analisis seperti itu mungkin tidak mungkin. Mereka juga tidak menggunakan kata 'posterior'. Mereka hanya mengambil estimasi titik ini pada nilai nominal dan melanjutkan ke topik utama mereka yang menarik - menyimpulkan data yang hilang. Saya tidak berpikir ada sesuatu dalam pendekatan mereka yang menunjukkan apa filosofi mereka. Mereka mungkin bermaksud untuk sering (karena mereka merasa berkewajiban untuk memakai filosofi mereka di lengan baju mereka), tetapi pendekatan mereka yang sebenarnya cukup sederhana / nyaman / malas / ambigu. Saya sekarang cenderung mengatakan bahwa penelitian itu tidak benar-benar memiliki filosofi di baliknya; alih-alih saya pikir sikap mereka lebih pragmatis atau nyaman:

  "Saya telah mengamati data, , dan saya ingin memperkirakan beberapa data yang hilang, z . Ada parameter θ yang mengontrol hubungan antara z dan x . Saya tidak terlalu peduli tentang θ kecuali sebagai sarana untuk mencapai tujuan. Jika saya memiliki perkiraan untuk θ itu akan membuat lebih mudah untuk memprediksi z dari x saya akan memilih estimasi titik. θ karena itu lebih mudah, khususnya saya akan memilih θ yang memaksimalkan P ( x | θ ) ."$x$$z$$\theta$$z$$x$$\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

Dalam metode Bayesian, peran data dan parameter dibalik. Secara khusus, kami sekarang mengkondisikan pada data yang diamati dan melanjutkan untuk membuat kesimpulan tentang nilai parameter. Ini membutuhkan prior.

Sejauh ini bagus, tetapi di manakah MLE (Maximum Likelihood Estimate) cocok dengan semua ini? Saya mendapat kesan bahwa banyak orang merasa itu adalah Frequentist (atau lebih tepatnya, itu bukan Bayesian). Tetapi saya merasa bahwa ini adalah Bayesian karena melibatkan pengambilan data yang diamati dan kemudian menemukan parameter yang memaksimalkan . MLE secara implisit menggunakan prior yang seragam dan mengkondisikan data dan memaksimalkan P ( p a r a m e t e $P(data | parameter)$ . Apakah adil untuk mengatakan bahwa MLE terlihat seperti Frequentist dan Bayesian? Atau apakah setiap alat sederhana harus jatuh tepat ke salah satu dari dua kategori itu?$P(parameter | data)$

MLE konsisten tetapi saya merasa bahwa konsistensi dapat disajikan sebagai ide Bayesian. Diberikan sampel besar yang sewenang-wenang, taksiran bertemu pada jawaban yang benar. Pernyataan "estimasi akan sama dengan nilai sebenarnya" berlaku untuk semua nilai parameter. Yang menarik adalah bahwa pernyataan ini juga berlaku jika Anda mengkondisikan pada data yang diamati, menjadikannya Bayesian. Samping yang menarik ini berlaku untuk MLE, tetapi tidak untuk estimator yang tidak bias.

Inilah mengapa saya merasa bahwa MLE adalah 'yang paling Bayesian' dari metode yang dapat digambarkan sebagai Frequentist.

Bagaimanapun, sebagian besar properti Frequentist (seperti ketidakberpihakan) berlaku dalam semua kasus, termasuk ukuran sampel hingga. Fakta bahwa konsistensi hanya berlaku dalam skenario mustahil (sampel tak terbatas dalam satu percobaan) menunjukkan bahwa konsistensi bukan properti yang bermanfaat.

Diberikan sampel realistis (yaitu terbatas), adakah properti Frequentist yang berlaku untuk MLE? Jika tidak, MLE tidak benar-benar Frequentist.

Atau apakah setiap alat sederhana harus jatuh tepat ke salah satu dari dua kategori itu?

Tidak. Sederhana (dan bukan alat yang sangat sederhana) dapat dipelajari dari berbagai sudut pandang. Fungsi kemungkinan dengan sendirinya adalah landasan dalam statistik Bayesian dan sering, dan dapat dipelajari dari kedua sudut pandang! Jika mau, Anda dapat mempelajari MLE sebagai solusi perkiraan Bayes, atau Anda dapat mempelajari propertinya dengan teori asimptotik, dengan cara yang sering.

Saat Anda melakukan Estimasi Kemungkinan Maksimum, Anda mempertimbangkan nilai estimasi dan properti sampling estimator untuk menetapkan ketidakpastian estimasi Anda yang dinyatakan sebagai interval kepercayaan. Saya pikir ini penting mengenai pertanyaan Anda karena interval kepercayaan pada umumnya akan tergantung pada titik sampel yang tidak diamati, yang tampaknya oleh sebagian orang sebagai properti yang pada dasarnya tidak memiliki hak.

PS Ini terkait dengan fakta yang lebih umum bahwa Estimasi Kemungkinan Maksimum (Poin + Interval) gagal memenuhi Prinsip Kemungkinan , sementara analisis Bayesian (" Gaya Savage ") penuh tidak.

Fungsi kemungkinan adalah fungsi yang melibatkan data dan parameter yang tidak diketahui. Ini dapat dilihat sebagai kepadatan probabilitas untuk data yang diamati mengingat nilai parameter. Parameternya sudah diperbaiki. Jadi dengan sendirinya kemungkinan adalah gagasan yang sering terjadi. Memaksimalkan kemungkinan hanya untuk menemukan nilai spesifik dari parameter yang membuat kemungkinan mengambil nilai maksimumnya. Jadi estimasi kemungkinan maksimum adalah metode frequentist semata-mata berdasarkan data dan bentuk model yang diasumsikan untuk menghasilkannya. Estimasi Bayesian hanya masuk ketika distribusi sebelumnya ditempatkan pada parameter dan formula Bayes digunakan untuk memperoleh distribusi aposteriori untuk parameter dengan menggabungkan sebelumnya dengan kemungkinan.

Dengan asumsi bahwa dengan "Bayesian" Anda merujuk ke Bayes subyektif (alias Bayes epistemik, De-Finetti Bayes) dan bukan makna Bayes empiris saat ini - itu jauh dari sepele. Di satu sisi, Anda menyimpulkan berdasarkan data Anda saja. Tidak ada keyakinan subjektif di tangan. Ini sepertinya cukup sering terjadi ... Tetapi kritiknya, yang diungkapkan bahkan di Fisher sendiri (Bayesian non (subyektif) yang ketat), adalah bahwa dalam pemilihan distribusi sampel dari subjektivitas data telah merangkak masuk. Parameter hanya ditentukan mengingat kita keyakinan proses pembuatan data.

Kesimpulannya - saya percaya MLE biasanya dianggap sebagai konsep frequentist, meskipun itu hanya masalah bagaimana Anda mendefinisikan "frequentist" dan "Bayesian".

(menjawab pertanyaan sendiri)

Sebuah estimator adalah fungsi yang mengambil beberapa data dan menghasilkan sejumlah (atau kisaran angka). Estimator, dengan sendirinya, tidak benar-benar 'Bayesian' atau 'sering' - Anda dapat menganggapnya sebagai kotak hitam di mana angka masuk dan angka keluar. Anda dapat menyajikan estimator yang sama ke frequentist dan ke Bayesian dan mereka akan memiliki hal-hal berbeda untuk dikatakan tentang estimator.

(Saya tidak senang dengan perbedaan sederhana antara frequentist dan Bayesian - ada masalah lain yang perlu dipertimbangkan. Tetapi untuk kesederhanaan, mari kita berpura-pura bahwa itu hanya dua kubu filosofis yang terdefinisi dengan baik.)

Anda tidak dapat memberi tahu apakah seorang peneliti sering berkunjung ke Bayesian hanya dengan penaksir mana yang mereka pilih. Yang penting adalah mendengarkan analisis apa yang mereka lakukan pada estimator dan alasan apa yang mereka berikan untuk memilih estimator itu.

$\theta$$\mathrm{P}(\mathbf{x}|\theta)$

Ketika perangkat lunak yang sama disajikan ke Bayesian, Bayesian mungkin senang dengan banyak analisis yang sering dilakukan. Ya, semua hal lain dianggap sama, bias tidak baik dan konsistensi baik. Namun Bayesian akan lebih tertarik pada hal-hal lain. Bayesian akan ingin melihat apakah estimator mengambil bentuk beberapa fungsi distribusi posterior; dan jika demikian, apa yang digunakan sebelumnya? Jika estimator didasarkan pada posterior, Bayesian akan bertanya-tanya apakah prior adalah yang baik. Jika mereka senang dengan yang sebelumnya, dan jika estimator melaporkan mode posterior (berlawanan dengan, katakanlah, rata-rata posterior) maka mereka senang menerapkan interpretasi ini ke estimasi: "Estimasi ini adalah titik memperkirakan yang memiliki peluang terbaik untuk menjadi benar. "

Saya sering mendengar dikatakan bahwa frequentist dan Bayesian "menafsirkan" berbagai hal secara berbeda, bahkan ketika jumlah yang terlibat sama. Ini bisa sedikit membingungkan, dan saya pikir itu tidak benar. Interpretasi mereka tidak saling bertentangan; mereka hanya membuat pernyataan tentang berbagai aspek sistem. Mari kita mengesampingkan estimasi poin untuk saat ini dan mempertimbangkan interval sebagai gantinya. Secara khusus, ada interval kepercayaan yang sering dan interval kredibel Bayesian . Mereka biasanya akan memberikan jawaban yang berbeda. Tetapi dalam model tertentu, dengan prior tertentu, kedua jenis interval akan memberikan jawaban numerik yang sama.

Ketika intervalnya sama, bagaimana kita bisa menafsirkannya secara berbeda? Seorang frequentist akan mengatakan tentang penaksir interval:

Sebelum saya melihat data atau interval yang sesuai, saya dapat mengatakan setidaknya ada kemungkinan 95% bahwa parameter sebenarnya akan terkandung dalam interval.

sedangkan Bayesian akan mengatakan penduga interval:

Setelah saya melihat data atau interval yang sesuai, saya bisa mengatakan setidaknya ada kemungkinan 95% bahwa parameter sebenarnya terkandung dalam interval.

Kedua pernyataan ini identik, terlepas dari kata 'Sebelum' dan 'Setelah'. Bayesian akan memahami dan setuju dengan pernyataan sebelumnya dan juga akan mengakui bahwa kebenarannya independen dari yang sebelumnya, sehingga membuatnya 'lebih kuat'. Tetapi berbicara sebagai seorang Bayesian sendiri, saya akan khawatir bahwa pernyataan sebelumnya mungkin tidak terlalu berguna . Frequentist tidak akan menyukai pernyataan yang terakhir, tetapi saya tidak memahaminya dengan cukup baik untuk memberikan deskripsi yang adil tentang keberatan frequentist.

Setelah melihat data, apakah kerap kali masih optimis bahwa nilai sebenarnya terkandung dalam interval? Mungkin tidak. Ini agak berlawanan dengan intuisi tetapi penting untuk benar-benar memahami interval kepercayaan dan konsep lain berdasarkan distribusi sampel. Anda mungkin menganggap bahwa frequentist masih akan berkata "Mengingat data, saya masih berpikir ada kemungkinan 95% bahwa nilai sebenarnya dalam interval ini". Seorang frequentist tidak hanya akan mempertanyakan apakah pernyataan itu benar, mereka juga akan mempertanyakan apakah bermakna untuk mengaitkan probabilitas dengan cara ini. Jika Anda memiliki pertanyaan lebih lanjut tentang ini, jangan tanya saya, masalah ini terlalu banyak untuk saya!

Bayesian senang membuat pernyataan itu: "Pengkondisian pada data yang baru saja saya lihat, probabilitasnya adalah 95% bahwa nilai sebenarnya berada dalam kisaran ini."

Saya harus mengakui bahwa saya agak bingung pada satu poin terakhir. Saya mengerti, dan setuju dengan, pernyataan yang dibuat oleh frequentist sebelum data terlihat. Saya mengerti, dan setuju dengan, dengan pernyataan yang dibuat oleh Bayesian setelah data terlihat. Namun, saya tidak begitu yakin apa yang akan dikatakan oleh frequentist setelah data terlihat; apakah kepercayaan mereka tentang dunia telah berubah? Saya tidak dalam posisi untuk memahami filosofi frequentist di sini.

$P(x|\theta)$