Dengan flat sebelumnya, estimator ML (frequentist - maximum likelihood) dan MAP (Bayesian - maximum a posteriori) bersamaan.
Namun, secara lebih umum, saya berbicara tentang penduga titik yang diturunkan sebagai pengoptimal beberapa fungsi kerugian. Yaitu
(Bayesian) x (
di mana adalah operator ekspektasi, adalah fungsi kehilangan (diminimalkan pada nol), \ hat x (y) adalah estimator, diberikan data y , dari parameter x , dan variabel acak dilambangkan dengan huruf besar .x ( y ) y x
Adakah yang tahu kondisi apa pun pada , pdf dan , yang dikenakan linearitas dan / atau tidak memihak, di mana estimator akan bertepatan?
Edit
Seperti disebutkan dalam komentar, persyaratan imparsialitas seperti ketidakberpihakan diperlukan untuk menjadikan masalah Frequentist bermakna. Prior datar juga bisa menjadi kesamaan.
Selain diskusi umum yang diberikan oleh beberapa jawaban, pertanyaannya adalah juga tentang memberikan contoh nyata . Saya pikir yang penting berasal dari regresi linier:
- OLS, adalah BIRU ( teorema Gauss-Markov) ), yaitu meminimalkan MSE yang sering terjadi di antara penaksir linier yang tidak bias.
- jika adalah Gaussian dan yang sebelumnya datar, adalah rata-rata "posterior" meminimalkan kerugian rata-rata Bayesian untuk fungsi kehilangan cembung.
Di sini, tampaknya dikenal sebagai data / desain matriks dalam istilah frequentist / Bayesian, masing-masing.
Jawaban:
Pertanyaannya menarik tetapi agak tidak ada harapan kecuali gagasan estimator frequentist dibuat tepat. Hal ini jelas bukan satu set dalam pertanyaan x ( sejak jawaban minimisasi adalah x ( y ) = x untuk semua y 's sebagai keluar menunjuk padajawaban Programmer2134 ini. Masalah mendasarnya adalah bahwa tidak ada estimator tunggal yang sering muncul untuk masalah estimasi, tanpa memperkenalkan batasan tambahan atau kelas-kelas estimator. Tanpa itu, semua penaksir Bayes juga merupakan penaksir yang sering.
Seperti yang ditunjukkan dalam komentar, ketidakberpihakan dapat menjadi kendala seperti itu, dalam hal ini penaksir Bayes dikecualikan. Tetapi gagasan frequentist ini berbenturan dengan gagasan frequentist lainnya seperti
Ditambah ketidakberpihakan hanya berlaku untuk kelas terbatas dari masalah estimasi. Maksud saya, kelas estimator yang tidak bias dari parameter tertentu atau transformasi h ( θ ) hampir selalu kosong.θ h(θ)
Berbicara tentang penerimaan, gagasan lain yang sering, ada pengaturan di mana penaksir hanya diterima adalah penaksir Bayes dan sebaliknya. Jenis pengaturan ini berkaitan dengan teorema kelas lengkap yang didirikan oleh Abraham Wald pada 1950-an. (Hal yang sama berlaku untuk penaksir invarian terbaik yang merupakan Bayes di bawah ukuran Haar kanan yang tepat.)
sumber
Secara umum, estimator frequentist dan Bayesian tidak sesuai, kecuali jika Anda menggunakan flat yang sebelumnya sudah merosot. Alasan utamanya adalah ini: Penaksir frekuensi sering berusaha untuk bersikap tidak memihak. Misalnya, frequentist sering mencoba menemukan penaksir tidak bias varians minimum ( http://en.wikipedia.org/wiki/Minimum-variance_unprice_estimator ). Sementara itu, semua penduga Bayes yang tidak berdegenerasi bias (dalam pengertian bias yang sering terjadi). Lihat, misalnya, http://www.stat.washington.edu/~hoff/courses/581/LectureNotes/bayes.pdf , Theorem 5.
Untuk meringkas: Sebagian besar penaksir frequentist populer berusaha bersikap tidak memihak, sementara semua penaksir Bayes bias. Dengan demikian, Bayes dan penduga sering jarang bertepatan.
sumber
Ini bukan jawaban yang lengkap, tapi sementara kedua 's tampilan yang sangat mirip, mereka secara fundamental berbeda dengan cara: Bayesian satu meminimalkan ekspresi sehubungan dengan nilai tunggal (yaitu, nilai x ( y ) , tergantung pada y ).argmin x^(y) y
Tetapi yang Frequentist harus meminimalkan fungsi kerugian sehubungan dengan nilai tunggal untuk setiap nilai yang dapat diambil , tanpa mengetahui x . Hal ini karena minimum dari fungsi f ( x , x ) = E ( L ( x - x ( Y ) ) | x ) tergantung pada x , meskipun kita harus menguranginya tanpa mengetahui x . (catatan bahwa jika kita hanya akan meminimalkan f ( x , x )x x f(x,x^)=E(L(x−x^(Y))|x) x x f(x,x^) wrt x , kita hanya akan mendapatkan nilai meminimalkan dari x = x .) Masalah Frequentist karena itu tidak terdefinisi. Saya tidak yakin apakah mungkin membuatnya didefinisikan dengan baik.x^ x^=x
sumber
Mungkin tidak ada jawaban untuk pertanyaan ini.
Alternatifnya adalah meminta metode untuk menentukan dua perkiraan secara efisien untuk setiap masalah yang ada. Metode Bayesian cukup dekat dengan ideal ini. Namun, meskipun metode minimax dapat digunakan untuk menentukan estimasi titik frekuensi, secara umum, penerapan metode minimax tetap sulit, dan cenderung tidak digunakan dalam praktik.
Alternatif lain adalah mengulangi pertanyaan mengenai kondisi di mana Bayesian dan penduga sering memberikan hasil "konsisten" dan mencoba mengidentifikasi metode untuk menghitung secara efisien penduga tersebut. Di sini "konsisten" diambil untuk menyiratkan bahwa estimator Bayesian dan frequentist berasal dari teori umum dan bahwa kriteria optimalitas yang sama digunakan untuk kedua estimator. Ini sangat berbeda dengan mencoba menentang statistik Bayesian dan sering, dan mungkin membuat pertanyaan di atas berlebihan. Salah satu pendekatan yang mungkin adalah mengarahkan, baik untuk kasus frequentist dan kasus Bayesian, pada set keputusan yang meminimalkan kerugian untuk ukuran tertentu, yaitu, seperti yang diusulkan oleh
Schafer, Chad M, dan Philip B Stark. "Membangun wilayah kepercayaan dengan ukuran yang diharapkan optimal." Jurnal Asosiasi Statistik Amerika 104.487 (2009): 1080-1089.
Ternyata ini mungkin - baik untuk frequentist dan kasus Bayesian - dengan memasukkan pengamatan preferensi dan parameter dengan informasi timbal balik yang besar dan berurutan. Set keputusan tidak akan sama, karena pertanyaan yang diajukan berbeda:
Namun set akan tumpang tindih sebagian besar dan menjadi identik dalam beberapa situasi, jika digunakan datar. Idenya dibahas secara lebih rinci bersama dengan implementasi yang efisien di
Bartels, Christian (2015): Kepercayaan umum dan konsisten serta wilayah yang kredibel. figshare. https://doi.org/10.6084/m9.figshare.1528163
Untuk prior prior, set keputusan lebih menyimpang (seperti yang umum dikenal dan ditunjukkan dalam pertanyaan dan jawaban di atas). Namun dalam kerangka kerja yang konsisten, seseorang memperoleh tes frequentist, yang menjamin cakupan frequentist yang diinginkan, tetapi mempertimbangkan pengetahuan sebelumnya.
Bartels, Christian (2017): Menggunakan pengetahuan sebelumnya dalam tes frequentist. figshare. https://doi.org/10.6084/m9.figshare.4819597
Metode yang diusulkan masih kekurangan implementasi marginalisasi yang efisien.
sumber