Jika bunga hanya memperkirakan parameter model (estimasi pointwise dan / atau interval) dan informasi sebelumnya tidak dapat diandalkan, lemah, (saya tahu ini agak kabur tetapi saya mencoba untuk membangun skenario di mana pilihan suatu sebelumnya sulit) ... Mengapa seseorang memilih untuk menggunakan pendekatan Bayesian dengan prior yang tidak tepat 'bukan informasi daripada pendekatan klasik?
44
Jawaban:
Dua alasan seseorang dapat menggunakan pendekatan Bayesian bahkan jika Anda menggunakan prior yang sangat tidak informatif:
sumber
Meskipun hasilnya akan sangat mirip, interpretasinya berbeda.
Interval kepercayaan menyiratkan gagasan mengulang percobaan berkali-kali dan mampu menangkap parameter sebenarnya 95% kali. Tetapi Anda tidak bisa mengatakan Anda memiliki peluang 95% untuk menangkapnya.
Interval yang dapat dipercaya (Bayesian), di sisi lain, memungkinkan Anda untuk mengatakan bahwa ada "peluang" 95% bahwa interval menangkap nilai sebenarnya. Pembaruan: Cara Bayesian yang lebih tepat adalah bahwa Anda bisa menjadi 95% yakin tentang hasil Anda.
sumber
Jadi, misalnya, Anda dapat menghitung interval yang kredibel untuk perbedaan antara dua parameter.
sumber
Sir Harold Jeffreys adalah pendukung kuat pendekatan Bayesian. Dia menunjukkan bahwa jika Anda menggunakan prior yang tidak tepat, kesimpulan Bayesian yang dihasilkan akan sama dengan pendekatan inferensial frequentist (yaitu, wilayah kredibel Bayesian sama dengan interval kepercayaan frequentist). Kebanyakan orang Bayes menganjurkan pemberian informasi yang tepat. Ada masalah dengan prior yang tidak tepat dan beberapa dapat berpendapat bahwa tidak ada prior benar-benar tidak informatif. Saya pikir orang Bayesian yang menggunakan Jeffreys ini sebelumnya melakukannya sebagai pengikut Jeffreys. Dennis Lindley , salah satu pendukung terkuat dari pendekatan Bayesian, sangat menghormati Jeffreys tetapi menganjurkan informasi yang informatif.
sumber
Pendekatan Bayesian memiliki keunggulan praktis. Ini membantu dengan estimasi, seringkali menjadi keharusan. Dan itu memungkinkan keluarga model novel, dan membantu dalam konstruksi model yang lebih rumit (hierarkis, bertingkat).
Sebagai contoh, dengan model campuran (termasuk efek acak dengan parameter varians) satu mendapatkan estimasi yang lebih baik jika parameter varians diperkirakan dengan meminggirkan parameter tingkat yang lebih rendah (koefisien model; ini disebut REML ). Pendekatan Bayesian melakukan ini secara alami. Dengan model ini, bahkan dengan REML, estimasi kemungkinan maksimum (ML) parameter varians seringkali nol, atau bias ke bawah. Sebelum tepat untuk parameter varians membantu.
Bahkan jika estimasi titik ( MAP , maksimum a posteriori) digunakan, prior mengubah keluarga model. Regresi linier dengan sejumlah besar variabel yang agak collinear tidak stabil. Regularisasi L2 digunakan sebagai obat, tetapi dapat ditafsirkan sebagai model Bayesian dengan Gaussian (non-informatif) sebelumnya, dan estimasi MAP. (Regulator L1 adalah prior yang berbeda dan memberikan hasil yang berbeda. Sebenarnya di sini prior mungkin agak informatif, tetapi ini tentang sifat kolektif dari parameter, bukan tentang satu parameter.)
Jadi ada beberapa model umum dan relatif sederhana di mana pendekatan Bayesian dibutuhkan hanya untuk menyelesaikannya!
Hal-hal yang lebih disukai dengan model yang lebih rumit, seperti alokasi Dirichlet laten (LDA) yang digunakan dalam pembelajaran mesin. Dan beberapa model pada dasarnya adalah Bayesian, misalnya, yang didasarkan pada proses Dirichlet .
sumber
sumber
Ada beberapa alasan:
Sekarang untuk kerugian hanya menggunakan prior tidak informatif, mulai dengan apa yang saya pikir adalah yang paling penting dan kemudian menuju beberapa aspek teknis yang juga cukup penting:
Poin terakhir adalah argumen untuk memilih prior yang agak kabur (atau sedikit lebih informatif) yang memastikan posterior yang tepat. Memang, kadang-kadang sulit untuk mengambil sampel dari ini juga, dan mungkin sulit untuk memperhatikan bahwa seluruh posterior belum dieksplorasi. Namun, metode Bayesian dengan prior (tidak tepat) prior di banyak bidang telah terbukti memiliki sifat sampel kecil yang sangat baik dari perspektif frequentist dan Anda tentu bisa melihat itu sebagai argumen untuk menggunakannya, sementara dengan data yang lebih banyak akan sulit perbedaan dengan metode apa pun dengan prior yang tidak informatif.
sumber