Apa metode non-Bayesian yang ada untuk inferensi prediktif?

Dalam kesimpulan Bayesian distribusi prediktif untuk data masa depan diperoleh dengan mengintegrasikan parameter yang tidak diketahui; mengintegrasikan lebih dari distribusi posterior dari parameter-parameter tersebut memberikan distribusi prediksi posterior — distribusi untuk data masa depan tergantung pada yang sudah diamati. Apa metode non-Bayesian untuk inferensi prediktif yang mempertimbangkan ketidakpastian dalam estimasi parameter (yaitu yang tidak hanya menyambungkan estimasi kemungkinan maksimum atau apa pun yang kembali ke fungsi kepadatan)?

Semua orang tahu bagaimana menghitung interval prediksi setelah regresi linier, tetapi apa prinsip di balik perhitungan & bagaimana mereka dapat diterapkan dalam situasi lain (misalnya menghitung interval prediksi yang tepat untuk varian eksponensial baru setelah memperkirakan parameter tingkat dari data)?

Inferensi prediktif non-Bayesian (terlepas dari kasus SLR) adalah bidang yang relatif baru. Di bawah judul "non-Bayesian" kita dapat membagi pendekatan menjadi pendekatan yang "klasik" dan yang berbasis "kemungkinan".

Prediksi Frekuensi Klasik

$\alpha$$\beta$

Sekarang, saya secara umum memiliki masalah dengan bagaimana PI klasik disajikan dan diajarkan di sebagian besar kursus statistik, karena kecenderungan yang luar biasa adalah untuk menafsirkan ini sebagai interval prediksi posterior Bayesian, yang mereka jelas tidak. Yang paling mendasar, mereka berbicara tentang probabilitas yang berbeda! Bayesian tidak mengklaim kinerja sampling berulang jumlah mereka (jika tidak, mereka akan sering). Kedua, PI Bayesian sebenarnya mencapai sesuatu yang lebih mirip dalam semangat untuk Interval Toleransi Klasik daripada Interval Prediksi Klasik.

Untuk referensi: Interval Toleransi perlu ditentukan oleh dua probabilitas: Kepercayaan dan cakupan. Kepercayaan memberi tahu kita seberapa sering itu benar dalam sampel berulang. Cakupan memberitahu kita ukuran probabilitas minimum interval di bawah distribusi yang benar (sebagai lawan dari PI, yang memberikan ukuran probabilitas yang diharapkan ... sekali lagi di bawah pengambilan sampel berulang). Ini pada dasarnya adalah apa yang coba dilakukan oleh Bayesian PI, tetapi tanpa klaim pengambilan sampel berulang.

Jadi, logika dasar dari Stats 101 Simple Linear Regression adalah untuk memperoleh sifat-sifat pengambilan sampel berulang PI dengan asumsi normalitas. Ini adalah pendekatan + Gaussian yang sering digunakan dan biasanya dianggap "klasik" dan diajarkan di kelas-kelas statistik intro. Ini didasarkan pada kesederhanaan hasil perhitungan (lihat Wikipedia untuk ikhtisar yang bagus).

Distribusi probabilitas non-gaussian umumnya bermasalah karena mereka dapat kekurangan jumlah penting yang dapat dibalik dengan rapi untuk mendapatkan interval. Oleh karena itu, tidak ada metode "tepat" untuk distribusi ini, sering kali karena properti interval bergantung pada parameter mendasar yang sebenarnya.

Mengakui ketidakmampuan ini, kelas prediksi lain muncul (dan inferensi dan estimasi) dengan pendekatan kemungkinan.

Inferensi berbasis kemungkinan

Pendekatan berbasis kemungkinan, seperti banyak konsep statistik modern, dapat ditelusuri kembali ke Ronald Fisher. Gagasan dasar dari sekolah ini adalah bahwa, kecuali untuk kasus-kasus khusus, kesimpulan statistik kami berada di tanah yang secara logis lebih lemah daripada ketika kami berurusan dengan kesimpulan dari distribusi normal (yang estimasi parameternya ortogonal ), di mana kita dapat membuat pernyataan probabilitas yang tepat. Dalam pandangan inferensi ini, seseorang harus benar-benar menghindari pernyataan tentang probabilitas kecuali dalam kasus yang tepat, jika tidak, ia harus membuat pernyataan tentang kemungkinan dan mengakui bahwa ia tidak mengetahui probabilitas kesalahan yang tepat (dalam arti yang sering terjadi).

Oleh karena itu, kita dapat melihat kemungkinan sebagai mirip dengan probabilitas Bayesian, tetapi tanpa persyaratan keterpaduan atau kemungkinan kebingungan dengan probabilitas frequentist. Interpretasinya sepenuhnya subyektif ... meskipun rasio kemungkinan 0,15 sering direkomendasikan untuk inferensi parameter tunggal.

Namun, orang tidak sering melihat makalah yang secara eksplisit memberikan "interval kemungkinan". Mengapa? Tampaknya ini sebagian besar adalah masalah sosiologi, karena kita semua sudah terbiasa dengan pernyataan kepercayaan berbasis probabilitas. Alih-alih, yang sering Anda lihat adalah penulis yang merujuk ke interval kepercayaan "perkiraan" atau "asimptotik" dari ini dan itu. Interval ini sebagian besar berasal dari metode kemungkinan, di mana kami mengandalkan distribusi Chi-squared asimptotik dari rasio kemungkinan dalam cara yang sama kita mengandalkan normalitas asimptotik dari rata-rata sampel.

Dengan "perbaikan" ini, kita sekarang dapat membangun "perkiraan" 95% Wilayah Keyakinan dengan konsistensi logis yang hampir sama dengan Bayesia.

Dari CI ke PI dalam Kerangka Kerja Kemungkinan

Keberhasilan dan kemudahan pendekatan kemungkinan di atas menghasilkan gagasan tentang bagaimana memperluasnya ke prediksi. Artikel survei yang sangat bagus tentang ini diberikan di sini (saya tidak akan mereproduksi cakupan yang sangat baik). Ini dapat ditelusuri kembali ke David Hinkley pada akhir 1970-an (lihat JSTOR ), yang menciptakan istilah. Dia menerapkannya pada " Masalah Prediksi Binomial Pearson " yang abadi . Saya akan meringkas logika dasar.

$y$$y$$y$

Aturan dasar untuk menghilangkan parameter "gangguan" untuk mendapatkan kemungkinan prediktif adalah sebagai berikut:

1. $\mu, \sigma$
2. Jika suatu parameter acak (mis., Data yang tidak teramati lainnya atau "efek acak"), maka Anda mengintegrasikannya (seperti dalam pendekatan Bayesian).

Perbedaan antara parameter tetap dan acak adalah unik untuk kemungkinan kesimpulan, tetapi memiliki koneksi ke model efek campuran, di mana tampaknya bahwa kerangka kerja Bayesian, sering, dan kemungkinan kemungkinan bertabrakan.

Semoga ini menjawab pertanyaan Anda tentang wilayah luas prediksi "non-Bayesian" (dan kesimpulannya). Karena hyperlink dapat berubah, saya juga akan membuat plug untuk buku "In All Likelihood: Statistik Modeling dan Inference using Likelihood" yang membahas kerangka kemungkinan modern di kedalaman, termasuk sejumlah masalah epistemologis dari kemungkinan vs Bayesian vs frequentist kesimpulan dan prediksi.

Referensi

1. Interval Prediksi: Metode non-parametrik . Wikipedia. Diakses pada 9/13/2015.
2. Bjornstad, Jan F. Kemungkinan Prediktif: Ulasan. Statist. Sci. 5 (1990), no. 2, 242--254. doi: 10.1214 / ss / 1177012175. http://projecteuclid.org/euclid.ss/1177012175 .
3. David Hinkley. Kemungkinan Prediktif . The Annals of Statistics Vol. 7, No. 4 (Jul., 1979), hlm. 718-728 Diterbitkan oleh: Institute of Mathematical Statistics Stable URL: http://www.jstor.org/stable/2958920
4. Yudi Pawitan. Dalam Semua Kemungkinan: Pemodelan Statistik dan Inferensi Menggunakan Kemungkinan. Oxford University Press; 1 edisi (30 Agustus 2001). ISBN-10: 0198507658, ISBN-13: 978-0198507659. Terutama Bab 5.5-5.9, 10, dan 16.

Saya akan menjawab jawaban saya secara khusus untuk pertanyaan, "Metode non-Bayesian apa untuk inferensi prediktif yang ada yang memperhitungkan ketidakpastian dalam estimasi parameter?" Saya akan mengatur jawaban saya dengan memperluas arti ketidakpastian .

Kami berharap analisis statistik memberikan dukungan untuk berbagai jenis klaim, termasuk prediksi . Tetapi kami tetap tidak yakin tentang klaim kami, dan ketidakpastian ini muncul dari banyak sumber. Statistik Frequentist biasanya disusun berdasarkan hanya mengatasi bagian dari ketidakpastian kami yang timbul secara khusus dari pengambilan sampel . Sampling mungkin telah menjadi sumber utama ketidakpastian dalam eksperimen-eksperimen lapangan pertanian yang secara historis memberikan banyak rangsangan bagi pengembangan statistik yang sering terjadi. Tetapi dalam banyak aplikasi saat ini yang paling penting, ini tidak terjadi. Kami sekarang khawatir tentang semua jenis ketidakpastian lainnya seperti kesalahan spesifikasi model dan berbagai bentuk bias --- yang tampaknya ada ratusan (!) Tipe [1].

Sander Greenland memiliki makalah diskusi yang luar biasa [2] yang menunjukkan betapa pentingnya untuk memperhitungkan sumber-sumber ketidakpastian lainnya, dan menetapkan analisis multi-bias sebagai cara untuk mencapai ini. Ia mengembangkan teori sepenuhnya dalam istilah Bayesian, yang alami. Jika seseorang ingin meneruskan perlakuan formal dan koheren terhadap ketidakpastian seseorang tentang parameter model, secara alami ia akan menempatkan distribusi probabilitas (subyektif) atas parameter; pada titik ini Anda tersesat oleh Setan Bayesian atau telah memasuki Kerajaan Bayesian Surga (tergantung pada agama Anda).

Untuk pertanyaan Anda, @Scortchi, tentang apakah ini dapat dilakukan dengan "metode non-Bayesian," solusi non-Bayesian ditunjukkan dalam [3]. Tetapi bagi siapa pun yang cukup tahu tentang Bayesianisme untuk menulis pertanyaan Anda, perlakuan di sana akan terlihat seperti upaya untuk menerapkan perhitungan Bayesian 'diam-diam' untuk berbicara. Memang, seperti yang diakui penulis (lihat hal. 4), semakin dekat Anda dengan metode yang lebih maju menjelang akhir buku ini, semakin banyak metode yang terlihat seperti integrasi yang Anda jelaskan dalam pertanyaan Anda. Mereka menyarankan bahwa di mana mereka berangkat dari Bayesianisme pada akhirnya hanya tidak menempatkan prior prior pada parameter mereka sebelum memperkirakannya.

$\theta(\alpha)$$\alpha$$\theta$

1. Chavalarias, David, dan John PA Ioannidis. "Analisis Pemetaan Sains Mencirikan 235 Bias dalam Penelitian Biomedis." Jurnal Epidemiologi Klinis 63, no. 11 (November 2010): 1205–155. doi: 10.1016 / j.jclinepi.2009.12.011.

2. Greenland, Sander. "Pemodelan Multi-Bias untuk Analisis Data Observasional (dengan Diskusi)." Jurnal Royal Statistics Society: Seri A (Statistics in Society) 168, no. 2 (Maret 2005): 267–306. doi: 10.1111 / j.1467-985X.2004.00349.x.

3. Lash, Timothy L., Matthew P. Fox, dan Aliza K. Fink. Menerapkan Analisis Bias Kuantitatif ke Data Epidemiologis. Statistik untuk Biologi dan Kesehatan. New York, NY: Springer New York, 2009. http://link.springer.com/10.1007/978-0-387-87959-8 .