Daftar situasi di mana pendekatan Bayesian lebih sederhana, lebih praktis, atau lebih nyaman

Ada banyak perdebatan dalam statistik antara orang Bayes dan sering. Saya biasanya menemukan ini agak mengganggu (walaupun saya pikir itu sudah mereda). Di sisi lain, saya telah bertemu beberapa orang yang mengambil pandangan pragmatis sepenuhnya dari masalah ini, mengatakan bahwa kadang-kadang lebih mudah untuk melakukan analisis yang sering dan kadang-kadang lebih mudah untuk menjalankan analisis Bayesian. Saya menemukan perspektif ini praktis dan menyegarkan.

Terpikir oleh saya bahwa akan sangat membantu jika memiliki daftar kasus seperti itu. Karena ada terlalu banyak analisis statistik, dan karena saya berasumsi bahwa biasanya lebih praktis untuk melakukan analisis frequentist (pengkodean uji-t di WinBUGS jauh lebih terlibat daripada panggilan fungsi tunggal yang diperlukan untuk melakukan versi berbasis frekuensi di R , misalnya), alangkah baiknya untuk memiliki daftar situasi di mana pendekatan Bayesian lebih sederhana, lebih praktis, dan / atau lebih nyaman daripada pendekatan yang sering.

(Dua jawaban yang saya tidak tertarik adalah: 'selalu', dan 'tidak pernah'. Saya mengerti orang-orang memiliki pendapat yang kuat, tapi tolong jangan tayangkan mereka di sini. Jika utas ini menjadi tempat pertengkaran kecil, saya mungkin akan menghapus Tujuan saya di sini adalah untuk mengembangkan sumber daya yang akan berguna bagi analis dengan pekerjaan yang harus dilakukan, bukan kapak untuk digiling.)

Orang-orang dipersilakan untuk menyarankan lebih dari satu kasus, tetapi silakan gunakan jawaban terpisah untuk melakukannya, sehingga setiap situasi dapat dievaluasi (dipilih / didiskusikan) secara individual. Jawaban harus mencantumkan: (1) apa sifat dari situasi itu, dan (2) mengapa pendekatan Bayesian lebih sederhana dalam kasus ini. Beberapa kode (katakanlah, dalam WinBUGS) menunjukkan bagaimana analisis akan dilakukan dan mengapa versi Bayesian lebih praktis akan ideal, tetapi saya berharap akan terlalu rumit. Jika itu bisa dilakukan dengan mudah, saya akan sangat menghargainya, tapi tolong sertakan alasannya .

Akhirnya, saya menyadari bahwa saya belum mendefinisikan apa artinya satu pendekatan menjadi 'lebih sederhana' daripada yang lain. Yang benar adalah, saya tidak sepenuhnya yakin apa artinya bagi satu pendekatan menjadi lebih praktis daripada yang lain. Saya terbuka untuk saran yang berbeda, cukup tentukan interpretasi Anda ketika Anda menjelaskan mengapa analisis Bayesian lebih nyaman dalam situasi yang Anda diskusikan.

(1) Dalam konteks di mana fungsi kemungkinan tidak dapat dipraktikkan (setidaknya secara numerik), penggunaan pendekatan Bayesian, melalui Perkiraan Bayesian Computation (ABC), telah memperoleh tempat di atas beberapa pesaing yang sering terjadi seperti kemungkinan komposit ( 1 , 2 ) atau kemungkinan empiris karena cenderung lebih mudah diimplementasikan (belum tentu benar). Karena hal ini, penggunaan ABC telah menjadi populer di daerah-daerah di mana lazim dijumpai kemungkinan-kemungkinan yang sulit diatasi seperti biologi , genetika , dan ekologi . Di sini, kita bisa menyebutkan samudera contoh.

Beberapa contoh kemungkinan yang sulit diatasi adalah

• Proses superposis. Cox dan Smith (1954) mengusulkan model dalam konteks neurofisiologi yang terdiri dari proses titik superposedSebagai contoh, perhatikan waktu antara pulsa listrik yang diamati di beberapa bagian otak yang dipancarkan oleh beberapa neuron selama periode tertentu. Sampel ini berisi pengamatan tidak sah yang membuat sulit untuk membangun kemungkinan yang sesuai, mempersulit estimasi parameter yang sesuai. Solusi (parsial) frequentist baru-baru ini diusulkan dalam makalah ini . Implementasi pendekatan ABC juga baru-baru ini dipelajari dan dapat ditemukan di sini .$N$

• Genetika populasi adalah contoh lain dari model yang mengarah pada kemungkinan yang tidak dapat dipecahkan. Dalam hal ini sifat keras kepala memiliki sifat yang berbeda: kemungkinan dinyatakan dalam bentuk integral multidimensi (kadang-kadang dimensi ) yang akan membutuhkan beberapa dekade hanya untuk mengevaluasinya pada satu titik. Area ini mungkin adalah markas ABC.$1000+$

Ketika perangkat lunak Bayesian membaik, masalah "lebih mudah diterapkan" menjadi diperdebatkan. Perangkat lunak Bayesian dikemas dalam bentuk yang lebih mudah dan lebih mudah. Contoh kasus terbaru adalah dari artikel berjudul, estimasi Bayes menggantikan uji t . Situs web berikut menyediakan tautan ke artikel dan perangkat lunak: http://www.indiana.edu/~kruschke/BEST/

Kutipan dari pengantar artikel:

... beberapa orang memiliki kesan bahwa kesimpulan dari metode NHST dan Bayesian cenderung setuju dalam situasi sederhana seperti perbandingan dua kelompok: "Dengan demikian, jika pertanyaan utama Anda tentang minat dapat dengan mudah diungkapkan dalam bentuk yang dapat dites, katakanlah , benar-benar tidak perlu untuk mencoba dan menerapkan mesin Bayesian penuh untuk masalah yang sangat sederhana ”(Brooks, 2003, hal 2694). Artikel ini menunjukkan, sebaliknya, bahwa estimasi parameter Bayesian memberikan informasi yang lebih kaya daripada uji t NHST dan bahwa kesimpulannya dapat berbeda dari yang ada pada uji t NHST. Keputusan berdasarkan estimasi parameter Bayesian lebih baik dibuat daripada yang didasarkan pada NHST, apakah keputusan yang diambil oleh kedua metode tersebut setuju atau tidak.

(2) Model kekuatan-tegangan. Penggunaan model kekuatan-stres populer dalam keandalan. Ide dasarnya terdiri dari memperkirakan parameter mana dan adalah variabel acak. Menariknya, perhitungan kemungkinan profil parameter ini cukup sulit secara umum (bahkan secara numerik) kecuali untuk beberapa contoh mainan seperti kasus eksponensial atau normal. Untuk alasan ini, solusi sering ad hoc perlu dipertimbangkan seperti kemungkinan empiris ( lihat$\theta=P(X<Y)$$X$$Y$) atau interval kepercayaan yang konstruksinya sulit juga dalam kerangka umum. Di sisi lain, penggunaan pendekatan Bayesian sangat sederhana mengingat bahwa jika Anda memiliki sampel distribusi posterior dari parameter distribusi dan , maka Anda dapat dengan mudah mengubahnya menjadi sampel posterior .$X$$Y$$\theta$

Misalkan adalah variabel acak dengan kerapatan dan distribusi yang diberikan masing-masing oleh dan . Demikian pula, misalkan menjadi variabel acak dengan kerapatan dan distribusi yang diberikan masing-masing oleh dan . Kemudian$X$$f(x;\xi_1)$$F(x;\xi_1)$$Y$$g(y;\xi_2)$$G(y;\xi_2)$

Perhatikan bahwa parameter ini adalah fungsi dari parameter . Dalam kasus eksponensial dan normal, ini dapat diekspresikan dalam bentuk tertutup ( lihat ) tetapi ini bukan kasus secara umum (lihat makalah ini sebagai contoh). Ini mempersulit perhitungan kemungkinan profil dan akibatnya inferensi interval klasik pada parameter ini. Masalah utama dapat diringkas sebagai berikut "Parameter yang menarik adalah fungsi yang tidak diketahui / rumit dari parameter-model dan oleh karena itu kami tidak dapat menemukan reparameterisasi yang melibatkan parameter yang menarik".$(\xi_1,\xi_2)$$\theta$

Dari perspektif Bayesian ini bukan masalah mengingat bahwa jika kita memiliki sampel dari distribusi posterior , maka kita dapat memasukkan sampel ini ke dalam untuk mendapatkan sampel posterior dari dan memberikan kesimpulan selang untuk parameter ini.( ⋆ ) $(\xi_1,\xi_2)$$(\star)$$\theta$

Saya dilatih dalam statistik frequentist (sebenarnya ekonometrik), tetapi saya tidak pernah memiliki sikap konfrontatif terhadap pendekatan Bayesian, karena sudut pandang saya adalah bahwa sumber filosofis dari pertempuran "epik" ini pada dasarnya salah arah sejak awal (saya telah mengudara pandangan saya di sini ). Sebenarnya saya berencana untuk juga melatih diri saya dalam pendekatan Bayesian dalam waktu dekat.

Mengapa? Karena salah satu aspek dari statistik frequentist yang paling memikat saya sebagai upaya matematika dan konseptual, pada saat yang sama itu paling mengganggu saya: asimtotik ukuran sampel. Setidaknya dalam ekonometrika, hampir tidak adaMakalah yang serius hari ini mengklaim bahwa salah satu dari berbagai penaksir yang biasanya diterapkan dalam ekonometrik kerap memiliki properti "sampel kecil" yang diinginkan yang kita inginkan dari penduga. Mereka semua mengandalkan sifat asimptotik untuk membenarkan penggunaannya. Sebagian besar tes yang digunakan memiliki sifat yang diinginkan hanya asimptotik ... Tapi kita tidak lagi berada di "z-land / t-land": semua peralatan canggih (dan tangguh) dari estimasi dan kesimpulan frequentist modern juga sangat istimewa - artinya kadang-kadang, sampel laaaaaaaaa ... aaaarge memang diperlukan agar properti asimptotik yang berharga ini muncul dan memengaruhi perkiraan yang diperoleh dari estimator, seperti yang telah dibuktikan dengan berbagai simulasi. Berarti puluhan ribu pengamatan - yang meskipun mereka mulai tersedia untuk beberapa bidang kegiatan ekonomi (seperti pasar tenaga kerja atau keuangan), ada yang lain (seperti ekonomi makro) di mana mereka tidak akan pernah melakukan (setidaknya selama masa hidup saya). Dan saya cukup terganggu dengan hal itu, karena itu membuat hasil yang diperoleh benar-benartidak pasti (bukan hanya stokastik).

Ekonometrika Bayesian untuk sampel kecil tidak bergantung pada hasil asimptotik. "Tapi mereka mengandalkan prior subyektif !" adalah jawaban yang biasa ... di mana, jawaban saya yang sederhana, praktis, adalah sebagai berikut: "jika fenomena tersebut sudah lama dan dipelajari sebelumnya, yang sebelumnya dapat diperkirakan dari data masa lalu. Jika fenomena itu baru , oleh apa lagi jika tidak dengan argumen subjektif, bisakah kita memulai diskusi tentang hal itu ?

Ini adalah jawaban yang terlambat, namun saya harap ini menambahkan sesuatu. Saya telah dilatih dalam bidang telekomunikasi di mana sebagian besar waktu kami menggunakan pendekatan Bayesian.

Berikut adalah contoh sederhana: Misalkan Anda dapat mengirimkan empat sinyal yang mungkin dari +5, +2.5, -2.5, dan -5 volt. Salah satu sinyal dari set ini ditransmisikan, tetapi sinyal rusak oleh noise Gaussian pada saat mencapai ujung penerima. Dalam praktiknya, sinyal juga dilemahkan, tetapi kami akan menghentikan masalah ini karena kesederhanaan. Pertanyaannya adalah: Jika Anda berada di ujung penerima, bagaimana Anda merancang detektor yang memberi tahu Anda mana salah satu dari sinyal-sinyal ini yang pada awalnya ditransmisikan?

Masalah ini jelas terletak pada domain pengujian hipotesis. Namun, Anda tidak dapat menggunakan nilai-p, karena pengujian signifikansi dapat berpotensi menolak keempat hipotesis yang mungkin, dan Anda tahu bahwa salah satu dari sinyal ini benar-benar ditransmisikan. Kita dapat menggunakan metode Neyman-Pearson untuk merancang detektor pada prinsipnya, tetapi metode ini bekerja paling baik untuk hipotesis biner. Untuk beberapa hipotesis, menjadi terlalu kaku ketika Anda harus berurusan dengan batasan angka untuk probabilitas alarm palsu. Alternatif sederhana diberikan oleh pengujian hipotesis Bayesian. Salah satu dari sinyal-sinyal ini dapat dipilih untuk ditransmisikan, sehingga yang sebelumnya bisa digunakan. Dalam kasus yang dapat disetel seperti itu, metode ini bermuara pada pemilihan sinyal dengan kemungkinan maksimum. Metode ini dapat diberikan interpretasi geometris yang bagus: pilih sinyal yang paling dekat dengan sinyal yang diterima. Ini juga mengarah ke partisi ruang keputusan menjadi sejumlah daerah keputusan, sehingga jika sinyal yang diterima jatuh dalam wilayah tertentu, maka diputuskan bahwa hipotesis yang terkait dengan wilayah keputusan itu benar. Dengan demikian desain detektor menjadi mudah.

Apa yang disebut uji statistik 'Frequentist' biasanya setara dengan pendekatan Bayesian yang pada prinsipnya lebih kompleks berdasarkan asumsi tertentu. Ketika asumsi-asumsi ini berlaku, maka pendekatan mana pun akan memberikan hasil yang sama, sehingga aman untuk menggunakan tes Frequentist yang lebih mudah diterapkan. Pendekatan Bayesian secara umum lebih aman karena membuat asumsi eksplisit tetapi jika Anda tahu apa yang Anda lakukan, tes Frequentist seringkali sama baiknya dengan pendekatan Bayesian dan biasanya lebih mudah diterapkan.

(Saya akan mencoba apa yang saya pikir akan menjadi jawaban yang paling khas.)

Katakanlah Anda memiliki situasi di mana ada beberapa variabel dan satu respons, dan Anda tahu banyak tentang bagaimana salah satu variabel harus terkait dengan respons, tetapi tidak sebanyak yang lainnya.

Dalam situasi seperti ini, jika Anda menjalankan analisis regresi berganda standar, pengetahuan sebelumnya tidak akan diperhitungkan. Sebuah meta-analisis dapat dilakukan setelahnya, yang mungkin menarik untuk menyoroti apakah hasil saat ini konsisten dengan temuan lain dan mungkin memungkinkan perkiraan yang sedikit lebih tepat (dengan memasukkan pengetahuan sebelumnya pada titik itu). Tetapi pendekatan itu tidak akan membiarkan apa yang diketahui tentang variabel itu mempengaruhi perkiraan variabel-variabel lainnya.

Opsi lain adalah mungkin untuk membuat kode, dan mengoptimalkan, fungsi Anda sendiri yang memperbaiki hubungan dengan variabel tersebut, dan menemukan nilai parameter untuk variabel lain yang memaksimalkan kemungkinan data mengingat pembatasan tersebut. Masalahnya di sini adalah bahwa sementara opsi pertama tidak cukup membatasi perkiraan beta, pendekatan ini terlalu membatasi itu.

Dimungkinkan untuk menggunakan beberapa algoritma yang akan menangani situasi dengan lebih tepat, situasi seperti ini tampaknya merupakan kandidat ideal untuk analisis Bayesian. Siapa pun yang tidak secara dogmatis menentang pendekatan Bayesian harus bersedia mencobanya dalam kasus-kasus seperti ini.

Suatu bidang penelitian di mana metode Bayes sangat mudah dan metode Frequentist sangat sulit untuk diikuti adalah bahwa Desain Optimal .

$x^{(1)}$$\beta$$x^{(2)}$$\beta$

$\beta$$x^{(i)}$$\hat \beta$$\beta$$\hat \beta$$x^{(i)}$$\beta$

$\beta$$\beta$$x$$x$

Dari perspektif Bayesian, masalah ini sangat mudah.

1. $\beta$
2. $x$
3. $x$
4. Ulangi langkah 2 & 3 hingga akurasi yang diinginkan terpenuhi

$x$

Mungkin salah satu kasus yang paling mudah dan umum di mana pendekatan Bayesian lebih mudah adalah mengukur ketidakpastian parameter.

Dalam jawaban ini, saya tidak merujuk pada interpretasi interval kepercayaan vs interval kredibel. Untuk saat ini, mari kita asumsikan bahwa pengguna baik-baik saja dengan menggunakan kedua metode tersebut.

Dengan itu, dalam kerangka Bayesian, lurus ke depan; itu adalah varian marginal dari posterior untuk setiap parameter minat. Dengan asumsi Anda dapat mengambil sampel dari posterior, maka ambil saja sampel Anda dan hitung varians Anda. Selesai!

Dalam kasus Frequentist, ini biasanya hanya mudah dalam beberapa kasus dan itu sangat menyakitkan ketika tidak. Jika kita memiliki sejumlah besar sampel vs sejumlah kecil parameter (dan siapa yang benar-benar tahu seberapa besar cukup besar), kita dapat menggunakan teori MLE untuk memperoleh CI. Namun, kriteria tersebut tidak selalu berlaku, terutama untuk kasus yang menarik (yaitu, model efek campuran). Terkadang kita dapat menggunakan bootstrap, tetapi terkadang kita tidak bisa! Dalam kasus-kasus yang tidak dapat kami lakukan, bisa sangat, sangat sulit untuk mendapatkan estimasi kesalahan, dan seringkali membutuhkan sedikit kepintaran (yaitu, formula Greenwood untuk mendapatkan SE untuk kurva Kaplan Meier). "Menggunakan kepintaran" tidak selalu merupakan resep yang andal!