Kapan (jika pernah) adalah pendekatan yang sering secara substantif lebih baik daripada Bayesian?

72

Latar belakang : Saya tidak memiliki pelatihan formal dalam statistik Bayesian (walaupun saya sangat tertarik untuk belajar lebih banyak), tetapi saya cukup tahu - saya pikir - untuk mendapatkan inti mengapa banyak orang merasa seolah-olah mereka lebih disukai daripada statistik Frequentist. Bahkan para sarjana dalam statistik pengantar (dalam ilmu sosial) kelas yang saya ajarkan menemukan pendekatan Bayesian menarik - "Mengapa kita tertarik dalam menghitung probabilitas data, mengingat nol? Mengapa kita tidak bisa mengukur probabilitas dari hipotesis nol? Atau hipotesis alternatif? Dan saya juga membaca utas - utas seperti ini , yang membuktikan manfaat empiris dari statistik Bayesian juga. Tetapi kemudian saya menemukan kutipan ini oleh Blasco (2001; penekanan ditambahkan):

Jika peternak hewan tidak tertarik pada masalah filosofis yang terkait dengan induksi, tetapi dalam alat untuk menyelesaikan masalah, baik sekolah inferensi Bayesian dan frequentist sudah mapan dan tidak perlu untuk membenarkan mengapa satu atau sekolah lain lebih disukai. Tak satu pun dari mereka sekarang memiliki kesulitan operasional, dengan pengecualian beberapa kasus yang kompleks ... Untuk memilih satu sekolah atau yang lain harus terkait dengan apakah ada solusi di satu sekolah yang tidak ditawarkan oleh sekolah lain , hingga seberapa mudah masalah diselesaikan , dan betapa nyamannya perasaan ilmuwan dengan cara ekspresi tertentu.

Pertanyaan : Kutipan Blasco tampaknya menunjukkan bahwa mungkin ada saat-saat ketika pendekatan Frequentist sebenarnya lebih disukai daripada pendekatan Bayesian. Jadi saya ingin tahu: kapan pendekatan yang lebih sering dilakukan lebih disukai daripada pendekatan Bayesian? Saya tertarik pada jawaban yang menangani pertanyaan baik secara konseptual (yaitu, kapan mengetahui probabilitas data dikondisikan pada hipotesis nol sangat berguna?) Dan secara empiris (yaitu, dalam kondisi apa metode Frequentist unggul vs Bayesian?).

Itu juga akan lebih baik jika jawaban disampaikan seaksesif mungkin - akan lebih baik untuk mengambil beberapa tanggapan kembali ke kelas saya untuk dibagikan kepada siswa saya (meskipun saya mengerti beberapa tingkat teknis diperlukan).

Akhirnya, meskipun menjadi pengguna reguler dari statistik Frequentist, saya sebenarnya terbuka untuk kemungkinan bahwa Bayesian baru saja menang.

jsakaluk
sumber
10
Ketika Anda berurusan dengan probabilitas objektif, yaitu proses stokastik alami. Misalnya, peluruhan radioaktif tidak ada hubungannya dengan kepercayaan subjektif Anda atau informasi yang tidak diketahui, atau hampir semua hal lainnya. Itu hanya berjalan dengan kecepatannya sendiri, dan atom benar-benar putus secara acak .
Aksakal
6
Lihat pertanyaan baru-baru ini yang sayangnya ditutup terlalu luas (saya memilih untuk membuka kembali tetapi tidak pernah ada): stats.stackexchange.com/questions/192572 . Anda menanyakan hal yang persis sama. Periksa jawabannya di sana.
Amuba mengatakan Reinstate Monica
5
@Aksakal: Saya akan senang berdiskusi tapi ini di luar topik dan kami akan diberitahu jadi saya tutup mulut (dan hitung).
Amuba mengatakan Reinstate Monica
12
"Bayesians menjawab pertanyaan yang diminati semua orang dengan menggunakan asumsi yang tidak seorang pun percaya, sementara yang sering menggunakan logika tanpa cela untuk menangani masalah yang tidak menarik bagi siapa pun" - Louis Lyons
Ruggero Turra
4
@ jsakaluk, perhatikan bagaimana benteng Bayesia adalah area di mana tidak ada cukup data atau ketika prosesnya tidak stabil, yaitu ilmu sosial, ilmu psudo, ilmu kehidupan, dll. Tidak perlu menjadi Bayesian dalam mekanika kuantum atau sebagian besar fisika. Memang, Anda dapat menjadi orang Bayes di sana juga, hanya saja kesimpulan Anda tidak akan berbeda dengan yang sering
Aksakal

Jawaban:

54

Berikut lima alasan mengapa metode yang sering digunakan mungkin lebih disukai:

  • Lebih cepat. Mengingat bahwa statistik Bayesian sering memberikan jawaban yang hampir identik dengan jawaban yang sering (dan ketika tidak, tidak jelas 100% bahwa Bayesian selalu merupakan jalan yang harus ditempuh), fakta bahwa statistik frequentist dapat diperoleh seringkali beberapa kali lipat lebih cepat adalah argumen yang kuat. Demikian juga, metode frequentist tidak memerlukan banyak memori untuk menyimpan hasilnya. Meskipun hal-hal ini mungkin tampak agak sepele, terutama dengan kumpulan data yang lebih kecil, fakta bahwa Bayesian dan Frequentist biasanya setuju dalam hasil (terutama jika Anda memiliki banyak data informatif) berarti bahwa jika Anda akan peduli, Anda dapat mulai memperhatikan yang kurang penting sesuatu. Dan tentu saja, jika Anda hidup di dunia data besar, ini tidak sepele sama sekali.

  • Statistik non-parametrik. Saya mengakui bahwa statistik Bayesian memang memiliki statistik non-parametrik, tetapi saya berpendapat bahwa sisi sering lapangan memiliki beberapa alat praktis yang benar-benar tak terbantahkan, seperti Fungsi Distribusi Empiris. Tidak ada metode di dunia yang akan menggantikan EDF, maupun kurva Kaplan Meier, dll. (Walaupun jelas bukan berarti metode tersebut adalah akhir dari analisis).

  • Kurang diagnostik. Metode MCMC, metode yang paling umum untuk pemasangan model Bayesian, biasanya membutuhkan lebih banyak pekerjaan oleh pengguna daripada bagian konter mereka yang sering. Biasanya, diagnostik untuk perkiraan MLE sangat sederhana sehingga implementasi algoritma yang baik akan melakukannya secara otomatis (walaupun itu tidak berarti setiap implementasi yang tersedia adalah baik ...). Dengan demikian, diagnosa algoritme frequentist biasanya "pastikan tidak ada teks merah saat memasang model". Mengingat bahwa semua ahli statistik memiliki bandwidth terbatas, ini membebaskan lebih banyak waktu untuk mengajukan pertanyaan seperti "apakah data saya benar-benar normal?" atau "apakah bahaya ini benar - benar proporsional?", dll.

  • Inferensi yang valid di bawah salah spesifikasi model. Kita semua pernah mendengar bahwa "Semua model salah tetapi ada yang berguna", tetapi berbagai bidang penelitian menganggap ini lebih atau kurang serius. Literatur Frequentist penuh dengan metode untuk memperbaiki inferensi ketika model tidak ditentukan: bootstrap estimator, cross-validation, estimator sandwich (tautan juga membahas inferensi MLE umum di bawah model yang salah spesifikasi), persamaan estimasi umum (GEE), metode kuasi-kemungkinan, dll. Sejauh yang saya tahu, ada sangat sedikit dalam literatur Bayesian tentang kesimpulan di bawah salah spesifikasi model (meskipun ada banyak diskusi tentang pengecekan model, yaitu, pemeriksaan prediksi posterior). Saya tidak berpikir ini hanya kebetulan: mengevaluasi bagaimana penaksir berperilaku selama percobaan berulang tidak memerlukan penaksir untuk didasarkan pada model "benar", tetapi menggunakan teorema Bayes tidak!

  • Bebas dari sebelumnya (ini mungkin alasan paling umum mengapa orang tidak menggunakan metode Bayesian untuk semuanya). Kekuatan sudut pandang Bayesian sering disebut-sebut sebagai penggunaan prior. Namun, dalam semua bidang terapan yang telah saya kerjakan, gagasan informatif sebelum analisis tidak dipertimbangkan. Membaca literatur tentang cara mendapatkan prior dari para ahli non-statistik memberikan alasan yang bagus untuk ini; Saya telah membaca makalah yang mengatakan hal-hal seperti (manusia jerami yang kejam seperti parafrase milik saya sendiri) "Tanyakan pada peneliti yang mempekerjakan Anda karena mereka kesulitan memahami statistik untuk memberikan kisaran bahwa mereka 90% yakin ukuran efek yang mereka kesulitan bayangkan akan berada di. Kisaran ini biasanya akan terlalu sempit, jadi sewenang-wenang mencoba membuat mereka sedikit memperluasnya. Tanyakan kepada mereka apakah kepercayaan mereka terlihat seperti distribusi gamma. Anda mungkin harus menggambar distribusi gamma untuk mereka, dan menunjukkan bagaimana ia dapat memiliki ekor yang berat jika parameter bentuknya kecil. Ini juga akan melibatkan menjelaskan apa itu PDF untuk mereka. "(Catatan: Saya tidak berpikir bahkan ahli statistik benar-benar dapat mengatakan secara akuratapriori apakah mereka 90% atau 95% yakin apakah ukuran efek terletak pada kisaran, dan perbedaan ini dapat memiliki efek besar pada analisis!). Sejujurnya, saya bersikap tidak ramah dan mungkin ada situasi di mana memunculkan pendahuluan mungkin sedikit lebih mudah. Tetapi Anda dapat melihat bagaimana ini adalah kaleng cacing. Bahkan jika Anda beralih ke prior non-informatif, itu masih bisa menjadi masalah; ketika mengubah parameter, apa yang mudah keliru untuk prior non-informatif tiba-tiba dapat dilihat sebagai sangat informatif! Contoh lain dari hal ini adalah saya sudah berbicara dengan beberapa peneliti yang tidak mauingin mendengar apa interpretasi ahli lain dari data itu karena secara empiris, para ahli lain cenderung terlalu percaya diri. Mereka lebih suka mengetahui apa yang bisa disimpulkan dari data pakar lain dan kemudian sampai pada kesimpulan mereka sendiri. Saya tidak dapat mengingat di mana saya mendengarnya, tetapi di suatu tempat saya membaca frasa "jika Anda seorang Bayesian, Anda ingin semua orang menjadi seorang Frequentist". Saya menafsirkan itu berarti bahwa secara teoritis, jika Anda seorang Bayesian dan seseorang menggambarkan hasil analisis mereka, Anda harus terlebih dahulu mencoba untuk menghapus pengaruh sebelumnya dan kemudian mencari tahu apa dampaknya jika Anda telah menggunakan Anda sendiri. Latihan kecil ini akan disederhanakan jika mereka memberi Anda interval kepercayaan daripada interval yang kredibel!

Tentu saja, jika Anda mengabaikan prior informatif, masih ada kegunaan dalam analisis Bayesian. Secara pribadi, ini di mana saya percaya utilitas tertinggi mereka terletak; ada beberapa masalah yang sangat sulit untuk mendapatkan jawaban dari dalam menggunakan metode MLE tetapi dapat diselesaikan dengan mudah dengan MCMC. Tapi pandangan saya tentang ini adalah utilitas tertinggi Bayesian adalah karena alasan kuat di pihak saya, jadi bawa dengan sebutir garam.

Cliff AB
sumber
1
(+1) Jawaban yang bagus, meskipun saya berasumsi maksud Anda tidak memerlukan banyak memori untuk menyimpan hasilnya?
jsakaluk
1
Dalam hal kebebasan dari prior: apakah Anda mengatakan bahwa semakin sedikit Anda harus memikirkan dan memahami masalah Anda, semakin baik? Saya kenal beberapa vendor perangkat lunak yang ingin berbicara dengan Anda, sehingga Anda dapat menunjuk-n-klik - atau lebih baik, satu-klik - dan memiliki jawaban untuk masalah apa pun yang dapat Anda bayangkan! Heck, Anda bahkan tidak perlu masalah, cukup masukkan data Anda ke situs web mereka dan mereka akan menemukan semua masalah yang mungkin terjadi dan menyelesaikannya, jangan terlalu manis! (Maaf, tidak bisa menahan diri untuk menjawab dengan komentar kasar seperti pria jerami.)
Wayne
1
@ Walkne: Saya tahu Anda bercanda, tapi itu 100% benar. Statistik adalah alat untuk menjawab masalah dunia nyata. Saya benar-benar ingin menekankan bahwa ini adalah alat, bukan produk akhir. Terlepas dari sisi apa yang secara keseluruhan mengesampingkan argumen "Frequentist vs Bayesian" (saya duduk di "mana yang memberi saya jawaban terbaik untuk pertanyaan saya" sisi, yang berarti saya suka keduanya untuk masalah yang berbeda), tidak ada alasan bahwa kemudahan penggunaan adalah utilitas yang sangat nyata untuk alat apa pun.
Cliff AB
Tentu saja, jika alat Anda sering menghasilkan produk yang mengerikan itu masalah. Dan jika saya yakin bahwa metode frequentist melakukan ini, tetapi metode Bayesian tidak, saya akan segera mendukung metode Bayesian.
Cliff AB
1
@CliffAB: Kemudahan penggunaan penting, dan seperti yang Anda katakan jika hasilnya memiliki kualitas yang sama, mengapa memilih yang lebih sulit untuk digunakan? Pada saat yang sama, memikirkan, membuat secara eksplisit, dan memahami prior (bukan Bayesian, yang saya maksudkan secara harfiah adalah prior yang dimiliki oleh setiap ilmuwan, setiap bidang, dan setiap studi) sangat penting untuk sains yang baik. Statistik Bayesian eksplisit dan memaksa Anda untuk memikirkan dan memahami beberapa masalah ini. Sejauh ini bukan hanya ketidaknyamanan pedantic, itu bisa dibilang baik, dan sebaliknya tidak buruk juga.
Wayne
23

Beberapa keuntungan nyata dari statistik frequentist:

  • Sering ada solusi bentuk tertutup untuk masalah yang sering terjadi, sedangkan Anda akan membutuhkan konjugat sebelum memiliki solusi bentuk tertutup dalam analog Bayesian. Ini berguna karena sejumlah alasan - salah satunya adalah waktu perhitungan.
  • Suatu alasan yang, semoga, pada akhirnya akan hilang: orang awam diajarkan statistik yang sering. Jika Anda ingin dipahami oleh banyak orang, Anda perlu sering berbicara.
  • Pendekatan "Tidak Bersalah sampai terbukti bersalah" Null Hypothesis Significance Testing (NHST) berguna ketika tujuannya adalah untuk membuktikan seseorang salah (saya akan menganggap hak Anda dan menunjukkan data yang berlebihan menunjukkan Anda salah). Ya, ada analog NHST di Bayesian tetapi saya menemukan versi frequentist jauh lebih mudah dan dapat ditafsirkan.
  • Tidak ada yang sebelumnya benar - benar tidak informatif yang membuat beberapa orang merasa tidak nyaman.
TrynnaDoStat
sumber
1
(+1) Terima kasih - dapatkah Anda sedikit menjelaskan poin pertama? Sebagai seseorang yang tidak berpengalaman dalam Bayesian, poin yang Anda buat tentang perlunya "konjugat prior" (?) Sedikit hilang pada saya ...
jsakaluk
5
Saya tidak berpikir Anda menafsirkan uji hipotesis frequentist dengan benar. Anda baru saja memberikan , tetapi nilai-p sebenarnya . Interpretasi yang benar dari nilai-p: diberikan nol, hanya ada % peluang untuk mendapatkan hasil yang ekstrem atau lebih ekstrem daripada yang diamati. Kesalahan penafsiran ini sering muncul ketika memperdebatkan pendekatan Bayesian. Selain itu saya suka jawaban Anda. P ( D a t aP(H0|Data)αP(Data|H0)α
Zachary Blumenfeld
@ ZacharyBlumenfeld Terima kasih untuk menunjukkan itu, saya punya Bayesian di pikiran saya. Saya akan memperbaikinya sekarang.
TrynnaDoStat
1
@ jsakaluk Jika posterior dan prior adalah distribusi yang sama, prior dikatakan konjugat - menjamin bentuk posterior tertutup. Misalnya, jika data kami adalah Bernoulli dan kami memilih Beta ( , ) sebelumnya maka kami tahu bahwa posterior adalah Beta ( , ) tanpa harus melakukan simulasi, pengambilan sampel, atau perhitungan yang intens. β α + n i = 1 x i β + n - n i = 1 x iαβα+i=1nxiβ+ni=1nxi
TrynnaDoStat
16

Alasan paling penting untuk menggunakan pendekatan Frequentist, yang secara mengejutkan belum disebutkan, adalah kontrol kesalahan. Sangat sering, penelitian mengarah pada interpretasi dikotomis (haruskah saya membangun studi tentang ini, atau tidak? Haruskah menerapkan intervensi, atau tidak?). Pendekatan Frequentist memungkinkan Anda untuk mengontrol tingkat kesalahan Tipe 1 Anda secara ketat. Pendekatan Bayesian tidak (walaupun beberapa mewarisi batas universal dari pendekatan kemungkinan, tetapi bahkan kemudian, tingkat kesalahan dapat cukup tinggi dalam sampel kecil dan dengan ambang bukti yang relatif rendah (misalnya, BF> 3). Anda dapat memeriksa properti Frequentist dari Faktor Bayes (lihat misalnya http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513) tapi itu masih pendekatan Frequentist. Saya pikir sangat sering, para peneliti lebih peduli tentang kontrol kesalahan daripada tentang mengukur bukti per se (relatif terhadap beberapa hipotesis tertentu), dan saya pikir setidaknya, semua orang peduli tentang kontrol kesalahan sampai batas tertentu, dan dengan demikian dua pendekatan harus digunakan saling melengkapi.

Daniel Lakens
sumber
Poin bagus. Saya juga memikirkan metode sekuensial kelompok dan bentuk-bentuk pengujian berganda lainnya, di mana tampaknya (dari sudut pandang saya yang sempit, yang mungkin telah mengabaikan bagian-bagian penting dari literatur) karena kurangnya minat di pihak Bayesian (jadi jauh) dalam hal mendapatkan semacam kontrol kesalahan. Tentu saja dalam banyak keadaan, metode Bayesian - terutama dengan prior yang agak skeptis atau semacam penyusutan melalui model hierarkis sedikit banyak mengendalikan kesalahan hingga tingkat yang tidak dapat dikenali, tetapi lebih banyak pemikiran telah dilakukan pada pihak yang sering ada di sana.
Björn
3
(+1) Saya sangat suka poin ini ... karena itu adalah alasan saya secara filosofis sering .... ketika kita melakukan statistik untuk membantu dengan inferensi, maka kita ingin kesimpulan kita menjadi lebih akurat (yaitu, lebih sedikit kesalahan) dari tebakan buta. Bahkan, jika saya benar-benar peduli tentang kesimpulan saya benar atau salah (dalam arti divalidasi oleh studi lanjutan), maka tingkat kesalahan sangat penting. Saya hanya tidak bisa merasa nyaman dengan probabilitas Bayesian (namun, metode itu sendiri sangat berguna sebagai "penduga reguler" yang masuk akal untuk kuantitas ketika ukuran sampel kecil ... pikirkan Agresit-Coull)
Ini kedengarannya lebih seperti teori keputusan daripada bayes / perbandingan frequentist. Juga, dengan pendekatan bayesian Anda tidak perlu khawatir tentang menghentikan aturan .... Saya juga mengerti bahwa bayes dapat mencapai "keseimbangan" yang lebih baik antara tipe 1 dan tipe 2 tingkat kesalahan ....
probabilityislogic
8

Saya pikir salah satu pertanyaan terbesar, sebagai ahli statistik, Anda harus bertanya pada diri sendiri adalah apakah Anda percaya atau tidak, atau tidak, berpegang pada prinsip kemungkinan. Jika Anda tidak percaya pada prinsip kemungkinan maka saya pikir paradigma frequentist untuk statistik bisa sangat kuat, namun, jika Anda percaya pada prinsip kemungkinan, maka (saya percaya) Anda pasti harus mendukung paradigma Bayesian dalam atau untuk tidak melanggarnya.


Jika Anda tidak terbiasa dengan hal itu, apa yang dikatakan prinsip kemungkinan adalah sebagai berikut:

θx

(θ;x)=p(x|θ)
x

xy(θ;x)(θ;y)C(x,y)

(θ;x)=C(x,y)(θ;y)for all θ,

xy

C(x,y)(x,y)C(x,y)θ

C(x,y)=1θθ


Sekarang, salah satu yang menarik dari statistik Bayesian adalah bahwa, di bawah prior priors, paradigma Bayesian tidak pernah melanggar prinsip kemungkinan. Namun, ada skenario yang sangat sederhana di mana paradigma frequentist akan melanggar prinsip kemungkinan.

Berikut adalah contoh yang sangat sederhana berdasarkan pengujian hipotesis. Pertimbangkan yang berikut ini:

Pertimbangkan percobaan di mana 12 uji coba Bernoulli dijalankan dan 3 keberhasilan diamati. Bergantung pada aturan penghentian, kami dapat mengkarakterisasi data sebagai berikut:

  • X|θBin(n=12,θ)x=3
  • Y|θNegBin(k=3,θ)y=12

Dan dengan demikian kita akan mendapatkan fungsi kemungkinan berikut: yang menyiratkan bahwa dan dengan demikian, dengan Prinsip Likelihood, kita harus mendapatkan kesimpulan yang sama tentang dari kemungkinan mana pun.

1(θ;x=3)=(123)θ3(1θ)92(θ;y=12)=(112)θ3(1θ)9
1(θ;x)=C(x,y)2(θ,y)
θ

Sekarang, bayangkan menguji hipotesis berikut dari paradigma frequentist

Ho:θ12versusHa:θ<12

Untuk model Binomial kami memiliki yang berikut:

p-value=P(X3|θ=12)=(120)(12)12+(121)(12)12+(122)(12)12+(123)(12)12=0.0723

Perhatikan bahwa tetapi persyaratan lainnya berlaku tidak memenuhi prinsip kemungkinan.(123)(12)12=1(12;x=3)

Untuk model Binomial Negatif, kami memiliki yang berikut ini:

p-value=P(Y12|θ12)=(112)(12)12+(122)(12)12+(132)(12)12+...=0.0375

Dari perhitungan nilai-p di atas kita melihat bahwa dalam model Binomial kita akan gagal untuk menolak tetapi menggunakan model Binomial Negatif kita akan menolak . Jadi, meskipun ada nilai-p, dan keputusan berdasarkan nilai-p ini, tidak bersamaan. Argumen p-value ini adalah salah satu yang sering digunakan oleh Bayesians untuk menentang penggunaan nilai-p Frequentist.HoHo1(θ;x)2(θ;y)

Sekarang pertimbangkan lagi pengujian hipotesis berikut, tetapi dari paradigma Bayesian

Ho:θ12versusHa:θ<12

Untuk model Binomial kami memiliki yang berikut:

P(θ12|x)=1/21π(θ|x)dx=1/21θ3(1θ)9π(θ)dθ/01θ3(1θ)9π(θ)dθ

Demikian pula, untuk model Binomial Negatif kami memiliki yang berikut:

P(θ12|y)=1/21π(θ|x)dx=1/21θ3(1θ)9π(θ)dθ/01θ3(1θ)9π(θ)dθ

Sekarang menggunakan aturan keputusan Bayesian, pilih jika (atau beberapa ambang lainnya) dan ulangi dengan cara yang sama untuk .Ho yP(θ12|x)>12y

Namun, sehingga kami tiba di kesimpulan yang sama dan dengan demikian pendekatan ini memenuhi Prinsip kemungkinan.P(θ12|x)=P(θ12|y)


Jadi untuk menyimpulkan ocehan saya, jika Anda tidak peduli tentang prinsip kemungkinan maka menjadi sering adalah hebat! (Jika Anda tidak tahu, saya seorang Bayesian :))

RustyStatistician
sumber
1
Saya menghargai respons yang jelas-jelas bijaksana (dan mungkin menghabiskan waktu), tetapi saya merasa jawaban ini sedikit berbeda dari mandat "jawaban ... yang disampaikan semaksimal mungkin ..." pada mandat pertanyaan.
jsakaluk
1
@ jsakaluk Saya kira apa yang saya tuju, dan ingin memastikan untuk mendukung argumen, adalah bahwa jika Anda bersedia untuk mengabaikan hal-hal tertentu yang banyak statistik terapan menerima begitu saja setiap saat, yaitu, prinsip kemungkinan, kemudian menggunakan paradigma frequentist dapat menjadi alternatif yang jauh lebih sederhana daripada paradigma Bayesian. Namun, jika Anda tidak bisa maka kemungkinan besar Anda harus menemukan alternatif.
RustyStatistician
4
@RustyStatistician Prinsip likelihood adalah prinsip sentral untuk likelihoodis. Likelihoodists tidak Bayesian sama sekali . Saya memposting tautan dalam jawaban saya. Klaim Anda "jika Anda benar-benar percaya pada prinsip kemungkinan, maka (saya yakin) Anda pasti harus mendukung paradigma Bayesian" adalah salah.
stan
@Bisa saya setuju dengan Anda bahwa ya para ahli likelihood percaya pada prinsip kemungkinan. Tetapi saya akan merasa sangat sulit untuk percaya bahwa jika Anda bertanya kepada Bayesian jika mereka percaya pada berpegang pada prinsip kemungkinan bahwa mereka akan mengatakan tidak mereka tidak (itu hanya pendapat saya Anda tidak harus setuju).
RustyStatistician
2
Peran prinsip kemungkinan (LP), prinsip kondisionalitas (CP) dan prinsip kecukupan (SP) dalam inferensi tidak sederhana..ini adalah karena prinsip-prinsip ini berhubungan dengan bukti (seperti yang disajikan oleh data), sedangkan inferensi melibatkan melampaui bukti. . Ini selalu berisiko, tetapi perlu untuk membuat kemajuan. Lihat Birnbaums Theorem (dibahas di sini ... Saya tidak harus setuju dengan seluruh makalah ini): arxiv.org/abs/1302.5468
6

Anda dan saya sama-sama ilmuwan, dan sebagai ilmuwan, terutama tertarik pada pertanyaan bukti. Untuk alasan itu, saya pikir pendekatan Bayesian, jika memungkinkan, lebih disukai.

Pendekatan Bayesian menjawab pertanyaan kami: Apa kekuatan bukti untuk satu hipotesis atas hipotesis lainnya? Pendekatan Frequentist, di sisi lain, tidak: Mereka hanya melaporkan apakah data aneh diberikan satu hipotesis.

Yang mengatakan, Andrew Gelman, Bayesian terkenal, tampaknya mendukung penggunaan nilai-p (atau p-nilai-seperti cek grafis) sebagai pemeriksaan untuk kesalahan dalam spesifikasi model. Anda dapat melihat singgungan untuk pendekatan ini dalam posting blog ini .

Pendekatannya, seperti yang saya mengerti, adalah sesuatu seperti proses dua langkah: Pertama, ia menanyakan pertanyaan Bayesian tentang apa bukti untuk satu model di atas yang lain. Kedua, ia menanyakan pertanyaan Frequentist tentang apakah model yang disukai benar-benar terlihat masuk akal mengingat data itu. Sepertinya pendekatan hybrid yang masuk akal bagi saya.

CoolBuffScienceDude
sumber
1
Meskipun tautan ke blog Gelman harus tetap valid, itu tidak akan "hari ini" setelah tengah malam. Diedit sesuai.
Nick Cox
8
Saya sangat tidak setuju dengan notasi bahwa pendekatan frequentist tidak mengukur bukti, dan bahwa ini semata-mata di dunia Bayesian. Anda meninggalkan asal pengujian hipotesis, seperti tes LR, mengukur bukti dari satu hipotesis terhadap bukti untuk yang lain.
Cliff AB
1
(+1) ke @CliffAB - untuk semua orang yang berpikir tentang statistik "sering", tolong, tolong lihat "rasio kemungkinan", "Teorema Birnbaum", dan mungkin membaca sedikit Royall .... jangan langsung ke argumen manusia yang melibatkan NHST - yang, omong-omong, tampaknya tidak menghambat kemajuan ilmiah meskipun cacatnya dianggap bencana .... itu karena statistik bukan program MINITAB berbasis karbon ... mereka BERPIKIR [ya, melakukan statistik adalah sebenarnya sebuah profesi, seperti kedokteran, atau ekonomi, atau auto-mekanik, ... Anda tidak bisa hanya membaca buku, mencoba formula, dan mengharapkan kebenaran mendarat di pangkuan Anda].
2
@Bey: Secara pribadi, saya percaya bahwa nilai-p telah mengurangi proses ilmiah (dalam hal itu ahli biologi dipaksa menjadi ahli statistik paruh waktu untuk menerbitkan makalah, mengurangi waktu mereka menjadi ahli biologi), tapi saya tidak jangan berpikir alternatif untuk nilai-p dengan cara apa pun mengurangi masalah ini! Saya merasa bahwa masalah nilai-p bukanlah latar belakang teoretis mereka, tetapi kemudahan penggunaannya oleh non-ahli statistik. Probabilitas posterior, (misalnya) Saya pikir membuat masalah khusus itu lebih buruk, daripada lebih baik.
Cliff AB
2
@CliffAB sangat setuju ... tidak memikirkannya dari sisi itu..tapi itu sifat penerbitan saya kira ... kecuali departemen penelitian mampu memiliki staf statistik. Alat statistik apa pun dapat disalahgunakan oleh orang yang tidak memiliki pengetahuan dalam penggunaannya ... alat statistik kasihan tampaknya sangat mudah digunakan ...
6

Secara pribadi saya mengalami kesulitan memikirkan situasi di mana jawaban yang lebih sering lebih disukai daripada jawaban Bayesian. Pemikiran saya dirinci di sini dan di artikel blog lainnya di fharrell.com tentang masalah dengan nilai p dan pengujian hipotesis nol. Kaum frekuensi sering cenderung mengabaikan beberapa masalah mendasar. Ini hanya contoh:

  • Di luar model linier Gaussian dengan varians konstan dan beberapa kasus lainnya, nilai-p yang dihitung memiliki akurasi yang tidak diketahui untuk dataset dan model Anda
  • Ketika eksperimen berurutan atau adaptif, sering kali nilai p tidak dapat dihitung dan satu hanya dapat menetapkan tingkat keseluruhan untuk mencapaiα
  • Para frekuensi sering tampak senang tidak membiarkan kesalahan tipe I masuk ke bawah, katakanlah, 0,05 tidak masalah sekarang ukuran sampel bertambah
  • Tidak ada resep yang sering untuk bagaimana koreksi multiplisitas terbentuk, yang mengarah ke metode ad hoc hodge-podge

Mengenai poin pertama, satu model yang umum digunakan adalah model logistik biner. Kemungkinan log-nya sangat non-kuadrat, dan sebagian besar batas kepercayaan dan nilai-p yang dihitung untuk model semacam itu tidak terlalu akurat. Bandingkan dengan model logistik Bayesian, yang memberikan inferensi yang tepat.

Yang lain telah menyebutkan kontrol kesalahan sebagai alasan untuk menggunakan inferensi frequentist. Saya tidak berpikir ini logis, karena kesalahan yang mereka rujuk adalah kesalahan jangka panjang, membayangkan sebuah proses di mana ribuan tes statistik dijalankan. Seorang hakim yang mengatakan "kemungkinan keyakinan palsu jangka panjang di ruang sidang saya hanya 0,03" harus dibatalkan. Dia didakwa memiliki probabilitas tertinggi untuk membuat keputusan yang tepat untuk terdakwa saat ini . Di sisi lain satu minus probabilitas posterior efek adalah probabilitas nol atau efek mundur dan probabilitas kesalahan yang sebenarnya kita butuhkan.

Frank Harrell
sumber
2
"Tidak ada resep yang sering untuk bagaimana koreksi multiplisitas terbentuk, yang mengarah ke metode ad hoc hodge-podge." Di sisi lain, saya belum pernah melihat Bayesian melakukan koreksi multiplisitas sama sekali. Andrew Gelman dengan bangga menyatakan bahwa dia tidak pernah menggunakannya. Misalnya, saya telah melihat orang melaporkan interval tepercaya yang dapat dipercaya 95% untuk , tetapi kredibilitas bersama dari interval tersebut tidak 95%. Juga tidak jelas bagaimana cara terbaik untuk mengatasi ini. Apakah Anda punya saran atau contoh? kθ1,,θkk
civilstat
5

Banyak orang tampaknya tidak menyadari aliran filosofis ketiga: kemungkinan. Buku AWF Edwards, Likelihood, mungkin merupakan tempat terbaik untuk membacanya. Ini adalah artikel pendek yang ditulisnya.
Likelihoodisme menghindari nilai-p, seperti Bayesianisme, tetapi juga menjauhkan diri dari nilai-nilai Bayesian yang seringkali meragukan. Ada perawatan intro di sini juga.

stan
sumber
5
Ada pendekatan probabilitas algoritmik oleh Vovk, yang dikembangkan dari ide-ide Kolmogorov.
Aksakal
2
"Banyak orang tampaknya tidak menyadari adanya sekolah filsafat ketiga: kemungkinan" Saya tidak berpikir bahwa kalimat ini benar pada tahun 2016 ...
Tim
4
@Tim, meskipun semua orang yang saya kenal akrab dengan frequentism dan Bayesianism, saya belum pernah bertemu orang yang pernah mendengar kemungkinan. Penanya awal sepertinya seperti rekan-rekan saya yang terlatih dalam frequentism dan menjadi semakin tertarik pada Bayesianism. Mungkin kebanyakan orang yang membaca jawaban saya di atas berpikir saya mengacu pada estimasi kemungkinan maksimum atau menguji hipotesis menggunakan rasio kemungkinan. Nggak! Saya sarankan Yudi Pawitan dan kuliah ini
stan
7
Tidak satu pun dari pendekatan itu adalah agama, jadi tidak banyak yang bisa dipercaya, mereka hanya membantu untuk masalah tertentu, dan beberapa pendekatan lebih cocok untuk beberapa masalah dan lainnya untuk yang lain :)
Tim
1
(+1) untuk menyebutkan sekolah kemungkinan dan untuk komentar tentang Pawitan. Buku Pawitan "In All Likelihood" secara dramatis melebar dan ditingkatkan oleh praktik statistik ... Saya juga hanya mengetahui Bayes vs Frequentism. Dia menangani banyak aspek filosofis dan metodologis dari Bayes, frekuensi "klasik", dan, tentu saja, mencakup mazhab kemungkinan murni. Hanya sebuah buku yang bagus untuk menjadi pengguna statistik yang lebih canggih ... terlepas dari kecenderungan filosofis Anda.
4

Salah satu kelemahan terbesar dari pendekatan frequentist untuk membangun model selalu, seperti yang dicatat TrynnaDoStats dalam poin pertamanya, tantangan yang terkait dengan membalikkan solusi bentuk tertutup besar. Pembalikan matriks bentuk-tertutup mensyaratkan bahwa seluruh matriks tersebut tetap berada dalam RAM, batasan yang signifikan pada platform CPU tunggal dengan data dalam jumlah besar atau fitur kategorikal besar-besaran. Metode Bayesian telah mampu mengatasi tantangan ini dengan mensimulasikan undian acak dari yang ditentukan sebelumnya. Ini selalu menjadi salah satu nilai jual terbesar dari solusi Bayesian, meskipun jawaban hanya diperoleh dengan biaya yang signifikan dalam CPU.

Andrew Ainslie dan Ken Train, dalam sebuah makalah sekitar 10 tahun yang lalu yang saya kehilangan referensi, membandingkan campuran yang terbatas (yang bentuknya sering atau tertutup) dengan pendekatan Bayesian untuk pembuatan model dan menemukan bahwa di berbagai bentuk fungsional dan metrik kinerja, kedua metode ini pada dasarnya memberikan hasil yang setara. Di mana solusi Bayesian memiliki keunggulan atau memiliki fleksibilitas yang lebih besar dalam kasus-kasus di mana informasinya jarang dan sangat berdimensi tinggi.

Namun, makalah itu ditulis sebelum algoritma "divide and conquer" dikembangkan yang memanfaatkan platform paralel masif, misalnya, lihat makalah Chen dan Minge untuk informasi lebih lanjut tentang ini http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

Munculnya pendekatan D&C berarti bahwa, bahkan untuk masalah dimensi paling tinggi, jarang, paling tinggi, pendekatan Bayesian tidak lagi memiliki keunggulan dibandingkan metode yang sering terjadi. Kedua metode ini setara.

Perkembangan yang relatif baru ini patut dicatat dalam setiap perdebatan tentang keunggulan praktis atau keterbatasan dari kedua metode tersebut.

Mike Hunter
sumber
Saya pikir ini adalah tambahan yang bagus untuk diskusi (+1) tetapi saya merasa sulit untuk diikuti. Ini benar-benar, sangat, sangat menunda pukulannya ... Mungkin Anda bisa mengaturnya kembali sedikit? :)
usεr11852 mengatakan Reinstate Monic
@ user11852 Anda tidak mengatakan bahwa kiriman gagal untuk mengkomunikasikan sesuatu yang bermanfaat sedangkan Anda menemukan pengembangan logika tidak sesuai dengan standar jurnalistik. Karena utas ini telah menjadi "komunitas", saya tidak terlalu tertarik (termotivasi?) Untuk mengusahakannya di sekitar saran Anda. Itu bisa berdiri apa adanya. Tetapi terima kasih pula atas upvote dan komentarnya.
Mike Hunter
1.) Pembalikan matriks sering digunakan untuk estimasi MLE (yang hanya salah satu dari banyak metode yang sering), tetapi tidak selalu. Pekerjaan saya dalam estimasi MLE melibatkan optimasi lebih sering hingga parameter (yaitu ruang parameter dapat tumbuh secara linear dengan ukuran sampel) dan inversi matriks sama sekali bukan pilihan ... tapi saya masih mengoptimalkan kemungkinan! 2.) Pembalikan matriks masih terjadi sepanjang waktu dalam statistik Bayesian, seperti sampler pembaru blok. n
Cliff AB
@CliffAB Saya sedang memikirkan inversi tipe ANOVA dari matriks produk-silang.
Mike Hunter
@ Johnson: Saya mengerti. Tetapi poin saya adalah bahwa inversi matriks adalah ortogonal untuk metode frequentist vs bayesian; kedua kubu menggunakan alat yang melakukan sesuatu yang sangat mirip (setidaknya dalam hal biaya komputasi) dalam banyak metode mereka.
Cliff AB
3

Tes yang sering dilakukan berfokus pada pemalsuan hipotesis nol. Namun, Null Hypothesis Significance Testing (NHST) juga dapat dilakukan dari perspektif Bayesian, karena dalam semua kasus NHST hanyalah perhitungan P (Efek yang diamati | Efek = 0). Jadi, sulit untuk mengidentifikasi waktu ketika akan diperlukan untuk melakukan NHST dari perspektif yang sering.

Karena itu, argumen terbaik untuk melakukan NHST menggunakan pendekatan frequentist adalah kemudahan dan aksesibilitas. Orang-orang diajari statistik frequentist. Jadi, lebih mudah untuk menjalankan NHST yang sering, karena ada banyak paket statistik yang membuatnya mudah untuk melakukan ini. Demikian pula, lebih mudah untuk mengkomunikasikan hasil dari NHST yang sering, karena orang-orang akrab dengan bentuk NHST ini. Jadi, saya melihat itu sebagai argumen terbaik untuk pendekatan frequentist: aksesibilitas ke program statistik yang akan menjalankannya dan kemudahan komunikasi hasil kepada kolega. Ini hanya budaya, jadi, argumen ini bisa berubah jika pendekatan frequentist kehilangan hegemoni mereka.

Liz Page-Gould
sumber
5
Komentar tentang apa yang dipikirkan Fisher tampaknya terlalu berlebihan di sini kecuali jika Anda dapat memberikan kutipan yang tepat. Hipotesis nol adalah perangkat sebagai bagian dari uji signifikansi untuk mencoba mencegah para ilmuwan dari menafsirkan hasil dari sampel kecil. Fisher sama tertariknya dengan siapa pun sehingga ilmuwan harus menggunakan statistik untuk melakukan sains yang baik; dia sendiri kontributor genetika yang sangat serius.
Nick Cox
4
Saya setuju sepenuhnya, jadi saya mengedit jawaban untuk menghilangkan spekulasi tentang kondisi mental Fisher.
Liz Page-Gould
3

Beberapa komentar:

  • Perbedaan mendasar antara ahli statistik bayesian dan sering adalah bahwa bayesian bersedia untuk memperluas alat probabilitas untuk situasi di mana frequentist tidak mau.

    • Lebih khusus lagi, bayesian bersedia menggunakan probabilitas untuk memodelkan ketidakpastian dalam pikirannya sendiri atas berbagai parameter. Untuk frequentist, parameter ini adalah skalar (meskipun skalar di mana ahli statistik tidak tahu nilai sebenarnya). Bagi Bayesian, berbagai parameter direpresentasikan sebagai variabel acak! Ini sangat berbeda. Ketidakpastian Bayesian atas parameter valeus diwakili oleh prior .
  • Dalam statistik Bayesian, harapannya adalah bahwa setelah mengamati data, posterior membanjiri sebelumnya, bahwa sebelumnya tidak masalah. Tapi ini sering tidak terjadi: hasilnya mungkin peka terhadap pilihan sebelumnya! Orang Bayesian yang berbeda dengan prior yang berbeda tidak perlu setuju dengan posterior.

Poin utama yang perlu diingat adalah bahwa pernyataan ahli statistik sering adalah pernyataan yang disetujui oleh dua orang Bayesian, terlepas dari kepercayaan mereka sebelumnya!

Frequentist tidak mengomentari prior atau posisi, hanya kemungkinan.

Pernyataan ahli statistik sering dalam beberapa hal kurang ambisius, tetapi pernyataan berani dari Bayesian dapat secara signifikan bergantung pada penugasan sebelumnya. Dalam situasi di mana masalah prior dan di mana ada perbedaan pendapat tentang prior, pernyataan statistik frequentist yang lebih terbatas dan bersyarat mungkin berdiri di atas dasar yang lebih kuat.

Matthew Gunn
sumber
2

Tujuan dari banyak penelitian bukanlah untuk mencapai kesimpulan akhir, tetapi hanya untuk mendapatkan sedikit lebih banyak bukti untuk secara bertahap mendorong perasaan masyarakat tentang satu pertanyaan dalam satu arah .

Statistik Bayesian sangat diperlukan ketika apa yang Anda butuhkan adalah mengevaluasi keputusan atau kesimpulan berdasarkan bukti yang tersedia. Kontrol kualitas tidak akan mungkin tanpa statistik Bayesian. Setiap prosedur di mana Anda perlu mengambil beberapa data dan kemudian menindaklanjutinya (robot, pembelajaran mesin, pengambilan keputusan bisnis) mendapat manfaat dari statistik Bayesian.

Tetapi banyak peneliti tidak melakukan itu. Mereka menjalankan beberapa percobaan, mengumpulkan beberapa data, dan kemudian mengatakan "Data menunjuk ke sini", tanpa benar-benar terlalu khawatir tentang apakah itu kesimpulan terbaik mengingat semua bukti yang telah dikumpulkan orang lain sejauh ini. Sains bisa menjadi proses yang lambat, dan pernyataan seperti "Probabilitas bahwa model ini benar adalah 72%!" sering prematur atau tidak perlu.

Ini sesuai dengan cara matematika sederhana juga, karena statistik frequentist sering berubah secara matematis sama dengan langkah-pembaruan statistik Bayesian. Dengan kata lain, sementara statistik Bayesian adalah (Model Sebelumnya, Bukti) → Model Baru, statistik frequentist hanyalah Bukti, dan menyerahkannya kepada orang lain untuk mengisi dua bagian lainnya.

Owen
sumber
Meskipun banyak dari posting ini menarik, itu terdiri dari banyak pendapat yang tidak didukung. Silakan berkonsultasi dengan pusat bantuan kami mengenai jenis jawaban apa yang diharapkan di situs ini.
whuber
@whuber saya mengerti. Saya telah menambahkan satu kutipan yang dapat saya ingat dari atas kepala saya, tetapi sisanya saya tidak memiliki kutipan, jadi jika tampaknya terlalu tidak didukung saya dapat menghapusnya.
Owen
5
Saya terkejut bahwa Anda menyebutkan kontrol kualitas, karena sepertinya area di mana interpretasi probabilitas yang sering (frekuensi relatif lebih dari banyak uji coba) akan sangat alami: mengingat bahwa pabrik bekerja dengan benar, seberapa besar kemungkinan kita melihat sebanyak ini (atau lebih) widget rusak? Bisakah saya mendorong Anda untuk menguraikan apa yang membuat statistik Bayesian sangat berguna untuk QC?
Matt Krause
@MattKrause Misalkan tujuan kami adalah mengirimkan widget yang rusak pada tingkat <1%. Kita tahu pabrik menghasilkan widget yang rusak pada tingkat 10%, dan kami memiliki tes yang tingkat kesalahan Tipe-I dan Tipe-II adalah s dan 1 / (sqrt (4 - 1 / s ^ 2)) di mana s adalah parameter keketatan. Apa yang harus kita gunakan untuk keketatan?
Owen
2
Gagasan bahwa statistik frequentist tidak dapat menggabungkan informasi dari studi yang berurutan tampaknya mengabaikan bidang meta-analisis.
Cliff AB
2

Eksekusi aktual dari metode Bayesian lebih teknis daripada Frequentist. Dengan "lebih teknis" maksud saya hal-hal seperti: 1) memilih prior, 2) memprogram model Anda dalam BUGS / JAGS / STAN, dan 3) berpikir tentang pengambilan sampel dan konvergensi.

Jelas, # 1 cukup banyak bukan opsional, menurut definisi Bayesian. Meskipun dengan beberapa masalah dan prosedur, mungkin ada default yang wajar, agak menyembunyikan masalah dari pengguna. (Meskipun ini juga dapat menyebabkan masalah!)

Apakah # 2 merupakan masalah tergantung pada perangkat lunak yang Anda gunakan. Statistik Bayesian memiliki kecenderungan terhadap solusi yang lebih umum daripada metode statistik frequentist, dan alat-alat seperti BUGS, JAGS, dan STAN adalah ekspresi alami dari ini. Namun, ada fungsi Bayesian di berbagai paket perangkat lunak yang tampaknya berfungsi seperti prosedur frequentist biasa, jadi ini tidak selalu menjadi masalah. (Dan solusi terbaru seperti paket R rstanarmdan brmsmenjembatani kesenjangan ini.) Namun, menggunakan alat ini sangat mirip dengan pemrograman dalam bahasa baru.

Item # 3 biasanya berlaku, karena sebagian besar aplikasi Bayesian dunia nyata akan menggunakan MCMC sampling. (Di sisi lain, prosedur berbasis MLE yang sering menggunakan optimasi yang mungkin menyatu dengan minimum lokal atau tidak sama sekali, dan saya bertanya-tanya berapa banyak pengguna yang harus memeriksa ini dan tidak?)

Seperti yang saya katakan dalam komentar, saya tidak yakin bahwa kebebasan dari prior sebenarnya bermanfaat secara ilmiah. Ini tentu saja nyaman dalam beberapa cara dan pada beberapa titik dalam proses publikasi, tetapi saya tidak yakin itu benar-benar menghasilkan ilmu yang lebih baik. (Dan dalam gambaran besar, kita semua harus menyadari prior kita sebagai ilmuwan, atau kita akan menderita semua jenis bias dalam penyelidikan kita, terlepas dari metode statistik apa yang kita gunakan.)

Wayne
sumber
Sehubungan dengan (3), banyak model statistik klasik (yaitu glm) memiliki kemungkinan log-cekung, jadi sangat jarang bahwa algoritma standar gagal, di luar kasus sudut ekstrim. Berkenaan dengan masalah non-cekung (yaitu NNs), sementara ini memang memerlukan perhatian besar tentang konvergensi yang tidak benar (yang biasanya dipahami oleh pengguna), ini (tidak kebetulan) juga masalah di mana algoritma MCMC klasik akan gagal jika hanya berjalan untuk , katakanlah, seumur hidup satu manusia. Namun, umumnya lebih sulit untuk memperbaiki MCMC daripada algoritma optimasi!
Cliff AB
2

Secara konseptual : Saya tidak tahu. Saya percaya statistik Bayesian adalah cara paling logis untuk berpikir, tetapi saya tidak bisa membenarkan alasannya.

Keuntungan dari frequentist adalah lebih mudah bagi kebanyakan orang di tingkat dasar. Tetapi bagi saya itu aneh. Butuh bertahun-tahun sampai saya benar-benar bisa menjelaskan secara intelektual apa itu interval kepercayaan diri. Tetapi ketika saya mulai menghadapi situasi praktis, ide-ide yang sering muncul tampaknya sederhana dan sangat relevan.

Secara empiris

Pertanyaan paling penting yang saya coba fokuskan saat ini adalah tentang efisiensi praktis: waktu kerja pribadi, ketepatan, dan kecepatan komputasi.

Waktu kerja pribadi: Untuk pertanyaan-pertanyaan dasar, saya sebenarnya hampir tidak pernah menggunakan metode Bayesian: Saya menggunakan alat-alat dasar yang sering dan akan selalu lebih suka uji-t daripada yang setara Bayesian yang hanya akan membuat saya sakit kepala. Ketika saya ingin tahu apakah saya secara signifikan lebih baik di tictactoe daripada pacar saya, saya melakukan chi-square :-). Sebenarnya, bahkan dalam pekerjaan serius sebagai ilmuwan komputer, alat dasar frequentist hanya berharga untuk menyelidiki masalah dan menghindari kesimpulan yang salah karena acak.

Presisi: Dalam pembelajaran mesin di mana prediksi lebih penting daripada analisis, tidak ada batas absolut antara Bayesian dan frequentist. MLE adalah persetujuan yang sering terjadi: hanya penduga. Tetapi MLE (MAP) yang diregulasi adalah pendekatan Bayesian sebagian : Anda menemukan mode posterior dan Anda tidak peduli dengan posterior lainnya. Saya tidak tahu tentang pembenaran yang sering dilakukan mengapa menggunakan regularisasi. Secara praktis, regularisasi kadang-kadang hanya tak terhindarkan karena perkiraan MLE mentah terlalu dilengkapi sehingga 0 akan menjadi prediktor yang lebih baik. Jika regularisasi disetujui sebagai metode Bayesian yang sesungguhnya, maka ini saja membenarkan bahwa Bayes dapat belajar dengan lebih sedikit data.

Kecepatan komputasi: metode frequentist paling sering komputasi lebih cepat dan lebih mudah untuk diimplementasikan. Dan entah bagaimana regularisasi menyediakan cara murah untuk memperkenalkan sedikit Bayes di dalamnya. Mungkin karena metode Bayesian masih belum seoptimal mungkin. Sebagai contoh, beberapa implementasi LDA cepat saat ini. Tetapi mereka membutuhkan kerja keras. Untuk estimasi entropi, metode canggih pertama adalah Bayesian. Mereka bekerja dengan baik tetapi segera metode yang sering ditemukan dan mengambil waktu komputasi yang jauh lebih sedikit ... Untuk waktu komputasi, metode frequentist umumnya jelas lebih unggul. Ini tidak masuk akal, jika Anda seorang Bayesian, untuk memikirkan metode frequentist sebagai perkiraan metode Bayesian.

Benoit Sanchez
sumber
2
"Saya tidak tahu tentang pembenaran yang sering dilakukan mengapa menggunakan regularisasi". Itu mudah; di bawah uji coba berulang, telah terbukti mengurangi kesalahan out-of-sampel.
Cliff AB
2

Salah satu jenis masalah di mana pendekatan berbasis Frequentist tertentu pada dasarnya mendominasi setiap Bayesian adalah bahwa prediksi dalam kasus M-open.

Apa artinya M-open?

M-open menyiratkan bahwa model sebenarnya yang menghasilkan data tidak muncul di set model yang sedang kami pertimbangkan. Sebagai contoh, jika rerata sebenarnya dari adalah kuadratik sebagai fungsi , namun kami hanya mempertimbangkan model dengan rerata fungsi linear , kami berada dalam kasus M-open. Dengan kata lain, model tidak memenuhi spesifikasi menghasilkan kasus M-open.yxx

Dalam kebanyakan kasus, ini adalah masalah besar untuk analisis Bayesian; hampir semua teori yang saya tahu tentang bergantung pada model yang ditentukan dengan benar. Tentu saja, sebagai ahli statistik yang kritis, kita harus berpikir bahwa model kita selalu salah spesifikasi. Ini cukup masalah; sebagian besar teori kita didasarkan pada model yang benar, namun kita tahu itu tidak pernah benar. Pada dasarnya, kami hanya menyilangkan jari berharap model kami tidak terlalu salah.

Mengapa metode Frequentist menangani ini lebih baik?

Tidak semuanya. Misalnya, jika kita menggunakan alat MLE standar untuk membuat kesalahan standar atau membangun interval prediksi, kita tidak lebih baik daripada menggunakan metode Bayesian.

Namun, ada satu alat Frequentist tertentu yang sangat khusus ditujukan untuk tujuan ini: validasi silang. Di sini, untuk memperkirakan seberapa baik model kami akan memprediksi pada data baru, kami hanya meninggalkan beberapa data saat memasang model dan mengukur seberapa baik model kami memprediksi data yang tidak terlihat.

Perhatikan bahwa metode ini sepenuhnya ambivalen terhadap model yang tidak memenuhi spesifikasi, ini hanya menyediakan metode bagi kami untuk memperkirakan seberapa baik suatu model akan memprediksi data baru, terlepas dari apakah model itu "benar" atau tidak.

Saya tidak berpikir itu terlalu sulit untuk berpendapat bahwa ini benar-benar mengubah pendekatan untuk pemodelan prediktif yang sulit untuk membenarkan dari perspektif Bayesian (sebelum dianggap mewakili pengetahuan sebelumnya sebelum data melihat, fungsi kemungkinan adalah yang model, dll) ke salah satu itu sangat mudah untuk dibenarkan dari perspektif Frequentist (kami memilih parameter model + regularisasi yang, lebih dari pengambilan sampel berulang, mengarah ke yang terbaik dari kesalahan sampel).

Ini telah sepenuhnya merevolusi cara inferensi prediktif dilakukan. Saya tidak berpikir ahli statistik mana pun akan (atau setidaknya, harus) secara serius mempertimbangkan model prediksi yang tidak dibangun atau diperiksa dengan validasi silang, ketika itu tersedia (yaitu, kita dapat beranggapan bahwa pengamatan adalah independen, tidak mencoba untuk memperhitungkan untuk bias pengambilan sampel, dll.).

Cliff AB
sumber