Who Are The Bayesians?

92

Ketika seseorang menjadi tertarik pada statistik, dikotomi "Frequentist" vs "Bayesian" segera menjadi biasa (dan siapa yang belum membaca The Signal and the Noise , karya Nate Silver ?). Dalam pembicaraan dan kursus pengantar, sudut pandangnya sangat sering ( MLE , value), tetapi cenderung ada sebagian kecil dari waktu yang didedikasikan untuk mengagumi formula Bayes dan menyentuh gagasan distribusi sebelumnya , biasanya secara tangensial.p

Nada yang digunakan untuk membahas statistik Bayes berosilasi antara penghormatan terhadap dasar-dasar konseptualnya, dan sedikit skeptisisme mengenai jurang antara tujuan-tujuan mulia, dan kesewenang-wenangan dalam pemilihan distribusi sebelumnya, atau akhirnya menggunakan matematika frequentist.

Kalimat-kalimat seperti "jika Anda seorang Bayesian yang keras ..." banyak.

Pertanyaannya adalah, Siapakah orang Bayesian hari ini? Apakah mereka beberapa institusi akademis terpilih di mana Anda tahu bahwa jika Anda pergi ke sana Anda akan menjadi seorang Bayesian? Jika demikian, apakah mereka secara khusus dicari? Apakah kita merujuk pada beberapa ahli statistik dan matematikawan yang disegani, dan jika demikian siapa mereka?

Apakah mereka ada seperti ini, "Bayesians" murni ini? Apakah mereka akan dengan senang hati menerima label? Apakah itu selalu merupakan perbedaan yang menyanjung? Apakah mereka ahli matematika dengan slide khusus dalam rapat, kehilangan nilai dan interval kepercayaan, mudah terlihat pada brosur?p

Berapa banyak ceruk menjadi "Bayesian"? Apakah kita merujuk pada minoritas ahli statistik?

Atau apakah Bayesian-isme saat ini disamakan dengan aplikasi pembelajaran mesin?

... Atau bahkan lebih mungkin, bukankah statistik Bayesian bukan sekadar cabang statistik, melainkan sebuah gerakan epistemologis yang mentransformasikan kecenderungan perhitungan probabilitas ke dalam filsafat sains? Dalam hal ini, semua ilmuwan pada hakekatnya adalah Bayesian ... tetapi tidak akan ada yang namanya ahli statistik Bayesian murni yang tidak dapat ditembus oleh teknik-teknik yang sering terjadi (atau kontradiksi).

Antoni Parellada
sumber
18
Saya juga ingin tahu! Perasaan saya adalah bahwa "Bayesians" sering merupakan istilah yang digunakan oleh mereka yang tidak suka jenis statistik itu. Saya penggemar berat analisis data Bayesian, tetapi saya tidak menganggap diri saya sebagai Bayesian , dengan cara yang sama saya tidak menganggap diri saya seorang aljabar Matrix .
Rasmus Bååth
4
Pembagian yang jelas, dalam beberapa hal, imajiner. Kadang-kadang orang hanya suka jatuh ke dalam pendekatan mereka-dan-kita. Saya mendapat kesan bahwa setelah beberapa tahun tidak ada yang peduli lagi. "Filsafat" tidak saling bertentangan. Para frekuensi sering tidak memiliki resep ajaib untuk menemukan penduga yang baik. Tetapi mengingat dua estimator, mereka mungkin memiliki kriteria untuk memutuskan estimator mana yang terbaik. (Bahkan kemudian, dua orang sering mungkin tidak setuju satu sama lain dan menggunakan kriteria yang berbeda. Tapi saya ngelantur). ...
Aaron McDaid
1
... (lanjutan) Seorang frequentist hardcore, yang mencari kelas penaksir untuk memilih yang "terbaik", mungkin secara wajar memutuskan untuk mempertimbangkan kelas semua penaksir Bayesian (yaitu prior) dan karenanya menggunakan estimator (sebelumnya) itu yang terbaik menurut kriteria "obyektif" mereka. Apakah orang seperti itu sering (karena bagaimana mereka memilih penaksir terbaik), atau Bayesian (karena mereka hanya menganggap penaksir Bayesian sebagai kandidat)? Adakah yang peduli? Saya kira banyak orang seperti menyebut diri mereka Bayesian, meskipun mereka mungkin salah dalam penugasan diri mereka.
Aaron McDaid
3
Sekadar diketahui - MLE didasarkan pada metode likelihoodist dan bukan murni frequentist.
Lauren Goodwin
5
@Count Beberapa literatur yang saya kenal (dalam komunikasi risiko dan psikologi terkait - Kahneman, Slovic, Tersky, et al. ) Menunjukkan bahwa orang tidak menggunakan prosedur yang benar secara matematis untuk alasan tentang probabilitas. Untuk akun populer tentang beberapa ini, lihat Kahneman's Thinking, Fast and Slow. Implikasi logis dari komentar Anda, karenanya, adalah bahwa manusia bukanlah "bentuk kehidupan yang kompleks."
whuber

Jawaban:

58

Saya akan menjawab pertanyaan Anda:

Pertanyaannya adalah, Siapakah orang Bayesian hari ini?

Siapa pun yang melakukan analisis data Bayesian dan mengidentifikasi diri sebagai "Bayesian". Sama seperti seorang programmer adalah seseorang yang memprogram dan mengidentifikasi diri sebagai "programmer". Sedikit perbedaan adalah bahwa untuk alasan historis, Bayesian memiliki konotasi ideologis, karena argumen yang sering memanas antara para pendukung interpretasi probabilitas "frequentist" dan para pendukung interpretasi probabilitas "Bayesian".

Apakah mereka beberapa lembaga akademik terpilih, di mana Anda tahu bahwa jika Anda pergi ke sana Anda akan menjadi orang Bayesian?

Tidak, sama seperti bagian statistik lainnya, Anda hanya perlu buku yang bagus (dan mungkin guru yang baik).

Jika demikian, apakah mereka secara khusus dicari?

Analisis data Bayesian adalah alat yang sangat berguna ketika melakukan pemodelan statistik, yang saya bayangkan adalah keterampilan yang cukup dicari, (bahkan jika perusahaan mungkin tidak secara spesifik mencari "Bayesians").

Apakah kita merujuk pada beberapa ahli statistik dan matematikawan yang disegani, dan jika demikian siapa mereka?

Ada banyak ahli statistik terhormat yang saya percaya akan menyebut diri mereka orang Bayesian , tetapi mereka bukan orang Bayesian.

Apakah mereka ada seperti ini, "Bayesians" murni ini?

Itu agak seperti bertanya "Apakah programmer murni ini ada"? Ada artikel lucu yang disebut 46656 Varietas Bayesians , dan tentu saja ada argumen sehat di antara "Bayesians" mengenai banyak masalah mendasar. Sama seperti programmer dapat berdebat tentang kelebihan teknik pemrograman yang berbeda. (BTW, program programmer murni di Haskell).

Apakah mereka akan dengan senang hati menerima label?

Ada yang melakukannya, ada yang tidak. Ketika saya menemukan analisis data Bayesian, saya pikir itu yang terbaik sejak roti irisan (saya masih melakukannya) dan saya senang menyebut diri saya seorang "Bayesian" (paling tidak untuk membuat marah orang-orang p-value di departemen saya). Saat ini saya tidak suka istilah itu, saya pikir itu mungkin mengasingkan orang karena membuat analisis data Bayesian terdengar seperti semacam kultus, yang bukan, bukan metode yang berguna untuk memiliki dalam kotak peralatan statistik Anda.

Apakah itu selalu merupakan perbedaan yang menyanjung?

Nggak! Sejauh yang saya tahu, istilah "Bayesian" diperkenalkan oleh ahli statistik terkenal Fisher sebagai istilah yang merendahkan. Sebelum itu disebut "probabilitas terbalik" atau hanya "probabilitas".

Apakah mereka ahli matematika dengan slide khusus dalam rapat, kehilangan nilai p dan interval kepercayaan, mudah terlihat pada brosur?

Nah, ada konferensi dalam statistik Bayesian, dan saya tidak berpikir mereka memasukkan banyak nilai-p. Apakah Anda akan menemukan slide yang aneh akan tergantung pada latar belakang Anda ...

Berapa banyak ceruk menjadi "Bayesian"? Apakah kita mengacu pada minoritas ahli statistik?

Saya masih berpikir sebagian kecil ahli statistik berurusan dengan statistik Bayesian, tetapi saya juga berpikir proporsinya bertambah.

Atau apakah Bayesian-isme saat ini disamakan dengan aplikasi pembelajaran mesin?

Tidak, tetapi model Bayesian banyak digunakan dalam pembelajaran mesin. Berikut ini adalah buku pembelajaran mesin yang hebat yang menyajikan pembelajaran mesin dari perspektif Bayesian / probibalistic: http://www.cs.ubc.ca/~murphyk/MLbook/

Harapan itu menjawab sebagian besar pertanyaan :)

Memperbarui:

[C] apakah Anda dapat mempertimbangkan untuk menambahkan daftar teknik atau tempat khusus yang membedakan statistik Bayesian?

Yang membedakan statistik Bayesian adalah penggunaan model Bayesian :) Berikut adalah putaran saya tentang apa model Bayesian adalah :

Model Bayesian adalah model statistik di mana Anda menggunakan probabilitas untuk mewakili semua ketidakpastian dalam model, baik ketidakpastian tentang output tetapi juga ketidakpastian mengenai input (alias parameter) ke model. Keseluruhan teorema sebelum / posterior / Bayes mengikuti ini, tetapi menurut saya, menggunakan probabilitas untuk semuanya adalah apa yang membuatnya Bayesian (dan memang kata yang lebih baik mungkin hanya akan menjadi sesuatu seperti model probabilistik).

Sekarang, model Bayesian mungkin sulit untuk dipasangkan , dan ada sejumlah teknik komputasi yang berbeda yang digunakan untuk ini. Tetapi teknik-teknik ini tidak dalam Bayesian sendiri. Untuk memberi nama pada beberapa teknik komputasi:

  • Rantai Markov Monte Carlo
    • Metropolis-Hastings
    • Pengambilan sampel Gibbs
    • Hamiltonian Monte Carlo
  • Teluk Variasional
  • Perkiraan perhitungan Bayesian
  • Filter partikel
  • Laplace aproksimasi
  • Dan seterusnya...

Siapa ahli statistik terkenal yang memperkenalkan istilah 'Bayesian' sebagai penghinaan?

Itu seharusnya Ronald Fisher. Makalah Kapan kesimpulan Bayesian menjadi "Bayesian"? memberikan sejarah istilah "Bayesian".

Rasmus Bååth
sumber
2
Oh wow, saya ingat Anda dari posting tentang ketinggian selebriti di blog Andrew Gelman! Saya menanti-nanti untuk membaca, "46656 Varietas Bayesians". Terima kasih atas jawaban yang bagus!
Ellie Kesselman
2
Baik sekali! Saya suka bahwa Anda menjatuhkan kata 'kultus'. Saya ragu-ragu jangan sampai ada yang tersinggung. Beberapa pertanyaan saya hanya dimaksudkan sebagai pertanyaan ... pada akhirnya, saya mencoba belajar tentang statistik, dan saya ingin tahu tentang dikotomi dari dalam.
Antoni Parellada
1
Sebuah komentar: ada banyak hal yang dilabeli sebagai "Bayesian" dan orang-orang cenderung membingungkan mereka (dan melakukannya dalam T&J yang sangat ini!). Daftar yang tidak lengkap: Hipotesis Bayesian Brain (otak pada dasarnya melakukan statistik Bayesian), filsafat sains Bayesian, statistik Bayesian, pandangan Bayesian tentang probabilitas, metode komputasi untuk melakukan statistik Bayesian, dll. Tentunya banyak dari ini terkait (katakanlah Bayes (probabilitas dan Bayes. stats), tetapi Anda tidak harus membeli semuanya! Misalnya saya pikir Bayesian Brain sangat mencurigakan tetapi merangkul statistik Bayesian sebagai teknik yang berguna dan praktis .
Rasmus Bååth
1
Pos yang bagus! Namun, satu hal yang saya tidak setuju adalah jawaban Anda untuk "Apakah mereka beberapa institusi akademis terpilih, di mana Anda tahu bahwa jika Anda pergi ke sana Anda akan menjadi orang Bayesian?" pertanyaan. Jika Anda pergi ke departemen stat Duke, Anda akan menjadi seorang Bayesian.
TrynnaDoStat
2
Sobat, jika saya mendapat upvote untuk setiap pertanyaan yang saya jawab di sini saya akan memiliki ... 12 upvotes :)
Rasmus Bååth
25

Bayesians adalah orang-orang yang mendefinisikan probabilitas sebagai representasi numerik dari kemungkinan masuknya beberapa proposisi. Frequentists adalah orang-orang yang mendefinisikan probabilitas sebagai mewakili frekuensi jangka panjang. Jika Anda hanya senang dengan salah satu dari definisi ini maka Anda adalah orang Bayesian atau yang sering. Jika Anda puas dengan keduanya, dan menggunakan definisi yang paling tepat untuk tugas yang Anda hadapi, maka Anda adalah seorang ahli statistik! ; o) Pada dasarnya, itu bermuara pada definisi probabilitas, dan saya berharap bahwa sebagian besar ahli statistik yang bekerja akan dapat melihat manfaat dan kerugian dari kedua pendekatan.

sedikit skeptis tentang jurang antara tujuan mulia, dan kesewenang-wenangan dalam pemilihan distribusi sebelumnya, atau akhirnya menggunakan matematika frequentist setelah semua.

Skeptisisme juga menuju ke arah lain. Frequentism ditemukan dengan tujuan mulia menghilangkan subyektivitas pemikiran yang ada pada probabilitas dan statistik. Namun, subjektivitas masih ada (misalnya dalam menentukan tingkat signifikansi yang sesuai dalam pengujian hipotesis), tetapi itu tidak dibuat secara eksplisit, atau sering hanya diabaikan .

Dikran Marsupial
sumber
1
Ini saya tidak mengerti. Anda dapat mendefinisikan probabilitas sebagai mewakili frekuensi jangka panjang, namun percaya pada hipotesis hanya ketika P (H | O) -nya tinggi dan tahu bahwa P (O | H) (nilai-p) memberi tahu Anda sedikit. (Jika Anda hidup cukup lama dengan introspeksi yang cukup, Anda dapat langsung menghitung frekuensi yang benar.)
Aleksandr Dubinsky
2
Frequentists tidak dapat menetapkan nilai ke P (H | O) karena kebenaran hipotesis tertentu tidak memiliki frekuensi jangka panjang, itu benar atau tidak. Akibatnya, kami hanya dapat melampirkan probabilitas pada beberapa populasi (mungkin fiktif) dari eksperimen yang diambil dari populasi yang kami amati, atau "tolak H0" atau "gagal menolak H0" pada tingkat signifikansi tertentu. Sayangnya salah satu pendekatan meninggalkan kemungkinan untuk salah tafsir karena apa yang sebenarnya kita inginkan dari tes adalah P (H | O). Kedua pendekatan memiliki kegunaannya, tetapi penting untuk memahami keterbatasan mereka.
Dikran Marsupial
Apakah ada bidang matematika lain yang para praktisi menyandera filsafat? Bagaimanapun, dalam praktiknya, pada dasarnya pertanyaan yang sama muncul berulang kali. Misalnya, "apakah orang ini melakukan pembunuhan." Identitas unik dari terdakwa tidak relevan (sama seperti kita mengabaikan detail fisik dari die roll tertentu). Mengingat ribuan pembunuhan dilakukan setiap tahun (dan ribuan lainnya dituduh tidak bersalah), serangkaian keadaan apa pun kemungkinan akan terjadi lebih dari satu kali. Apa yang tidak sering terjadi dalam memutuskan kesalahan seseorang? Namun menggunakan nilai-p akan menjadi ketidakadilan yang serius.
Aleksandr Dubinsky
21

Andrew Gelman , misalnya, seorang profesor statistik dan ilmu politik di Universitas Columbia, adalah seorang Bayesian terkemuka.

Saya menduga sebagian besar rekan ISBA mungkin akan menganggap diri mereka juga orang Bayesian.

Secara umum, topik penelitian berikut biasanya mencerminkan pendekatan Bayesian. Jika Anda membaca makalah tentang mereka, kemungkinan penulis akan menggambarkan diri mereka sebagai "Bayesian"

  • Markov-Rantai Monte Carlo
  • Metode Bayesian Variasional (nama memberikan yang satu lagi)
  • Penyaringan Partikel
  • Pemrograman probabilistik
Arthur B.
sumber
2
Catatan kecil: penyaringan partikel tidak hanya untuk orang Bayesian! Saya bekerja di bawah seorang profesor di Berkeley, di mana kami menggunakan filter partikel untuk langkah E dari algoritma MCEM. Tapi ya, filter partikel biasanya digunakan oleh Bayesians.
Cliff AB
1
Jika Anda akan membayar harga komputasi, mengapa tidak mendapatkan konsistensi filosofis?
Arthur B.
8
Gelman bukan "inti keras" sekalipun. Sejauh yang saya tahu, dia melihat statistik Bayesian sebagai sesuatu yang telah membuktikan nilainya secara praktis, dan dia jelas tertarik pada sifat-sifat prosedur Bayesian yang sering terjadi.
A. Donda
5
Perlu dicatat bahwa Markov-Chain Monte Carlo tidak secara langsung terkait dengan statistik Bayesian, di saat yang sama adalah karena optimasi numerik tidak secara langsung terkait dengan estimasi kemungkinan maksimum ...
Rasmus Bååth
3
Saya pikir patut juga dicatat bahwa Andrew Gelman telah menulis bahwa dia tidak menganggap sama sekali bermakna untuk menyebut seseorang sebagai "orang Bayesian" atau "orang yang sering". Namun, TEKNIK tertentu mungkin diberi label. Menurutnya kontraproduktif membagi para ahli statistik secara sewenang-wenang ke dalam satu kubu atau kubu lainnya, karena kedua metodologi memiliki kekuatan dan kelemahan yang berbeda dalam konteks yang berbeda.
Ryan Simmons
20

Hari ini, kita semua orang Bayesian , tetapi ada dunia di luar dua kubu ini: probabilitas algoritmik. Saya tidak yakin apa referensi standar tentang hal ini, tetapi ada makalah yang indah oleh Kolmogorov tentang kompleksitas algoritmik: AN Kolmogorov, Tiga pendekatan untuk definisi konsep "kuantitas informasi" , Masalah. Peredachi Inf., 1965, Volume 1, Edisi 1, 3–11. Saya yakin ada terjemahan bahasa Inggris.

Dalam makalah ini ia mendefinisikan kuantitas informasi dalam tiga cara: kombinatorial, probabilistik dan (baru) algoritmik. Combinatorial langsung memetakan ke frequentist, Probabilist tidak secara langsung berhubungan dengan Bayesian, tetapi itu kompatibel dengannya.

UPDATE: Jika Anda tertarik pada filosofi probabilitas maka saya ingin menunjukkan sebuah karya yang sangat menarik " Asal dan warisan Grundbegriffe Kolmogorov"oleh Glenn Shafer dan Vladimir Vovk. Kami agak lupa segalanya sebelum Kolmogorov, dan ada banyak hal yang terjadi sebelum pekerjaan mani-nya. Di sisi lain, kita tidak tahu banyak tentang pandangan filosofisnya. Pada umumnya berpikir bahwa dia adalah seorang yang sering, misalnya. Kenyataannya bahwa ia tinggal di Uni Soviet pada 1930-an, di mana cukup berbahaya untuk menjelajah ke filsafat, secara harfiah, Anda bisa mendapat masalah eksistensial, yang dilakukan oleh beberapa ilmuwan (berakhir di penjara GULAG). , dia semacam dipaksa untuk secara implisit menunjukkan bahwa dia adalah seorang yang sering. Saya pikir pada kenyataannya dia bukan hanya ahli matematika, tetapi dia adalah seorang ilmuwan, dan memiliki pandangan yang kompleks tentang penerapan teori probabilitas ke kenyataan.

Ada juga makalah lain oleh Vovk tentang pendekatan algoritmik Kolmogorov terhadap keacakan: kontribusi Kolmogorov pada fondasi probabilitas

Vovk telah menciptakan pendekatan game-theoretic untuk probabilitas - juga sangat menarik.

UPDATE 2: Inilah Bayesian, sebenarnya, seorang profesor dari salah satu universitas di Washington, DC. Dia sedang berusaha menunjukkan bahwa kita harus memilih politisi yang memperbarui kepercayaan mereka berdasarkan pengalaman, pengamatan baru. Di sini adalah keyakinan posterior , setelah pengalaman baru ; adalah yang sebelumnya. Dia mencoba menjelaskan hal ini kepada peserta "Rally for Fear" Colbert / Stuart.B E P ( E | B )P(B|E)BEP(E|B)

masukkan deskripsi gambar di sini

PEMBARUAN 3:

Saya juga ingin menunjukkan sesuatu dalam karya asli Kolmogorov yang tidak umum diketahui karena alasan tertentu (atau mudah dilupakan) oleh para praktisi. Dia memiliki bagian tentang menghubungkan teori dengan kenyataan. Secara khusus, ia menetapkan dua syarat untuk menggunakan teori:

  • A. jika Anda mengulangi percobaan berkali-kali maka frekuensi kejadian akan berbeda hanya dengan jumlah kecil dari probabilitas, praktis tentu saja
  • B. Jika probabilitas sangat kecil, maka jika Anda melakukan percobaan hanya sekali maka Anda dapat dipastikan bahwa peristiwa itu tidak akan terjadi

Ada interpretasi yang berbeda dari kondisi ini, tetapi kebanyakan orang akan setuju bahwa ini bukan pandangan frequentist murni. Kolmogorov menyatakan bahwa ia mengikuti pendekatan von Mises sampai batas tertentu, tetapi ia tampaknya mengindikasikan bahwa segala sesuatunya tidak sesederhana mungkin. Saya sering memikirkan kondisi B, dan tidak bisa sampai pada kesimpulan yang stabil, itu terlihat sedikit berbeda setiap kali saya memikirkannya.

Aksakal
sumber
2
Apakah hyperlink pertama Anda seperti yang Anda maksudkan?
Antoni Parellada
3
@AntoniParellada, ini dimaksudkan untuk menjadi lelucon :)
Aksakal
Benar-benar di atas kepala saya ... Dan itu mungkin lucu, mengingat sifat diskusi yang hyperlink yang tidak masuk akal ... Maaf saya melewatkannya ...
Antoni Parellada
1
"McCain kepada Presiden Georgia:" Hari Ini, Kita Semua Orang Georgia "Haha, ini lucu.
Deep North
1
@Aksakal Kolmogorov dalam bahasa Inggris
Antoni Parellada
17

Bayesian "inti" paling keras yang saya tahu adalah Edwin Jaynes , meninggal pada tahun 1998. Saya berharap lebih lanjut "bayaran keras" Bayesian dapat ditemukan di antara murid-muridnya, terutama rekan penulis anumerta dari karya utamanya Probability Theory: The Logika Ilmu Pengetahuan , Larry Bretthorst. Bayesian bersejarah terkenal lainnya termasuk Harold Jeffreys dan Leonard Savage . Walaupun saya tidak memiliki gambaran lengkap tentang lapangan, kesan saya adalah bahwa popularitas metode Bayesian yang lebih baru (terutama dalam pembelajaran mesin) bukan karena keyakinan filosofis yang mendalam, tetapi posisi pragmatis bahwa metode Bayesian terbukti bermanfaat dalam banyak aplikasi. Saya pikir tipikal untuk posisi ini adalah Andrew Gelman .

A. Donda
sumber
Kedengarannya seperti ide romantis. Norman Rockwell dari statistik?
Antoni Parellada
1
@AntoniParellada, saya tidak tahu apa yang Anda maksud dengan itu ...
A. Donda
2
Jaynes dan Jeffreys juga ada dalam benakku. Esai yang bagus adalah "Di mana Kita Berpegang Pada Entropi Maksimal?"
Neil G
2
Hmmm, saya selalu membaca Jaynes sangat pragmatis tentang Bayes.
Rasmus Bååth
8

Saya tidak tahu siapa orang Bayesian (walaupun saya kira saya harus memiliki distribusi sebelumnya untuk itu), tetapi saya tahu siapa mereka.

Mengutip yang terkemuka, sekarang berangkat Bayesian, DV Lindley, "tidak ada yang kurang Bayesian daripada Bayesian empiris". Bagian empiris Bayes dari Metode Bayesian: Pendekatan Ilmu Sosial dan Perilaku, Edisi Kedua oleh Jeff Gill . Berarti saya mengira bahwa bahkan "Frequentists" berpikir tentang model apa yang masuk akal (pilihan bentuk model dalam beberapa hal merupakan prioritas), sebagai lawan dari Bayesians empiris yang benar-benar mekanis tentang segala sesuatu.

Saya pikir dalam praktiknya tidak ada banyak perbedaan dalam hasil analisis statistik yang dilakukan oleh eselon top Bayesian dan Frequentists. Apa yang menakutkan adalah ketika Anda melihat seorang ahli statistik berkualitas rendah yang mencoba untuk secara kaku memola dirinya sendiri (tidak pernah mengamatinya dengan seorang wanita) setelah model peran ideologisnya dengan kemurnian ideologis absolut, dan melakukan pendekatan analisis persis seperti yang ia pikir akan menjadi panutannya, tetapi tanpa kualitas pemikiran dan penilaian yang dimiliki panutan. Itu bisa menghasilkan analisis dan rekomendasi yang sangat buruk. Saya pikir ideolog yang sangat keras, tetapi berkualitas rendah, jauh lebih umum di kalangan orang Bayesia daripada yang sering. Ini khususnya berlaku dalam Analisis Keputusan.

Mark L. Stone
sumber
1
Sangat menyenangkan untuk menunjukkan beberapa kekakuan dengan humor. Ty
Antoni Parellada
6

Saya mungkin terlambat untuk diskusi ini bagi siapa pun untuk memperhatikan hal ini, tetapi saya pikir itu memalukan bahwa tidak ada yang menunjukkan fakta bahwa perbedaan paling penting antara pendekatan Bayesian dan Frequentist adalah bahwa orang Bayesian (kebanyakan) menggunakan metode yang menghormati prinsip kemungkinan sedangkan Frequentists hampir selalu tidak. Prinsip likelihood mengatakan bahwa bukti yang relevan dengan parameter model statistik yang diminati seluruhnya terkandung dalam fungsi likelihood yang relevan.

Kaum frekuensi yang peduli dengan teori atau filosofi statistik harus lebih peduli dengan argumen tentang validitas prinsip kemungkinan daripada tentang argumen tentang perbedaan antara frekuensi dan interpretasi keyakinan parsial dari probabilitas dan tentang keinginan probabilitas sebelumnya. Sementara dimungkinkan untuk interpretasi yang berbeda dari probabilitas untuk hidup berdampingan tanpa konflik dan bagi beberapa orang untuk memilih untuk memasok sebelum tanpa mengharuskan orang lain untuk melakukannya, jika prinsip kemungkinan benar dalam arti positif atau normatif maka banyak metode Frequentist kehilangan klaim mereka untuk optimalitas. Serangan-serangan yang sering terhadap prinsip kemungkinan sangat keras karena prinsip itu merusak pandangan dunia statistik mereka, tetapi sebagian besar serangan itu meleset dari sasarannya ( http://arxiv.org/abs/1507.08394).

Michael Lew
sumber
4

Anda mungkin percaya Anda seorang Bayesian, tetapi Anda mungkin salah ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Bayesians memperoleh distribusi probabilitas hasil yang menarik diberikan kepercayaan sebelumnya / informasi sebelumnya. Bagi seorang Bayesian, distribusi ini (dan rangkumannya) adalah hal yang menarik bagi kebanyakan orang. Berbeda dengan hasil-hasil "kerap" yang memberi tahu Anda peluang melihat hasil sebagai atau lebih ekstrem daripada yang diamati mengingat hipotesis nol itu benar ( p-value) atau estimasi interval untuk parameter yang menarik, 95% di antaranya akan berisi nilai sebenarnya jika Anda bisa melakukan pengambilan sampel berulang (interval kepercayaan).

Distribusi Bayesian sebelumnya adalah kontroversi karena mereka adalah sebelum ANDA. Tidak ada "benar" sebelumnya. Kebanyakan orang Bayesian pragmatis mencari bukti eksternal yang dapat digunakan untuk prior dan kemudian mengabaikan atau memodifikasi ini berdasarkan apa yang diharapkan "masuk akal" untuk kasus tertentu. Misalnya, prior skeptis mungkin memiliki "benjolan" probabilitas pada kasus nol - "Seberapa baik data yang diperlukan untuk membuat saya berubah pikiran / mengubah praktik saat ini?" Sebagian besar juga akan melihat kekuatan kesimpulan untuk prior yang berbeda.

Ada sekelompok orang Bayesian yang melihat ke dalam "referensi" prior yang memungkinkan mereka untuk membuat kesimpulan yang tidak "dipengaruhi" oleh kepercayaan sebelumnya dan sehingga mereka mendapatkan pernyataan probabilistik dan perkiraan interval yang memiliki sifat "frequentist".

Ada juga kelompok "Hardcore Bayesians" yang mungkin menganjurkan tidak memilih model (semua model salah), dan yang mungkin berpendapat bahwa analisis eksploratori pasti akan memengaruhi prior Anda sehingga tidak boleh dilakukan. Ada beberapa yang radikal meskipun ...

Di sebagian besar bidang statistik, Anda akan menemukan analisis dan praktisi Bayesian. Sama seperti Anda akan menemukan beberapa orang yang lebih memilih non-parametrik ...

MikeKSmith
sumber
2
Saya pikir saya memahami statistik Bayesian lebih baik setelah membaca posting Anda. Saya ingin tahu apakah Anda dapat mengikatnya dengan pertanyaan aktual untuk membungkusnya menjadi jawaban yang luar biasa ... Itu sepanjang garis Bayesian menjadi kelompok orang tertentu dengan nama, atau departemen matematika yang dikenal karena bias mereka terhadap pendekatan Bayes ke statistik, dll.
Antoni Parellada
1
Ada banyak individu dan departemen akademik yang menyukai statistik Bayesian sekarang dan di masa lalu. Sulit untuk memilih siapa pun secara khusus. Jika Anda lebih tertarik maka saya akan merekomendasikan melihat ISBA bayesian.org .
MikeKSmith
1
Beberapa nama yang perlu diwaspadai: Don Berry, Jim Berger, David Draper, Merlise Clyde, Mike West, David Spiegelhalter, Peter Thall ...
MikeKSmith
Ya, orang lain memposting tautannya, dan saya benar-benar membaca daftar alfabet untuk mencari pola ... Saya tidak dapat menemukannya, yang tidak mengejutkan karena saya bukan ahli statistik. Saya kira ide itu bermuara pada, Apakah Bayes orang yang tinggi, ide murni orang suka mengklaim kepatuhan, atau itu (masih), didefinisikan dengan baik, cara sehari-hari mempraktikkan statistik yang diterapkan dalam bertentangan dengan frequentism - yang terakhir yang tidak terlalu "seksi" terdengar untuk melampirkan nama Anda, tetapi mungkin lebih praktis?
Antoni Parellada
1
Sebagai jawaban atas pertanyaan terakhir Anda, keduanya. Ini jelas merupakan pendekatan filosofis. Ini melengkapi metode ilmiah yang mengatakan bahwa kita mengamati apa yang (informasi sebelumnya), berhipotesis, bereksperimen, mensintesis dan memperbarui pengetahuan kita saat ini, yang menjadi prioritas besok. Tetapi ini juga merupakan metode analisis statistik yang dapat diterapkan pada kasus individual.
MikeKSmith
4

Hanya untuk menjawab pertanyaan terakhir Anda (jadi saya tidak mencari hadiah!), Tentang hubungan antara pendekatan Bayesian / Frequentist dan posisi epistemologis seseorang, penulis paling menarik yang saya temui adalah Deborah Mayo. Titik awal yang baik adalah pertukaran 2010 antara Mayo dan Andrew Gelman (yang muncul di sini sebagai Bayesian yang agak sesat). Mayo kemudian menerbitkan tanggapan terperinci terhadap makalah Gelman & Shalizi di sini .

Alan Sloane
sumber
2

Subset dari semua Bayesians, yaitu Bayesians yang repot untuk mengirim email, tercantum di sini .

jaradniemi
sumber
Saya menemukan ada dua profesor stat yang mengidentifikasi diri mereka sebagai orang Bayesian. Ini pasti daftar yang bagus.
Aksakal
1
@Aksakal Saya pikir itu lebih merupakan cerminan dari fakta bahwa ahli statistik berasal dari berbagai latar belakang. Jika kriterianya adalah "orang-orang yang telah menerbitkan dalam jurnal statistik utama" maka banyak lusinan nama itu dihitung, apa pun nama departemen mereka. Saya mengenali sejumlah besar hanya memindai daftar.
Glen_b
@ Akakal Saya tidak mengerti maksud Anda. Ada 2 (mungkin 3) profesor statistik dalam 5 orang pertama dalam daftar itu.
jaradniemi
@jaradniemi, saya ingat dua profesor saya yang secara terbuka adalah orang Bayesian, kemudian menemukan mereka dalam daftar. Ini membuat saya berpikir bahwa daftar itu mungkin representatif.
Aksakal
2

Saya akan memanggil Bruno de Finetti dan LJ Savage Bayesians. Mereka mengerjakan fondasi filosofisnya.

AlaskaRon
sumber
10
Sejak De Finetti (perhatikan ejaannya) mati 30 tahun yang lalu dan Savage 44 tahun yang lalu, mereka hampir tidak bisa dikenali sebagai menjawab "Siapa Bayesian hari ini?", Kecuali mereka entah bagaimana telah bangkit sebagai zombie dan menerbitkan dengan nama samaran.
whuber
@whuber ... Kedengarannya (dari luar) lebih seperti ide yang bagus dan agung ... mirip dengan memikirkan diri sendiri sebagai berbasis bukti, terus memperbarui pandangan kita tentang dunia berdasarkan pada prior kita dan bukti yang dikumpulkan. Bayes sebagai epistemologi ... daripada kepatuhan yang ketat pada serangkaian teknik statistik yang "berbeda" ....
Antoni Parellada
0

Untuk memahami perdebatan mendasar antara frequentis dan Bayesia, akan sulit untuk menemukan suara yang lebih otoritatif daripada Bradley Efron.

Topik ini telah menjadi tema yang telah ia sentuh berkali-kali dalam karirnya, tetapi secara pribadi saya menemukan salah satu makalah yang lebih tua membantu: Kontroversi dalam Yayasan Statistik (yang ini memenangkan penghargaan untuk keunggulan ekspositoris).

gnarledRoot
sumber