Haruskah saya mengajar statistik Bayesian atau frequentist terlebih dahulu?

32

Saya membantu anak laki-laki saya, saat ini di sekolah menengah, memahami statistik, dan saya sedang mempertimbangkan untuk memulai dengan beberapa contoh sederhana tanpa mengabaikan beberapa pandangan sekilas terhadap teori.

Tujuan saya adalah memberi mereka pendekatan yang paling intuitif namun konstruktif secara instrumental untuk mempelajari statistik dari awal, untuk merangsang minat mereka dalam mengejar statistik dan pembelajaran kuantitatif lebih lanjut.

Namun, sebelum memulai, saya memiliki pertanyaan tertentu dengan implikasi yang sangat umum:

Haruskah kita mulai mengajar statistik menggunakan kerangka kerja Bayesian atau frequentist?

Meneliti sekitar saya telah melihat bahwa pendekatan umum dimulai dengan pengantar singkat tentang statistik frequentist diikuti oleh diskusi mendalam tentang statistik Bayesian (misalnya Stangl ).

Joe_74
sumber
5
Pertanyaan Anda sulit dijawab tanpa lebih banyak konteks. Apa yang ingin Anda capai?
Glen_b -Reinstate Monica
4
Menjadi orangtua yang buruk mengajarkan statistik Bayesian kepada anak-anak, seperti menuangkan vodka atau menyalakan cerutu. Perhatikan bahwa baik vodka maupun cerutu baik-baik saja untuk orang dewasa selama mereka menemukannya sendiri
Aksakal
2
@Aksakal Saya sebenarnya berencana untuk mengajari mereka teorema Bayes sambil menyeruput vodka dan mengisap havanas ... ;-)
Joe_74
2
Itu cara yang baik untuk menjauhkan anak dari statistik bayesian selama beberapa tahun. Anda memberi tahu mereka bahwa itu hanyalah aplikasi teorema Bayes. Teorema ini berfungsi dengan baik dalam statistik frequentist
Aksakal
5
Buku Nate Silver "The Signal and the Noise" menjelaskan tentang pengajaran statistik Bayesian kepada kaum muda.
Lloyd Christmas

Jawaban:

25

Statistik Bayesian dan statistik frequentist didasarkan pada teori probabilitas, tetapi saya akan mengatakan bahwa yang pertama lebih bergantung pada teori sejak awal. Di sisi lain, tentunya konsep interval yang kredibel lebih intuitif daripada interval kepercayaan, begitu siswa memiliki pemahaman yang baik tentang konsep probabilitas. Jadi, apa pun yang Anda pilih, saya pertama-tama menganjurkan untuk memperkuat pemahaman mereka tentang konsep probabilitas, dengan semua contoh tersebut berdasarkan pada dadu, kartu, roulette, paradoks Monty Hall, dll.

Saya akan memilih satu pendekatan atau yang lain berdasarkan pada pendekatan yang murni utilitarian: apakah mereka lebih cenderung mempelajari statistik frequentist atau Bayesian di sekolah? Di negara saya, mereka pasti akan mempelajari kerangka kerja frequentist pertama (dan terakhir: tidak pernah mendengar siswa sekolah menengah diajarkan statistik Bayesian, satu-satunya kesempatan adalah baik di universitas atau sesudahnya, dengan belajar mandiri). Mungkin di dalam kamu berbeda. Perlu diingat bahwa jika mereka perlu berurusan dengan NHST (Null Hypothesis Significance Testing), yang lebih alami muncul dalam konteks statistik frequentist, IMO. Tentu saja Anda dapat menguji hipotesis juga dalam kerangka Bayesian, tetapi ada banyak ahli statistik Bayesian terkemuka yang menganjurkan tidak menggunakan NHST sama sekali, baik di bawah kerangka frequentist atau Bayesian (misalnya, Andrew Gelman dari Universitas Columbia).

Akhirnya, saya tidak tahu tentang tingkat siswa sekolah menengah di negara Anda, tetapi di negara saya akan sangat sulit bagi siswa untuk berhasil mengasimilasi (dasar-dasar) teori probabilitas dan kalkulus integral pada saat yang sama. Jadi, jika Anda memutuskan untuk menggunakan statistik Bayesian, saya akan benar-benar menghindari kasus variabel acak kontinu, dan tetap berpegang pada variabel acak diskrit.

DeltaIV
sumber
2
Saya mendapat kesan (dari membaca blognya) bahwa Andrew Gelman akan mengadvokasi terhadap NSHT yang sering terjadi seperti halnya terhadap Bayesian.
psarka
2
@psarka ya, tentu - saya tidak pernah mengatakan yang sebaliknya.
DeltaIV
3
"Di negara saya, mereka pasti akan mempelajari kerangka kerja frequentist terlebih dahulu" - Ini (atau menghilangkan diskusi tentang Bayesianisme sepenuhnya) adalah pendekatan tradisional di seluruh dunia.
Kodiologist
1
@Kodiologist saya juga curiga. Setidaknya, mungkin ada beberapa sistem pendidikan di mana, setelah kerangka kerja yang sering terjadi, juga sistem Bayesian diperkenalkan di sekolah menengah. Tapi bukan itu masalahnya di sini.
DeltaIV
22

Bayesian dan sering mengajukan pertanyaan yang berbeda. Bayesian bertanya nilai parameter apa yang kredibel, mengingat data yang diamati. Frequentist bertanya tentang kemungkinan data simulasi imajiner jika beberapa nilai parameter hipotetis benar. Keputusan-keputusan yang lebih sering dimotivasi oleh kontrol kesalahan, keputusan Bayes dimotivasi oleh ketidakpastian dalam deskripsi model.

Jadi mana yang harus Anda ajarkan terlebih dahulu? Nah, jika salah satu dari pertanyaan itu adalah yang ingin Anda tanyakan terlebih dahulu, itulah jawaban Anda. Namun dalam hal pendekatan dan pedagogi, saya pikir Bayesian jauh lebih mudah dipahami dan jauh lebih intuitif. Ide dasar analisis Bayesian adalah alokasi ulang kredibilitas di seluruh kemungkinan, seperti yang dikatakan Sherlock Holmes, dan yang dipahami oleh jutaan pembaca secara intuitif. Tetapi ide dasar dari analisis frequentist sangat menantang: Ruang semua set data yang mungkin terjadi jika hipotesis tertentu benar, dan proporsi set data imajiner yang memiliki statistik ringkasan sebagai atau lebih ekstrem daripada ringkasan statistik yang sebenarnya diamati.

Bab pengantar gratis tentang ide-ide Bayesian ada di sini . Artikel yang mengatur konsep frequentist dan Bayesian berdampingan ada di sini . Artikel ini menjelaskan pendekatan frequentist dan Bayesian untuk pengujian hipotesis dan untuk estimasi (dan banyak hal lainnya). Kerangka kerja artikel mungkin sangat berguna bagi pemula yang mencoba mendapatkan pemandangan lanskap.

John K. Kruschke
sumber
Termasuk judul bab dan artikel bisa membantu jika tautannya mati di masa depan.
Richard Hardy
8

Pertanyaan ini berisiko berdasarkan opini, jadi saya akan mencoba untuk benar-benar singkat dengan pendapat saya, lalu memberi Anda saran buku. Terkadang ada baiknya mengambil pendekatan tertentu karena pendekatan itulah yang diambil oleh buku yang sangat bagus.

Saya setuju bahwa statistik Bayes lebih intuitif. Interval Keyakinan versus Interval Terpercaya cukup meringkasnya: orang secara alami berpikir dalam hal "apa peluang yang ..." daripada pendekatan Interval Keyakinan. Pendekatan Confidence Interval terdengar seperti mengatakan hal yang sama dengan Credible Interval kecuali pada prinsip umum Anda tidak dapat mengambil langkah terakhir dari "95% waktu" menjadi "95% peluang", yang tampaknya sangat sering terjadi tetapi Anda tidak bisa melakukannya Itu tidak konsisten, hanya tidak intuitif.

Menyeimbangkannya adalah kenyataan bahwa sebagian besar mata kuliah yang akan mereka ambil akan menggunakan pendekatan frequentist yang kurang intuitif.

Yang mengatakan saya sangat suka buku Memikirkan Kembali Statistik: Kursus Bayesian dengan Contoh di R dan Stan oleh Richard McElreath. Itu tidak murah, jadi tolong baca tentang itu dan cari di Amazon sebelum Anda membelinya. Saya merasa ini adalah pendekatan yang sangat intuitif yang memanfaatkan pendekatan Bayesian, dan sangat praktis. (Dan karena R dan Stan adalah alat yang sangat baik untuk statistik Bayesian dan mereka gratis, ini pembelajaran praktis.)

EDIT: Beberapa komentar telah menyebutkan bahwa buku itu mungkin di luar Sekolah Menengah Atas, bahkan dengan tutor yang berpengalaman . Jadi saya harus menempatkan peringatan yang lebih besar: ia memiliki pendekatan sederhana di awal, tetapi landai dengan cepat. Ini buku yang luar biasa, tetapi Anda benar-benar harus mencarinya di Amazon untuk mengetahui asumsi awalnya dan seberapa cepat ia naik. Analogi yang indah, pekerjaan langsung yang bagus di R, aliran dan organisasi yang luar biasa, tapi mungkin tidak berguna bagi Anda.

Ini mengasumsikan pengetahuan dasar pemrograman dan R (paket statistik gratis), dan beberapa paparan dasar-dasar probabilitas dan statistik. Ini bukan akses acak dan setiap bab dibangun di atas bab-bab sebelumnya. Ini dimulai dengan sangat sederhana, meskipun kesulitan meningkat di tengah - berakhir pada regresi multi-level. Jadi, Anda mungkin ingin melihat pratinjau sebagian di Amazon, dan memutuskan apakah Anda dapat dengan mudah menutupi dasar-dasarnya atau apakah itu melompat terlalu jauh di ujung jalan.

EDIT 2: Garis bawah kontribusi saya di sini dan upaya untuk mengubahnya dari pendapat murni adalah bahwa buku teks yang baik dapat memutuskan pendekatan mana yang Anda ambil. Saya lebih suka pendekatan Bayesian, dan buku ini melakukannya dengan baik, tapi mungkin dengan kecepatan yang terlalu cepat.

Wayne
sumber
2
Buku McElreath sangat bagus, tetapi saya akan sangat terkejut jika siswa sekolah menengah dapat mengikuti tingkat perlakuan itu, bahkan dengan tutor yang berbakat.
DeltaIV
2
@DeltaIV: Umpan balik yang baik, saya akan mengedit jawaban saya. Saya telah dibodohi beberapa kali oleh seberapa mudah dibaca dan analoginya pada awalnya. Itu memasuki kurva belajar yang curam di tengah jalan, dan mungkin jauh lebih awal dari itu.
Wayne
1
Catatan lain: Saya pikir ada kesenjangan yang lebih besar antara fundamental (yaitu, teori probabilitas) dan aplikasi dalam metode Frequentist dibandingkan metode Bayesian. Yaitu, saya mengalami kesulitan membayangkan seseorang benar-benar memahami teori MLE, bukti CLT dll, tanpa pendidikan tingkat pascasarjana, yang bahkan diperlukan untuk prosedur Frequentist yang paling dasar. Setelah Anda mengetahui probabilitas bersyarat, pada dasarnya Anda memahami cara kerja inferensi Bayesian. Teori MCMC sedikit rumit, tapi sejujurnya jauh lebih sederhana daripada benar-benar memahami teori MLE ...
Cliff AB
... dan karena lebih mudah untuk menjembatani kesenjangan antara probabilitas dan penerapan statistik dalam kerangka Bayesian, setidaknya, saya pikir itu membuat hal-hal yang lebih memuaskan secara mental lebih cepat. Saya benci mengikuti kursus di mana kami harus mengatakan "dan mempercayai kami, teori MLE bekerja dengan sampel besar", karena saya merasa harus membunuh rasa ingin tahu ilmiah seseorang, atau membutuhkan komitmen mental yang jauh lebih besar.
Cliff AB
... Tetapi intuisi di balik mle itu cukup alami ... stats.stackexchange.com/questions/112451/…
kjetil b halvorsen
5

Saya telah diajarkan pendekatan frequentist terlebih dahulu, kemudian yang Bayesian. Saya bukan ahli statistik profesional.

Saya harus mengakui bahwa saya tidak menemukan pengetahuan saya sebelumnya tentang pendekatan yang sering berguna secara meyakinkan dalam memahami pendekatan Bayesian.

Saya berani mengatakan itu tergantung pada aplikasi konkret apa yang akan Anda tunjukkan kepada siswa Anda berikutnya, dan berapa banyak waktu dan usaha yang akan Anda habiskan untuk mereka.

Setelah mengatakan ini, saya akan mulai dengan Bayes.

Emanuele Cipolla
sumber
3

Kerangka kerja Bayesian dipadukan erat dengan keterampilan berpikir kritis umum. Ini yang Anda butuhkan dalam situasi berikut:

  1. Anda berpikir tentang melamar pekerjaan yang kompetitif. Apa peluang Anda untuk masuk? Hasil apa yang Anda harapkan dari mendaftar?
  2. Judul berita memberitahu Anda ponsel menyebabkan kanker pada manusia dalam jangka panjang. Berapa banyak bukti yang mereka miliki untuk ini?
  3. Badan amal mana yang harus Anda sumbangkan uang jika Anda menginginkannya memiliki efek terbesar?
  4. Seseorang menawarkan untuk melempar koin dengan taruhan $ 0,90 dari Anda dan $ 1,10 dari mereka. Apakah Anda akan memberi mereka uang? Kenapa, kenapa tidak?
  5. Anda kehilangan kunci (atau bom atom). Di mana Anda mulai mencari?

Juga, ini jauh lebih menarik daripada menghafal rumus untuk uji dua sampel: p. Yang meningkatkan kemungkinan bahwa siswa akan tetap tertarik cukup lama untuk repot dengan materi yang semakin teknis.

dugaan
sumber
3

Tidak ada yang menyebutkan kemungkinan, yang merupakan dasar statistik Bayesian. Argumen yang mendukung pengajaran Bayes pertama adalah bahwa aliran dari probabilitas, ke kemungkinan, ke Bayes, cukup mulus. Bayes dapat dimotivasi dari kemungkinan dengan mencatat bahwa (i) fungsi kemungkinan terlihat (dan bertindak) seperti fungsi distribusi probabilitas, tetapi bukan karena area di bawah kurva bukan 1,0, dan (ii) minyak mentah, Wald yang biasa digunakan Interval mengasumsikan fungsi kemungkinan yang sebanding dengan distribusi normal, tetapi metode Bayesian dengan mudah mengatasi batasan ini.

Argumen lain yang mendukung Bayes pertama adalah bahwa perhatian P (A | B) versus P (B | A) tentang nilai-p dapat lebih mudah dijelaskan, seperti yang disebutkan oleh orang lain.

Namun argumen lain yang mendukung "Bayes first" adalah bahwa itu memaksa siswa untuk berpikir lebih hati-hati tentang model probabilitas bersyarat, yang berguna di tempat lain, misalnya, dalam analisis regresi.

Maaf atas promosi diri ini, tetapi karena ini sepenuhnya sesuai topik, saya tidak keberatan menyatakan bahwa inilah tepatnya pendekatan yang saya dan Keven Henning ambil dalam buku kami "Memahami Metode Statistik Lanjut," ( https: // peterwestfall. wixsite.com/book-1 ) yang audiens yang dituju adalah non-ahli statistik.

Peter Westfall
sumber
2

Apakah Anda mengajar untuk kesenangan dan wawasan atau untuk penggunaan praktis? Jika ini tentang mengajar dan memahami, saya akan pergi Bayes. Jika untuk tujuan praktis, saya pasti akan pergi ke Frequentist.

Di banyak bidang - dan saya kira sebagian besar bidang - ilmu pengetahuan alam, orang terbiasa menerbitkan makalah mereka dengan nilai p. "Anak laki-laki" Anda harus membaca makalah orang lain sebelum mereka datang untuk menulis sendiri. Untuk membaca makalah orang lain, setidaknya di bidang saya, mereka perlu memahami hipotesis nol dan nilai-p, tidak peduli seberapa bodoh mereka muncul setelah studi Bayesian. Dan bahkan ketika mereka siap untuk mempublikasikan makalah pertama mereka, mereka mungkin akan memiliki beberapa ilmuwan senior yang memimpin tim dan kemungkinan besar, mereka lebih suka Frequentism.

Yang sedang berkata, saya ingin setuju dengan @Wayne, dalam pemikiran ulang Statistik menunjukkan cara yang sangat jelas menuju statistik Bayesian sebagai pendekatan pertama dan tidak didasarkan pada pengetahuan yang ada tentang Frequentism. Sangat bagus bagaimana buku ini tidak mencoba meyakinkan Anda dalam pertarungan statistik yang lebih baik atau lebih buruk. Argumen yang dikemukakan penulis untuk Bayes adalah (IIRC) bahwa ia telah mengajar keduanya dan Bayes lebih mudah untuk diajar.

Bernhard
sumber
2

Saya akan tinggal jauh dari Bayesian, ikuti para raksasa.

Soviet memiliki seri buku yang sangat baik untuk siswa sekolah menengah, yang secara kasar diterjemahkan ke dalam bahasa Inggris sebagai "perpustakaan kecil 'Quant." Kolmogorov menyumbangkan sebuah buku dengan rekan penulis berjudul "Pengantar teori probabilitas." Saya tidak yakin itu pernah telah diterjemahkan ke dalam bahasa Inggris, tapi di sini 's link dengan aslinya Rusia-nya.

Mereka mendekati menjelaskan probabilitas melalui kombinatorik, yang saya pikir adalah cara terbaik untuk memulai. Buku ini sangat mudah diakses oleh siswa sekolah menengah dengan matematika yang baik. Perhatikan, bahwa Soviet mengajar matematika agak luas, sehingga rata-rata siswa sekolah menengah Barat mungkin tidak siap, tetapi dengan minat dan kemauan yang cukup masih dapat menangani konten, menurut pendapat saya.

Konten ini sangat menarik bagi siswa, memiliki jalan acak, membatasi distribusi, proses bertahan hidup, hukum jumlah besar dll. Jika Anda menggabungkan pendekatan ini dengan simulasi komputer, itu menjadi lebih menyenangkan.

Aksakal
sumber