Mengapa Bayesian Statistics menjadi topik penelitian yang semakin populer? [Tutup]

Menjelajah melalui area penelitian dari 100 program statistik Berita AS teratas, hampir semuanya penuh dengan statistik Bayesian. Namun, jika saya melanjutkan ke sekolah tingkat bawah, kebanyakan dari mereka masih melakukan penelitian statistik klasik / sering. Sebagai contoh, sekolah saya saat ini (peringkat antara 150 sampai 200 di peringkat dunia QS untuk statistik sehingga tidak dianggap sebagai sekolah tingkat atas) hanya memiliki satu profesor yang berfokus pada statistik Bayesian dan hampir ada kebencian terhadap statistik Bayesian. Beberapa mahasiswa pascasarjana yang saya ajak bicara bahkan mengatakan bahwa ahli statistik Bayesian melakukan statistik Bayesian demi itu yang tentu saja saya sangat tidak setuju.

Namun, saya bertanya-tanya mengapa ini terjadi. Saya memiliki beberapa tebakan:

(A) tidak ada ruang yang cukup untuk kemajuan dalam metodologi statistik klasik / sering dan satu-satunya penelitian yang layak dalam penelitian statistik klasik / sering adalah pada aplikasi yang akan menjadi fokus utama sekolah tingkat bawah sebagai sekolah tingkat atas harus lebih cenderung ke arah penelitian teoritis dan metodologis.

(B) Ini sangat tergantung lapangan. Cabang tertentu dari statistik hanya lebih cocok untuk statistik Bayesian seperti banyak aplikasi ilmiah dari metode statistik sementara cabang lainnya lebih cocok untuk statistik klasik seperti bidang keuangan. (koreksi saya jika saya salah) Dengan ini, menurut saya sekolah top tier memiliki banyak fakultas statistik yang melakukan aplikasi di bidang ilmiah, sementara departemen statistik sekolah tier lebih rendah memfokuskan aplikasi di bidang keuangan karena membantu mereka menghasilkan pendapatan. dan pendanaan.

(c) Ada masalah besar dengan metode sering yang tidak dapat diselesaikan misalnya rawan overfitting MLE, dll. Dan Bayesian tampaknya memberikan solusi yang brilian.

(D) Kekuatan komputasi ada di sini maka perhitungan Bayesian tidak lagi menjadi hambatan seperti 30 tahun yang lalu.

(e) Yang ini mungkin dugaan paling kerasukan yang saya miliki. Ada penolakan dari ahli statistik klasik / sering yang tidak menyukai gelombang metodologi baru yang berpotensi menyalip peran statistik klasik. Tapi seperti yang dikatakan Larry Wasserman, itu tergantung pada apa yang kita coba lakukan dan semua orang harus berpikiran terbuka, terutama sebagai peneliti.

bayesian frequentist davidolohowski
sumber

Sementara pendapat para penghuni CV akan bervariasi, dan pendapat semacam itu dianggap di luar topik, perlu ditunjukkan bahwa pertanyaan ini dijawab secara tepat dalam bab-bab pengantar teks-teks modern tentang analisis Bayesian. Secara khusus, Bab 1 dari Gelman, et al Bayesian Analisis Data 3rd Ed. Itu bermuara pada a) "akal sehat" dan b) interval kepercayaan frequentist yang sangat bermasalah yang 99% dari kita tidak bisa membantu tetapi salah menafsirkan. The cara kita salah mengartikan itu secara intrinsik Bayesian, jadi kami mungkin juga melakukan analisis Bayesian dari get-go.

Peter Leopold

@Peter Leopold Half serius: 99%? dan siapa "kita"? Banyak pengguna statistik yang naif memang memiliki kesalahpahaman serius tentang CI, tetapi jika Anda berbicara dengan komunitas CV, saya berharap 99% benar-benar tidak cocok. Orang-orang statistik bisa sama buruknya dengan orang lain dalam membuat angka tanpa adanya data yang sulit!

Nick Cox

\sim 10^{- 2}

$\sim 10^{-2}$

Jawaban:

Secara pribadi, saya akan berani menebak:

(1) Statistik Bayesian menunjukkan peningkatan popularitas yang luar biasa dalam beberapa dekade terakhir. Sebagian dari ini adalah karena kemajuan MCMC dan peningkatan sumber daya komputasi. Statistik Bayesian berubah dari yang secara teoritis sangat bagus tetapi hanya berlaku untuk masalah mainan menjadi pendekatan yang bisa diterapkan secara universal. Ini berarti bahwa beberapa tahun yang lalu, mengatakan Anda bekerja pada statistik Bayesian mungkin memang membuat Anda menjadi karyawan yang sangat kompetitif.

Sekarang, saya akan mengatakan bahwa statistik Bayesian masih merupakan nilai tambah, tetapi begitu juga mengerjakan masalah yang menarik tanpa menggunakan metode Bayesian. Sebuah kurangnya latar belakang dalam statistik Bayesian tentu akan menjadi minus paling komite menyewa, tapi mendapatkan gelar PhD dalam statistik tanpa pelatihan yang memadai dalam metode Bayesian akan cukup mengejutkan.

(2) Ahli statistik Bayesian akan menyebut "Bayesian" pada CV mereka. Frequentists biasanya tidak akan memasukkan "Frequentist" pada CV mereka, tetapi lebih khusus lagi pada area tempat mereka bekerja (yaitu, analisis survival, pemodelan prediktif, peramalan, dll.). Sebagai contoh, banyak pekerjaan saya adalah menulis algoritme pengoptimalan, yang saya kira menyiratkan Anda akan mengatakan berarti saya melakukan pekerjaan Frequentist. Saya juga telah menulis sebagian besar algoritma Bayesian, tetapi tentu saja ini merupakan minoritas dari pekerjaan saya. Statistik Bayesian ada di CV saya, statistik Frequentist tidak.

(3) Sampai batas tertentu, apa yang Anda katakan dalam pertanyaan Anda juga memiliki kebenaran. Perhitungan Bayesian umum yang efisien memiliki lebih banyak masalah terbuka di dalamnya daripada ranah Frequentist. Sebagai contoh, Hamiltonian Monte Carlo baru-baru ini menjadi algoritma yang sangat menarik untuk pengambilan sampel secara umum dari model Bayesian. Tidak ada banyak ruang untuk perbaikan generikoptimasi hari ini; Algoritma Newton Raphson, L-BFGS dan EM mencakup banyak basis. Jika Anda ingin meningkatkan metode ini, Anda umumnya harus mengkhususkan banyak pada masalah ini. Dengan demikian, Anda lebih suka mengatakan "Saya bekerja pada optimasi dimensi tinggi model geo-spasial" daripada "Saya bekerja pada Estimasi Kemungkinan Maksimum dimensi tinggi". Dunia pembelajaran mesin sedikit pengecualian untuk itu, karena ada banyak kegembiraan dalam menemukan metode optimasi stokastik baru (yaitu, SGD, Adam, dll), tapi itu binatang yang sedikit berbeda karena beberapa alasan.

Demikian pula, ada pekerjaan yang harus dilakukan untuk mendapatkan prior yang baik untuk model. Metode - metode Frequentist memiliki kesamaan dengan ini (menghasilkan hukuman yang baik, yaitu, LASSO, glmnet) tetapi mungkin ada tanah yang lebih subur untuk prior dibandingkan penalti.

(4) Akhirnya, dan ini jelas lebih merupakan pendapat pribadi, banyak orang mengasosiasikan Frequentist dengan nilai-p. Mengingat penyalahgunaan umum nilai-p yang diamati di bidang lain, banyak ahli statistik akan senang menjauhkan diri sejauh mungkin dari penyalahgunaan nilai-p saat ini.

Cliff AB
sumber

Jadi jawaban mengapa itu menjadi lebih populer termasuk (1) itu menjadi lebih populer. Bingung dengan itu, tapi saya membayangkan itu hanya masalah membutuhkan beberapa penulisan ulang.

Nick Cox

@NickCox: maksud saya adalah lebih populer, tetapi popularitasnya mungkin agak berlebihan. Artinya, OP melihat bahwa Statistik Bayesian berada di CV hampir setiap profesor di sampel universitas tingkat atas. Tetapi itu tidak berarti bahwa setiap profesor itu hanya melakukan statistik Bayesian. Titik lain pada (1) adalah bahwa saya pikir ada adalah waktu ketika melakukan statistik Bayesian sebagai daerah penelitian sangat penting untuk mendapatkan posisi top-tier. Saya tidak yakin itu sebagai persyaratan ketat lagi, tetapi banyak profesor yang Anda lihat sekarang dipekerjakan pada waktu itu.

Cliff AB

Oh, aku mengerti maksudmu. Saya fokus pada diskusi tentang "Apakah itu karena tidak ada cukup ruang untuk kemajuan dalam statistik klasik / sering?" dan tidak begitu banyak pada "mengapa ini terjadi?"

Cliff AB