Apakah ada * dasar * matematika untuk perdebatan Bayesian vs frequentist?

67

Dikatakan di Wikipedia bahwa:

matematika [probabilitas] sebagian besar tidak tergantung pada interpretasi probabilitas.

Pertanyaan: Lalu jika kita ingin menjadi matematis benar, seharusnya tidak kita melarang setiap interpretasi probabilitas? Yaitu, apakah Bayesian dan frequentism secara matematis salah?

Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif dalam kerangka aksioma Kolmogorov. Jika ini adalah tujuan saya, harus itu mengikuti dari apa yang tertulis di Wikipedia bahwa saya harus menolak baik Bayesianism dan frequentism? Jika konsepnya murni filosofis dan sama sekali tidak matematis, lalu mengapa mereka muncul dalam statistik?

Latar Belakang / Konteks:
Posting blog ini tidak cukup mengatakan hal yang sama, tetapi ia berpendapat bahwa upaya untuk mengklasifikasikan teknik sebagai "Bayesian" atau "frequentist" kontraproduktif dari perspektif pragmatis.

Jika kutipan dari Wikipedia itu benar, maka sepertinya dari sudut pandang filosofis berusaha untuk mengklasifikasikan metode statistik juga kontra-produktif - jika suatu metode secara matematis benar, maka valid untuk menggunakan metode ini ketika asumsi matematika yang mendasarinya tahan, jika tidak, jika tidak benar secara matematis atau jika asumsi tidak berlaku, maka tidak valid untuk menggunakannya.

Di sisi lain, banyak orang tampaknya mengidentifikasi "inferensi Bayesian" dengan teori probabilitas (yaitu aksioma Kolmogorov), meskipun saya tidak yakin mengapa. Beberapa contohnya adalah risalah Jaynes tentang inferensi Bayesian yang disebut "Probabilitas", serta buku James Stone "Bayes 'Rule". Jadi, jika saya menerima klaim ini begitu saja, itu berarti saya harus memilih Bayesianisme.

Namun, buku Casella dan Berger tampaknya seperti sering digunakan karena membahas penduga kemungkinan maksimum tetapi mengabaikan penduga posteriori maksimum, tetapi juga sepertinya semua yang ada di dalamnya benar secara matematis.

Jadi bukankah itu berarti bahwa satu-satunya versi statistik yang benar secara matematis adalah yang menolak untuk menjadi apa pun kecuali sepenuhnya agnostik sehubungan dengan Bayesianisme dan frekuensi? Jika metode dengan kedua klasifikasi secara matematis benar, maka bukankah praktik yang tidak tepat untuk lebih memilih beberapa daripada yang lain, karena itu akan memprioritaskan filosofi yang kabur, tidak terdefinisi dengan baik daripada matematika yang tepat dan terdefinisi dengan baik?

Ringkasan: Singkatnya, saya tidak mengerti apa dasar matematika untuk debat Bayesian versus frequentist, dan jika tidak ada dasar matematika untuk debat (yang diklaim Wikipedia), saya tidak mengerti mengapa hal itu ditoleransi pada semua dalam wacana akademik.

Chill2Macht
sumber
5
Mungkin juga menarik: Apakah orang Bayesian menerima aksioma Kolmogorov? .
Scortchi
1
@PeterMortensen Saya sudah melihat pertanyaan itu sebelum mengajukan pertanyaan ini; namun jawaban untuk pertanyaan itu tidak membahas sumber utama kebingungan saya, yaitu apa perbedaan matematisnya , jika ada di antara keduanya; ingat bahwa saya tidak tertarik pada perbedaan filosofis karena mereka seharusnya tidak mempengaruhi ruang model yang mungkin.
Chill2Macht
1
Komentar bukan untuk diskusi panjang; percakapan ini telah dipindahkan ke obrolan .
Whuber
4
Debat bayesean kurang tentang probabilitas dan lebih banyak tentang interpretasi statistik dan validitas aplikasi itu.
RBarryYoung
2
@Mehrdad Pertanyaan ini bukan tentang pendekatan yang berbeda memberikan jawaban yang berbeda, ini tentang kemungkinan formalisasi, melalui aksioma matematis, perbedaan antara Bayesianisme dan frekuensi. Jawaban untuk pertanyaan terkait tidak menjelaskan perbedaan aksiomatik antara kedua pendekatan.
Chill2Macht

Jawaban:

14

Ruang probabilitas dan aksioma Kolmogorov

Ruang probabilitas secara definisi adalah tripple mana adalah seperangkat hasil, adalah -gebra on himpunan bagian dan adalah ukuran-probabilitas yang memenuhi aksioma Kolmogorov, yaitu adalah fungsi dari hingga sehingga dan untuk memisahkan dalam itu menyatakan bahwa ( Ω , F , P ) Ω F σ Ω P P F [ 0 , 1 ] P ( Ω ) = 1 E 1 , E 2 , P(Ω,F,P)ΩFσΩPPF[0,1]P(Ω)=1E1,E2, P ( j = 1 E j ) = j = 1 P ( E j )FP(j=1Ej)=j=1P(Ej).

Dalam ruang probabilitas seperti itu, seseorang dapat, untuk dua peristiwa dalam mendefinisikan probabilitas bersyarat sebagaiF P ( E 1 | E 2 ) d e f = P ( E 1E 2 )E1,E2FP(E1|E2)=defP(E1E2)P(E2)

Perhatikan bahwa:

  1. '' probabilitas kondisional '' ini hanya ditentukan ketika didefinisikan pada , jadi kita membutuhkan ruang probabilitas untuk dapat mendefinisikan probabilitas kondisional.FPF
  2. Sebuah ruang probabilitas didefinisikan dalam istilah yang sangat umum ( a set , sebuah -algebra dan sebuah probabilitas mengukur ), satu-satunya persyaratan adalah bahwa sifat-sifat tertentu harus dipenuhi tapi selain itu ketiga elemen ini bisa 'apa saja'.σ F PΩ σFP

Detail lebih lanjut dapat ditemukan di tautan ini

Aturan Bayes berlaku di ruang probabilitas (valid) apa pun

Dari definisi probabilitas bersyarat itu juga menyatakan bahwa . Dan dari dua persamaan terakhir kita menemukan aturan Bayes. Jadi, aturan Bayes berlaku (dengan definisi probabilitas bersyarat) dalam ruang probabilitas apa pun (untuk menunjukkannya, diperoleh dan dari setiap persamaan dan menyamakan mereka (mereka sama karena persimpangan adalah komutatif)). P(E1E2)P(E2E1)P(E2|E1)=P(E2E1)P(E1)P(E1E2)P(E2E1)

Karena aturan Bayes adalah dasar untuk inferensi Bayesian, seseorang dapat melakukan analisis Bayesian dalam ruang probabilitas apa pun yang valid (yaitu memenuhi semua kondisi, aksioma Kolmogorov).

Definisi probabilitas yang sering dilakukan adalah '' kasus khusus ''

Di atas berlaku '' secara umum '', yaitu kita tidak memiliki spesifik , , dalam pikiran selama adalah -gebra pada subset dari dan memenuhi aksioma Kolmogorov.F P F σ Ω PΩFPFσΩP

Kami sekarang akan menunjukkan bahwa definisi ' mathist' '' 'yang sering' memenuhi aksioma Kolomogorov. Jika demikian, maka probabilitas 'sering' hanya merupakan kasus khusus dari probabilitas umum dan abstrak Kolmogorov. P

Mari kita ambil contoh dan melempar dadu. Maka himpunan semua hasil yang mungkin adalah . Kita juga memerlukan aljabar pada set ini dan kita mengambil set semua himpunan bagian dari , yaitu .Ω = { 1 , 2 , 3 , 4 , 5 , 6 } σ Ω F Ω F = 2 ΩΩΩ={1,2,3,4,5,6}σΩFΩF=2Ω

Kita masih harus mendefinisikan ukuran probabilitas secara berkala. Karena itu kami mendefinisikan sebagai mana adalah jumlah diperoleh dalam gulungan dadu. Mirip dengan , ... .PP({1}) n11nP({2})P({6})P({1})=deflimn+n1nn11nP({2})P({6})

Dengan cara ini didefinisikan untuk semua lajang di . Untuk set lain dalam , misal kita mendefinisikan dengan cara yang sering digunakan yaitu , tetapi dengan linearitas dari 'lim', ini sama dengan , yang menyiratkan bahwa aksioma Kolmogorov berlaku.F F { 1 , 2 } P ( { 1 , 2 } ) P ( { 1 , 2 } ) d e f = lim n + n 1 + n 2PFF{1,2}P({1,2}) P({1})+P({2})P({1,2})=deflimn+n1+n2nP({1})+P({2})

Jadi definisi probabilitas yang kerapkali hanyalah kasus khusus dari definisi umum dan abstrak Kolomogorov tentang ukuran probabilitas.

Perhatikan bahwa ada cara lain untuk mendefinisikan ukuran probabilitas yang memenuhi aksioma Kolmogorov, sehingga definisi frequentist bukanlah satu-satunya yang mungkin.

Kesimpulan

Peluang dalam sistem aksiomatik Kolmogorov adalah '' abstrak '', tidak memiliki arti nyata, hanya harus memenuhi kondisi yang disebut '' aksioma ''. Dengan hanya menggunakan aksioma-aksioma ini, Kolmogorov dapat memperoleh satu set teorema yang sangat kaya.

Definisi frequentist tentang probabilitas memenuhi aksioma dan oleh karena itu menggantikan abstrak, '' tidak berarti '' dengan probabilitas yang didefinisikan dengan cara frequentist, semua teorema ini valid karena '' probabilitas frequentist '' hanya khusus kasus probabilitas abstrak Kolmogorov (yaitu memenuhi aksioma).P

Salah satu properti yang dapat diturunkan dalam kerangka kerja umum Kolmogorov adalah aturan Bayes. Seperti yang berlaku dalam kerangka umum dan abstrak, itu juga akan berlaku (cfr supra) dalam kasus khusus bahwa probabilitas didefinisikan dengan cara yang sering (karena definisi sering yang memenuhi aksioma dan aksioma ini adalah satu-satunya hal yang diperlukan untuk turunkan semua teorema). Jadi orang dapat melakukan analisis Bayesian dengan definisi probabilitas yang sering.

Mendefinisikan dengan cara yang sering bukan satu-satunya kemungkinan, ada cara lain untuk mendefinisikannya sehingga memenuhi aksioma abstrak Kolmogorov. Aturan Bayes juga akan berlaku dalam "kasus khusus" ini. Jadi kita juga dapat melakukan analisis Bayesian dengan definisi probabilitas non- frquentist.P

EDIT 23/8/2016

@mpiktas bereaksi terhadap komentar Anda:

Seperti yang saya katakan, himpunan dan ukuran probabilitas tidak memiliki arti tertentu dalam sistem aksiomatik, mereka abstrak. PΩ,FP

Dalam rangka menerapkan teori ini Anda harus memberikan lebih definisi (jadi apa yang Anda katakan dalam komentar Anda "tidak perlu kekisruhan lebih lanjut dengan beberapa definisi aneh '' adalah salah, Anda perlu definisi tambahan ).

Mari kita terapkan pada kasus melempar koin yang adil. Himpunan dalam teori Kolmogorov tidak memiliki makna tertentu, ia hanya harus menjadi 'himpunan'. Jadi kita harus menentukan apa set ini jika koin adil, yaitu kita harus mendefinisikan set . Jika kami mewakili kepala dengan H dan ekor seperti T, maka set adalah dengan definisi .ΩΩΩ Ω=def{H,T}

Kita juga harus mendefinisikan peristiwa, yaitu -algebra . Kami mendefinisikan sebagai . Sangat mudah untuk memverifikasi bahwa adalah -algebra.σFF=def{,{H},{T},{H,T}}Fσ

Selanjutnya kita harus mendefinisikan untuk setiap peristiwa dalam ukurannya. Jadi kita perlu mendefinisikan peta dari di . Saya akan mendefinisikannya dengan cara yang sering, untuk koin yang adil, jika saya melemparnya berkali-kali, maka fraksi kepala akan menjadi 0,5, jadi saya mendefinisikan . Demikian pula saya mendefinisikan , dan . Perhatikan bahwa adalah peta dari dalam dan itu memenuhi aksioma Kolmogorov.EFF[0,1]P({H})=def0.5P({T})=def0.5P({H,T})=def1P()=def0PF[0,1]

Untuk referensi dengan definisi probabilitas yang sering, lihat tautan ini (di akhir bagian 'definisi') dan tautan ini .

Komunitas
sumber
10
Mungkin seseorang harus mencatat di suatu tempat bahwa ada debat frequentis / Bayesian tentang interpretasi probabilitas dan ada debat frequentis / Bayesian tentang inferensi statistik. Ini adalah dua debat yang berbeda (meskipun terkait). Jawaban ini berbicara secara eksklusif tentang yang pertama, yang baik-baik saja (dan saya kira apa yang @William tertarik di sini, karena ia memilih untuk menerima jawaban ini), tetapi sebagian besar jawaban lain kebanyakan berbicara tentang yang kedua. Ini hanya catatan untuk pembaca masa depan, tetapi juga catatan untuk William.
Amuba kata Reinstate Monica
2
Saya memilih turun, karena tidak ada referensi ke definisi definisi "frequentist probability", dan tanpanya, posting tidak masuk akal. Sebagai contoh, definisi diberikan bahkan tidak benar secara matematis, karena definisi tersebut tergantung pada batas gulungan dadu. Objek matematika bersifat abstrak dan tidak bergantung pada objek fisik. Selanjutnya untuk membuktikan bahwa ada batas Anda perlu membangun ruang probabilitas, di mana variabel acak didefinisikan, dan kemudian membuktikan bahwa itu bertemu, yang Anda butuhkan teori ukuran dan ...n n 1 / nP({1})nn1/n
mpiktas
2
definisi probabilitas. Jadi, bahkan jika kita mengizinkan seperti definisi itu melingkar, yaitu untuk memeriksa apakah objek memenuhi definisi Anda harus memiliki objek yang didefinisikan. Saya sangat ingin mendapatkan referensi ke buku teks yang menggunakan definisi seperti itu dan mencoba menggunakannya untuk memperoleh semua hasil yang biasa dalam statistik.
mpiktas
5
Artikel yang panjang dan terperinci dalam Stanford Encyclopedia of Philosophy on Probability Interpretations ini memuat bagian yang panjang dan terperinci tentang frequentism dan mungkin merupakan referensi yang lebih baik daripada tautan Anda ke Wikipedia (Stanford Encyclopedia cukup otoritatif, tidak seperti Wikipedia). Ini memperjelas bahwa apakah definisi frequentist masuk akal sama sekali dan bahkan apa yang sebenarnya merupakan definisi frequentist adalah masalah debat yang berlangsung selama 150 tahun yang sepertinya Anda dan @mpiktas tampaknya mainkan kembali di sini di bagian komentar.
Amuba kata Reinstate Monica
2
@amoeba: Saya sangat menyukai pengingat di tautan Anda bahwa kami dapat mengartikan "probabilitas" dalam segala hal yang tidak ada hubungannya dengan konsep yang biasanya dipahami - misalnya panjang yang dinormalisasi - & masih tetap konsisten dengan aksioma Kolmogorov.
Scortchi
66

Statistik bukan Matematika

Pertama, saya mencuri kata-kata @ whuber dari komentar di Stats bukan matematika? (diterapkan dalam konteks yang berbeda, jadi saya mencuri kata-kata, tidak mengutip):

Jika Anda mengganti "statistik" dengan "kimia," "ekonomi," "teknik," atau bidang lain apa pun yang menggunakan matematika (seperti ekonomi rumah), tampaknya tidak ada argumen Anda yang akan berubah.

Semua bidang ini diizinkan ada dan memiliki pertanyaan yang tidak diselesaikan hanya dengan memeriksa teorema mana yang benar. Meskipun beberapa jawaban di Stats bukan matematika? tidak setuju, saya pikir jelas bahwa statistik bukanlah matematika (murni). Jika Anda ingin melakukan teori probabilitas, cabang matematika (murni), Anda memang dapat mengabaikan semua perdebatan seperti yang Anda tanyakan. Jika Anda ingin menerapkan teori probabilitas ke dalam pemodelan beberapa pertanyaan di dunia nyata, Anda membutuhkan sesuatu yang lebih untuk membimbing Anda daripada hanya aksioma dan teorema kerangka matematika. Sisa dari jawabannya adalah bertele-tele tentang hal ini

Klaim "jika kita ingin benar secara matematis, tidakkah kita seharusnya melarang interpretasi probabilitas" juga tampaknya tidak dapat dibenarkan. Menempatkan interpretasi di atas kerangka matematika tidak membuat matematika salah (selama interpretasi tidak diklaim sebagai teorema dalam kerangka matematika).

Perdebatan tidak (terutama) tentang aksioma

Meskipun ada beberapa aksioma alternatif *, perdebatan (?) Bukanlah tentang memperdebatkan aksioma Kolmogorov. Mengabaikan beberapa seluk-beluk dengan peristiwa pengkondisian nol-pengukuran, yang mengarah ke probabilitas kondisional dll, tentang yang saya tidak cukup tahu, aksioma Kolmogorov dan probabilitas kondisional menyiratkan aturan Bayes, yang tidak ada yang membantah. Namun, jika bahkan bukan variabel acak dalam model Anda (model dalam arti pengaturan matematika yang terdiri dari ruang probabilitas atau keluarga mereka, variabel acak, dll.), Tentu saja tidak mungkin untuk menghitung kondisi bersyarat. distribusi . Tidak seorang pun juga membantah bahwa frekuensi properti, jika dihitung dengan benar, adalah konsekuensi dari model. Sebagai contoh, distribusi bersyaratP ( X Y ) p ( y θ ) p ( y ; θ ) p ( y θ ) = p ( y ; θ ) θ θXP(XY)p(yθ)dalam model Bayesian, tentukan keluarga yang diindeks dari distribusi probabilitas dengan hanya membiarkan dan jika beberapa hasil berlaku untuk semua di yang terakhir, mereka memegang semua di bekas, juga.p(y;θ)p(yθ)=p(y;θ)θθ

Perdebatan tentang bagaimana menerapkan matematika

Perdebatan (sebanyak yang ada **), sebaliknya tentang bagaimana memutuskan model probabilitas seperti apa yang akan diatur untuk masalah (kehidupan nyata, non-matematis) dan implikasi model mana yang relevan untuk menggambar (nyata -life) kesimpulan. Tetapi pertanyaan-pertanyaan ini akan ada bahkan jika semua ahli statistik setuju. Mengutip dari pos blog yang Anda tautkan [1], kami ingin menjawab pertanyaan seperti

Bagaimana saya harus mendesain roulette sehingga kasino saya menghasilkan $? Apakah pupuk ini meningkatkan hasil panen? Apakah streptomisin menyembuhkan tuberkulosis paru? Apakah merokok menyebabkan kanker? Film apa yang akan dinikmati pengguna ini? Pemain bisbol mana yang harus dikontrak oleh Red Sox? Haruskah pasien ini menerima kemoterapi?

Aksioma teori probabilitas bahkan tidak mengandung definisi baseball, jadi jelas bahwa "Red Sox harus memberikan kontrak kepada pemain baseball X" bukanlah teorema dalam teori probabilitas.

Catatan tentang pembenaran matematis dari pendekatan Bayesian

Ada 'pembenaran matematis' untuk mempertimbangkan semua yang tidak diketahui sebagai probabilistik seperti teorema Cox yang dirujuk oleh Jaynes, (meskipun saya mendengarnya memiliki masalah matematika, yang mungkin atau belum diperbaiki, saya tidak tahu, lihat [2] dan referensi di dalamnya) atau pendekatan Savage (subyektif Bayesian) (Saya pernah mendengar ini di [3] tetapi belum pernah membaca buku) yang membuktikan bahwa berdasarkan asumsi tertentu, pembuat keputusan yang rasional akan memiliki distribusi probabilitas atas negara. dunia dan pilih aksinya berdasarkan pada memaksimalkan nilai yang diharapkan dari fungsi utilitas. Namun, apakah manajer Red Sox harus menerima asumsi, atau apakah kita harus menerima teori bahwa merokok menyebabkan kanker, tidak dapat disimpulkan dari kerangka matematika apa pun,

Catatan kaki

* Saya belum mempelajarinya, tetapi saya pernah mendengar de Finetti memiliki pendekatan di mana probabilitas bersyarat adalah primitif daripada diperoleh dari ukuran (tanpa syarat) dengan mengkondisikan. [4] menyebutkan sebuah debat antara (Bayesians) José Bernardo, Dennis Lindley dan Bruno de Finetti di sebuah restoran Prancis yang nyaman tentang apakah sensitivitas diperlukan.σ

** seperti yang disebutkan dalam posting blog yang Anda tautkan ke [1], mungkin tidak ada perdebatan yang jelas dengan setiap ahli statistik yang tergabung dalam satu tim dan membenci tim lainnya. Saya telah mendengar bahwa kita semua pragmatis saat ini dan perdebatan yang tidak berguna telah berakhir. Namun, dalam pengalaman saya perbedaan-perbedaan ini ada, misalnya, apakah pendekatan pertama seseorang adalah memodelkan semua yang tidak diketahui sebagai variabel acak atau tidak dan seberapa tertarik seseorang dalam jaminan frekuensi.

Referensi

[1] Simply Statistics, sebuah blog statistik oleh Rafa Irizarry, Roger Peng, dan Jeff Leek, "Saya mendeklarasikan perdebatan Bayesian vs. Frequentist mengenai ilmuwan data", 13 Okt 2014, http://simplystatistics.org/2014/10 / 13 / as-an-statistician-diterapkan-i-find-the-frequentist-versus-bayesians-debat-sama sekali tidak penting /

[2] Dupré, MJ, & Tipler, FJ (2009). Aksioma baru untuk probabilitas Bayesian yang ketat. Analisis Bayesian, 4 (3), 599-606. http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3] Savage, LJ (1972). Dasar-dasar statistik. Perusahaan Kurir.

[4] Bernardo, JM The Valencia Story - Beberapa perincian tentang asal dan perkembangan Pertemuan Internasional Valencia tentang Bayesian Statistics. http://www.uv.es/bernardo/ValenciaStory.pdf

Juho Kokkala
sumber
13
+1, khususnya untuk "Aksioma teori probabilitas bahkan tidak mengandung definisi bisbol".
Amuba mengatakan Reinstate Monica
5
@ William: Parameter ini tidak diyakini sebagai variabel acak konstan - itu bukan fakta yang harus disimpulkan atau diamati. Pertanyaannya adalah apakah atau tidak mewakili ketidakpastian epistemik tentang nilai sebenarnya dari parameter menggunakan distribusi probabilitas. (Analisis Frequentist hanya merepresentasikan proses penghasil data dengan menggunakan distribusi probabilitas.)
Scortchi - Reinstate Monica
4
@ Willy the Monty Hall klasik tidak memiliki apa pun yang akan ditafsirkan sebagai parameter atau sebagai data, itu masalah probabilitas. Pendekatan Bayesian / frequentist hanya akan berperan jika Anda ingin memperkirakan, katakanlah, parameter dari varian parametrized yang dijelaskan di sini en.wikipedia.org/wiki/Monty_Hall_problem#Varian dengan menonton beberapa episode gameshow. Saya, sebagai seorang Bayesian, mungkin akan menempatkan, misalnya, beta sebelum lebih dari dan mulai memperbarui. Apakah ini akan bekerja dengan baik dalam simulasi komputer dapat sangat bergantung pada bagaimana simulasi komputer memilih . q qqqq
Juho Kokkala
8
Terlebih Dahulu saya perhatikan bahwa saya tidak tertarik melanjutkan debat tentang ini di bagian komentar, karena itu (atau situs ini sama sekali) bukan tempat untuk debat.
Juho Kokkala
2
Saya sepenuhnya setuju "statistik bukan matematika". Wigner menulis sebuah esai yang disebut "Efektivitas Matematika yang Tidak Masuk Akal dalam Fisika", yang berpendapat bahwa karena tidak ada hubungan yang melekat antara dunia abstrak matematika dan dunia konkret fisika. Mengejutkan (dan menakjubkan) bahwa matematika bekerja sangat baik dalam menggambarkan fisika. Saya merasakan hal yang sama berlaku untuk statistik. Saya menantikan seseorang yang menulis "Efektivitas Matematika yang Tidak Masuk Akal dalam Statistik". Saya pribadi merasa luar biasa bahwa matematika abstrak bekerja sangat baik dalam menggambarkan fenomena statistik.
aginensky
32

Dasar matematika untuk debat Bayesian vs frequentist sangat sederhana. Dalam statistik Bayesian, parameter yang tidak diketahui diperlakukan sebagai variabel acak; dalam statistik frequentist diperlakukan sebagai elemen tetap. Karena variabel acak adalah objek matematika yang jauh lebih rumit daripada elemen sederhana dari himpunan, perbedaan matematika cukup jelas.

Namun, ternyata hasil aktual dalam hal model bisa sangat mirip. Ambil contoh regresi linier. Regresi linear Bayesian dengan prior uninformative mengarah ke distribusi estimasi parameter regresi, yang rata-rata sama dengan estimasi parameter regresi linier frequentist, yang merupakan solusi untuk masalah kuadrat terkecil, yang bahkan bukan masalah dari teori probabilitas . Namun demikian, matematika yang digunakan untuk sampai pada solusi yang sama sangat berbeda, untuk alasan yang disebutkan di atas.

Tentu saja karena perbedaan perlakuan terhadap parameter matematis yang tidak diketahui sifatnya (variabel acak vs elemen himpunan) baik statistik Bayesian dan frequentist mengenai kasus-kasus di mana tampaknya lebih menguntungkan menggunakan pendekatan bersaing. Interval kepercayaan adalah contoh utama. Tidak harus bergantung pada MCMC untuk mendapatkan estimasi sederhana adalah hal lain. Namun, ini biasanya lebih merupakan masalah selera dan bukan matematika.

mpiktas
sumber
5
Meskipun konstanta adalah kasus khusus dari variabel acak, saya akan ragu untuk menyimpulkan bahwa Bayesianisme lebih umum. Anda tidak akan mendapatkan hasil yang sering dari yang Bayesian dengan hanya menciutkan variabel acak ke konstanta. Perbedaannya lebih dalam. Ketika Anda mengasumsikan bahwa parameter Anda adalah konstanta yang tidak diketahui, titik fokus penelitian menjadi estimasi, yang merupakan variabel acak (karena itu adalah fungsi yang dapat diukur dari sampel) dan seberapa dekat itu dengan nilai sebenarnya dari parameter, atau dengan cara apa mendapatkan estimasi sehingga mendekati estimasi sebenarnya.
mpiktas
6
Karena perkiraan adalah variabel acak, Anda tidak dapat mempelajarinya dengan mengabaikan teori ukuran, jadi saya menemukan pernyataan Anda bahwa banyak ahli statistik menampilkan sejumlah besar ketidaktahuan dan penghinaan terhadap teori ukuran yang cukup mengejutkan. Sudahkah Anda membaca Statistik Asimptotik oleh A. van der Vaart? Saya akan mempertimbangkan buku ini gambaran yang sangat baik dari statistik frequentist dan mengukur fitur teori yang cukup menonjol di sana.
mpiktas
3
Statistik Bayesian di sisi lain memperoleh distribusi parameter segera dan kemudian pertanyaannya adalah bagaimana sebenarnya menghitungnya (banyak penelitian tentang berbagai algoritma pengambilan sampel, Metropolis-Hastings, dll) dan apa pentingnya prior. Saya tidak terlalu terbiasa dengan penelitian tentang statistik Bayesian, jadi generalisasi saya mungkin akan sedikit berubah. Pergi ke preferensi pribadi, tidak-menahan kenyataan bahwa saya dilatih kurang lebih sebagai seorang yang sering, saya tidak suka bahwa statistik Bayesian menggunakan subset yang sangat terbatas dari distribusi yang tersedia ...
mpiktas
3
Itu selalu dimulai dengan distribusi normal dan konjugatnya dan seberapa jauh ini membuat Anda. Karena hampir semua data yang saya kerjakan tidak terdistribusi secara normal, saya langsung curiga dan lebih suka bekerja dengan metode yang bersifat agnostik. Namun ini adalah preferensi pribadi, dan saya menemukan bahwa dalam pekerjaan terapan saya lakukan, saya belum menemukan masalah yang sering gagal pendekatan yang spektakuler sehingga saya perlu beralih ke Bayesian.
mpiktas
4
"Itu selalu dimulai dengan distribusi normal dan konjugatnya dan seberapa jauh ini membuat Anda ..." - inilah sebabnya seseorang menggunakan metode Monte Carlo untuk mengambil sampel dari distribusi parameter posterior; ini juga berfungsi untuk distribusi umum (perangkat lunak BUGS dan variannya).
John Donn
25

Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif dalam kerangka aksioma Kolmogorov.

Bagaimana tepatnya Anda menerapkan aksioma Kolmogorov sendirian tanpa interpretasi? Bagaimana akan Anda menafsirkan probabilitas? Apa yang akan Anda katakan kepada seseorang yang bertanya kepada Anda, "Apa arti estimasi probabilitas ?" 0.5Apakah Anda akan mengatakan bahwa hasil Anda adalah angka0.5, mana yang benar karena mengikuti aksioma? Tanpa interpretasi apa pun, Anda tidak dapat mengatakan bahwa ini menunjukkan seberapa sering kami berharap untuk melihat hasilnya jika kami mengulangi eksperimen kami. Anda juga tidak dapat mengatakan bahwa nomor ini memberi tahu Anda seberapa yakin Anda tentang kemungkinan suatu peristiwa terjadi. Anda juga tidak dapat menjawab bahwa ini memberi tahu Anda seberapa besar kemungkinan Anda meyakini acara tersebut. Bagaimana Anda menginterpretasikan nilai yang diharapkan - karena beberapa angka dikalikan dengan beberapa angka lain dan dijumlahkan bersama yang valid karena mereka mengikuti aksioma dan beberapa teorema lainnya?

Jika Anda ingin menerapkan matematika ke dunia nyata, maka Anda perlu menafsirkannya. Angka-angka saja tanpa interpretasi adalah ... angka. Orang tidak menghitung nilai yang diharapkan untuk memperkirakan nilai yang diharapkan, tetapi untuk belajar sesuatu tentang kenyataan.

Selain itu, probabilitas bersifat abstrak, sementara kami menerapkan statistik (dan probabilitas per se) untuk kejadian di dunia nyata. Ambil contoh paling dasar: koin yang adil. Dalam interpretasi frequentist, jika Anda melempar koin sedemikian banyak kali, Anda akan mengharapkan jumlah kepala dan ekor yang sama. Namun, dalam percobaan kehidupan nyata ini hampir tidak akan pernah terjadi. Jadi probabilitas benar-benar tidak ada hubungannya dengan koin tertentu yang dilemparkan beberapa kali tertentu.0.5

Probabilitas tidak ada

- Bruno de Finetti

Tim
sumber
3
"Jika Anda melempar koin sedemikian banyak kali, Anda akan mengharapkan jumlah kepala dan ekor yang sama" - itu adalah pemahaman yang salah tentang hukum angka besar. Lihat bab III Volume 1 dari Feller's An Pengantar Teori Probabilitas dan Aplikasi . Sebagai contoh, pada hal.67 "Dalam populasi koin normal, mayoritas harus disesuaikan".
Chill2Macht
1
@ William jadi apa sebenarnya yang akan Anda jawab untuk pertanyaan "apa arti p = 0,5?" di mana p adalah estimasi probabilitas pada percobaan melempar koin ...?
Tim
1
Anda juga mengutip Feller yang menyebutkan "mayoritas" - mayoritas apa tepatnya jika Anda tidak membuat interpretasi probabilitas yang sering terjadi ..?
Tim
7
Menyederhanakan hal-hal: dalam sudut pandang frequentist probabilitas terkait dengan proporsi peristiwa yang terjadi di antara peristiwa yang mungkin terjadi; dalam interpretasi Bayesian adalah tentang seberapa banyak sesuatu dapat dipercaya (lihat en.wikipedia.org/wiki/Probability#Interpretations ). Dengan memberi tahu saya tentang ruang sampel, dll. Anda berasumsi bahwa ada sesuatu selain lemparan koin masa depan tunggal - ini adalah interpretasi probabilitas Anda, karena hanya akan ada lemparan tunggal, sehingga seluruh argumen tentang ruang sampel tidak berlaku untuk saya t. Anda benar dengan penafsiran Anda, tetapi ini
Tim
5
interpretasi. Untuk menerapkan probabilitas pada kejadian dunia nyata, Anda perlu membuat interpretasi seperti itu. Berapa probabilitas Trump memenangkan pemilu AS pada tahun 2016? Pertanyaan ini tidak dapat dijawab jika Anda tidak akan membuat asumsi tentang probabilitas.
Tim
10

Pandangan saya tentang perbedaan antara kesimpulan Bayesian dan frequentist adalah bahwa masalah pertama adalah pilihan acara yang Anda inginkan kemungkinannya. Frequentists mengasumsikan apa yang Anda coba buktikan (misalnya, hipotesis nol) kemudian menghitung probabilitas mengamati sesuatu yang sudah Anda amati, berdasarkan asumsi itu. Ada analogi yang tepat antara probabilitas arus balik informasi dan sensitivitas serta spesifisitas dalam diagnosis medis, yang telah menyebabkan kesalahpahaman yang sangat besar dan perlu ditebus oleh aturan Bayes untuk mendapatkan kemungkinan maju ("probabilitas pasca-uji"). Bayesians menghitung probabilitas suatu peristiwa, dan probabilitas absolut tidak mungkin untuk dihitung tanpa jangkar (yang sebelumnya). Probabilitas Bayes tentang kebenaran suatu pernyataan jauh berbeda dari probabilitas seringnya mengamati data berdasarkan asumsi tertentu yang tidak diketahui. Perbedaan lebih jelas ketika frequentist harus menyesuaikan untuk analisis lain yang telah dilakukan atau bisa dilakukan (multiplisitas; pengujian sekuensial, dll.).

Jadi diskusi tentang dasar matematika sangat menarik dan merupakan diskusi yang sangat tepat untuk dimiliki. Tetapi kita harus membuat pilihan mendasar probabilitas ke depan vs ke belakang. Oleh karena itu apa yang dikondisikan, yang bukan matematika, sangat penting. Bayesians percaya bahwa pengondisian penuh pada apa yang sudah Anda ketahui adalah kuncinya. Para frekuensi sering lebih sering mengkondisikan pada apa yang membuat matematika sederhana.

Frank Harrell
sumber
9

Saya akan memecah ini menjadi dua pertanyaan terpisah dan menjawab masing-masing.

1.) Dengan pandangan filosofis yang berbeda tentang apa arti probabilitas dalam perspektif Frequentist dan Bayesian, adakah aturan matematika probabilitas yang berlaku untuk satu interpretasi dan tidak berlaku untuk yang lain?

Tidak. Aturan probabilitas tetap sama persis antara kedua kelompok.

2.) Apakah Bayesians dan Frequentists menggunakan model matematika yang sama untuk menganalisis data?

Secara umum, tidak. Ini karena dua interpretasi yang berbeda menunjukkan bahwa seorang peneliti dapat memperoleh wawasan dari sumber yang berbeda. Secara khusus, Kerangka Frequentist sering dianggap menyarankan bahwa seseorang dapat membuat inferensi pada parameter yang menarik hanya dari data yang diamati, sementara perspektif Bayesian menyarankan bahwa seseorang juga harus menyertakan pengetahuan ahli independen tentang subjek. Sumber data yang berbeda berarti model matematika yang berbeda akan digunakan untuk analisis.

Juga perlu dicatat bahwa ada banyak perbedaan antara model yang digunakan oleh dua kubu yang lebih terkait dengan apa yang telah dilakukan daripada apa yang bisa dilakukan.harus dilakukan (yaitu banyak model yang secara tradisional digunakan oleh satu kubu dapat dibenarkan oleh kubu lainnya). Sebagai contoh, model BUG (Bayesian inference Using Gibbs sampling, nama yang tidak lagi secara akurat menggambarkan set model karena berbagai alasan) secara tradisional dianalisis dengan metode Bayesian, sebagian besar karena ketersediaan paket perangkat lunak yang hebat untuk melakukan hal ini dengan (JAGs, Stan misalnya). Namun, tidak ada yang mengatakan model ini harus benar-benar Bayesian. Bahkan, saya bekerja pada proyek NIMBLE yang membangun model-model ini dalam kerangka BUGs, tetapi memungkinkan pengguna lebih banyak kebebasan tentang bagaimana membuat kesimpulan pada mereka. Sementara sebagian besar alat yang kami sediakan adalah metode MCMC Bayesian yang dapat disesuaikan, orang juga dapat menggunakan estimasi kemungkinan maksimum, metode Frequentist tradisional, untuk model ini juga. Demikian pula, prior sering dianggap sebagai apa yang dapat Anda lakukan dengan Bayesian yang tidak dapat Anda lakukan dengan model Frequentist. Namun, estimasi penalti dapat menyediakan model yang sama menggunakan estimasi parameter regularisasi (meskipun kerangka kerja Bayesian memberikan cara yang lebih mudah untuk membenarkan dan memilih parameter regularisasi, sementara Frequentists dibiarkan dengan, dalam skenario kasus terbaik dari banyak data, "kami memilih parameter regularisasi ini karena lebih banyak sampel yang divalidasi silang, mereka menurunkan perkiraan kesalahan sampel "... untuk lebih baik atau lebih buruk).

Cliff AB
sumber
1
Saya agak keberatan dengan kutipan ini: "Secara khusus, kerangka kerja Frequentist sering dianggap menyarankan bahwa seseorang dapat membuat inferensi pada parameter yang diminati hanya dari data yang diamati, sementara perspektif Bayesian menyarankan bahwa seseorang juga harus memasukkan pengetahuan ahli independen. tentang subjek ". Utamanya untuk implikasi bahwa frequentist adalah, untuk alasan apa pun, tidak tertarik pada pengetahuan ahli independen tentang subjek. Perbedaan antara frequentist dan Bayesians bukanlah bahwa mantan keras kepala menolak untuk menggunakan pengetahuan atau konteks sebelumnya ... (1/2)
Ryan Simmons
1
... melainkan bahwa dua aliran pemikiran memanfaatkan pengetahuan / konteks sebelumnya dengan cara yang berbeda. Anda mungkin berpendapat bahwa perspektif Bayesian mengambil pendekatan yang lebih berprinsip untuk memasukkan pengetahuan sebelumnya ini langsung ke dalam model (meskipun, saya berpendapat bahwa penggunaan luas dari prior non-informatif agak melemahkan argumen ini). Tapi saya pikir itu tidak adil untuk menggambarkannya sebagai masalah yang sering tidak menggunakan informasi itu. (2/2)
Ryan Simmons
1
@RyanSimmons: benar, ini sebabnya saya menyatakan "sering dianggap menyarankan ...". Sebagai contoh, jika seorang peneliti mengamati bahwa meregulasi estimasi parameter di sekitar pendapat seorang ahli cenderung mengarah pada prediksi yang lebih baik dalam jangka panjang, tidak ada masalah dalam menggabungkan ini dalam kerangka Frequentist ("berdasarkan pada tindakan Frequentist, penaksir augmented ini memiliki lebih baik karakteristik operasi jangka panjang dari penduga hanya data "). Tapi ini tidak sesederhana dalam kerangka Bayesian.
Cliff AB
1
Cukup adil! Saya setuju.
Ryan Simmons
5

Bayesians dan Frequentists berpikir probabilitas mewakili hal-hal yang berbeda. Orang-orang sering berpikir mereka terkait dengan frekuensi dan hanya masuk akal dalam konteks di mana frekuensi dimungkinkan. Bayesians memandang mereka sebagai cara untuk mewakili ketidakpastian. Karena fakta apa pun bisa menjadi tidak pasti, Anda dapat berbicara tentang kemungkinan apa pun.

Konsekuensi matematis adalah bahwa Frequentists berpikir persamaan dasar probabilitas hanya kadang-kadang berlaku, dan Bayesian berpikir mereka selalu berlaku. Jadi mereka melihat persamaan yang sama sebagai benar, tetapi berbeda pada seberapa umum mereka.

Ini memiliki konsekuensi praktis berikut:

(1) Bayesian akan memperoleh metodenya dari persamaan dasar teori probabilitas (yang mana Bayes Theorem hanyalah satu contoh), sementara Frequentists menciptakan satu pendekatan ad-hoc intuitif satu demi satu untuk menyelesaikan setiap masalah.

(2) Ada teorema yang menunjukkan bahwa jika Anda beralasan dari informasi yang tidak lengkap, Anda sebaiknya menggunakan persamaan dasar teori probabilitas secara konsisten, atau Anda akan berada dalam masalah. Banyak orang memiliki keraguan tentang betapa berartinya teorema tersebut, namun inilah yang kita lihat dalam praktiknya.

Sebagai contoh, adalah mungkin bagi dunia nyata yang tidak bersalah mencari 95% Interval Keyakinan untuk sepenuhnya terdiri dari nilai-nilai yang terbukti tidak mungkin (dari info yang sama yang digunakan untuk mendapatkan Interval Keyakinan). Dengan kata lain, metode Frequentist dapat bertentangan dengan logika deduktif sederhana. Metode Bayesian seluruhnya berasal dari persamaan dasar teori probabilitas tidak memiliki masalah ini.

(3) Bayesian lebih umum daripada Frequentist. Karena bisa ada ketidakpastian tentang fakta apa pun, fakta apa pun dapat ditetapkan sebagai probabilitas. Khususnya, jika fakta yang sedang Anda kerjakan terkait dengan frekuensi dunia nyata (baik sebagai sesuatu yang Anda prediksi atau bagian dari data) maka metode Bayesian dapat mempertimbangkan dan menggunakannya seperti halnya akan fakta dunia nyata lainnya.

Konsekuensinya masalah apa pun yang sering dirasakan Metode mereka berlaku untuk orang Bayes juga dapat bekerja secara alami. Namun kebalikannya sering tidak benar kecuali Frequentists menemukan subterfuges untuk menafsirkan probabilitas mereka sebagai "frekuensi" seperti, misalnya, membayangkan banyak alam semesta, atau menciptakan pengulangan hipotetis hingga tak terbatas yang tidak pernah dilakukan dan sering tidak bisa pada prinsipnya .

Laplace
sumber
7
Bisakah Anda memberikan beberapa referensi untuk pernyataan berani yang Anda berikan? Sebagai contoh "Frequentists berpikir persamaan dasar probabilitas hanya kadang-kadang berlaku"? Dan apa persamaan dasar probabilitas?
mpiktas
6
Jauh lebih menarik daripada debat B vs F adalah komentar Anda tentang interval Keyakinan yang berisi nilai-nilai tidak mungkin. Bisakah Anda memberi atau menautkan ke contoh spesifik CI 95% yang hanya berisi nilai yang tidak mungkin? Ini bisa menjadi salah satu hal yang seharusnya dilihat oleh setiap ahli statistik setidaknya sekali dalam hidup mereka (sebagai kisah peringatan), tetapi saya belum.
Vincent
9
Bahwa CI mungkin mengandung semua nilai "tidak mungkin" sama sekali tidak "bertentangan dengan logika deduktif sederhana". Ini kedengarannya seperti kesalahpahaman tentang definisi CI - atau mungkin kebingungan antara interpretasi CI dan interval yang kredibel.
whuber
7
Ini tampaknya seperti kata-kata kasar filosofis daripada jawaban untuk pertanyaan OP (yang sebenarnya bukan tentang filsafat).
Cliff AB
5
"Mungkin untuk kesimpulan bahwa setiap ahli statistik akan membuat dari CI (tanpanya CI tidak memiliki tujuan praktis atau kontak dengan dunia nyata) untuk bertentangan dengan apa yang dapat disimpulkan dari bukti yang sama". Ini masih tidak mendukung klaim Anda bahwa Frequentists mengabaikan aturan probabilitas. Dan aku khawatir ini akan menyusuri jalan setapak "Bayes vs Frequentists: bertarung!" yang sebagian besar pembaca di sini lebih suka untuk menghindari.
Cliff AB
3

Pertanyaan: Kalau begitu, jika kita ingin benar secara matematis, tidakkah kita seharusnya melarang interpretasi probabilitas? Yaitu, apakah Bayesian dan frequentism secara matematis salah?

Ya, dan inilah yang dilakukan orang-orang baik dalam bidang Filsafat Ilmu Pengetahuan dan Matematika.

  1. Pendekatan filosofis. Wikipedia menyediakan ringkasan interpretasi / definisi probabilitas .

  2. Matematikawan tidak aman. Di masa lalu, sekolah Kolmogorovian memiliki monopoli probabilitas: probabilitas didefinisikan sebagai ukuran terbatas yang menetapkan 1 ke seluruh ruang ... Hegemoni ini tidak lagi valid karena ada tren baru pada probabilitas defininig seperti probabilitas Quantum dan Peluang gratis .

Tim Allen
sumber
Apakah Anda mengerti apa yang dimaksud dengan asumsi santai dari komutatifitas variabel acak? (berkenaan dengan probabilitas bebas - Saya tidak tahu cukup QM untuk memahami ide-ide di balik probabilitas kuantum) Apakah ini berarti bahwa atau ? Saya kira diskusi tentang von Neumann algebras dan algebra menyiratkan yang terakhir. X Y Y X C X+YY+XXYYXC
Chill2Macht
7
@ Willill aljabar tidak memodelkan sebagian besar statistik yang benar. (Secara analogi, penemuan bilangan kompleks sama sekali tidak memengaruhi penerapan bilangan alami apa pun pada fenomena. Tidak ada kemungkinan perluasan konsep matematika tentang probabilitas yang akan pernah mengubah cara probabilitas - sebagaimana dipahami saat ini - diterapkan, juga.) Tim , jawaban ini membingungkan: satu-satunya masalah matematis murni mengenai aplikasi probabilitas adalah apakah aksiomanya konsisten, dan itu mudah dibuktikan dengan model sederhana. C
whuber
2

Perdebatan bayes / frequentist didasarkan pada berbagai alasan. Jika Anda berbicara tentang dasar matematika, saya kira tidak banyak.

Mereka berdua perlu menerapkan berbagai metode perkiraan untuk masalah yang kompleks. Dua contoh adalah "bootstrap" untuk frequentist dan "mcmc" untuk bayesian.

Mereka berdua datang dengan ritual / prosedur bagaimana menggunakannya. Contoh frequentist adalah "usulkan penduga sesuatu dan evaluasi propertinya di bawah pengambilan sampel berulang" sementara contoh bayesian adalah "hitung distribusi probabilitas untuk apa yang Anda tidak tahu tergantung pada apa yang Anda ketahui". Tidak ada dasar matematika untuk menggunakan probabilitas dengan cara ini.

Debatnya lebih tentang aplikasi, interpretasi, dan kemampuan untuk memecahkan masalah dunia nyata.

Bahkan, ini sering digunakan oleh orang-orang yang memperdebatkan "sisi mereka" di mana mereka akan menggunakan "ritual / prosedur" khusus yang digunakan oleh "pihak lain" untuk menyatakan bahwa keseluruhan teori harus dibuang untuk mereka. Beberapa contoh termasuk ...

  • menggunakan priors bodoh (dan tidak memeriksanya)
  • menggunakan CI bodoh (dan tidak memeriksanya)
  • membingungkan teknik komputasi dengan teori (bayes bukan mcmc !! Hal yang sama berlaku untuk menyamakan validasi silang dengan pembelajaran mesin)
  • berbicara tentang masalah dengan aplikasi spesifik dengan satu teori dan bukan bagaimana teori lain akan menyelesaikan masalah spesifik "lebih baik"
probabilityislogic
sumber
Haha ya ini menurut saya sangat benar. Saya harus mendengarkan seorang profesor terus selama setengah jam tentang bagaimana Bayesianisme mengerikan karena datang dengan prior secara subyektif tidak masuk akal dan sepanjang waktu saya berpikir "baik, ya, jadi itu sebabnya Anda tidak akan memilih sebelum itu ". Maksud saya, saya setuju bahwa argumen strawman berlimpah.
Chill2Macht
1

Jadi bukankah itu berarti bahwa satu-satunya versi statistik yang benar secara matematis adalah yang menolak untuk menjadi apa pun kecuali sepenuhnya agnostik sehubungan dengan Bayesianisme dan frekuensi? Jika metode dengan kedua klasifikasi secara matematis benar, maka bukankah praktik yang tidak tepat untuk lebih memilih beberapa daripada yang lain, karena itu akan memprioritaskan filosofi yang kabur, tidak terdefinisi dengan baik daripada matematika yang tepat dan terdefinisi dengan baik?

Tidak. Itu tidak mengikuti. Individu yang tidak dapat merasakan emosinya secara biologis tidak mampu membuat keputusan, termasuk keputusan yang tampaknya hanya memiliki satu solusi objektif. Alasannya adalah pengambilan keputusan yang rasional tergantung pada kapasitas emosional kita dan preferensi kita baik secara kognitif maupun emosional. Walaupun itu menakutkan, itu adalah realitas empiris.

Gupta R, Koscik TR, Bechara A, Tranel D. Amygdala dan pengambilan keputusan. Neuropsikologia. 2011; 49 (4): 760-766. doi: 10.1016 / j.neuropsychologia.2010.09.029.

Seseorang yang lebih suka apel daripada jeruk tidak dapat mempertahankannya karena ini adalah preferensi. Sebaliknya, seseorang yang lebih suka jeruk daripada apel tidak dapat mempertahankan ini secara rasional karena itu adalah preferensi. Orang yang lebih suka apel akan sering makan jeruk karena biaya apel terlalu besar dibandingkan dengan biaya jeruk.

Sebagian besar perdebatan Bayesian dan Frequentist, serta debat Likelihoodist dan Frequentist, berpusat pada kesalahan pemahaman. Meskipun demikian, jika kita membayangkan bahwa kita memiliki seseorang yang terlatih dengan baik dalam semua metode, termasuk metode kecil atau tidak lagi digunakan seperti probabilitas Carnapian atau statistik fidusia, maka hanya rasional bagi mereka untuk lebih memilih beberapa alat daripada alat lain.

Rasionalitas hanya tergantung pada preferensi; perilaku tergantung pada preferensi dan biaya.

Mungkin dari sudut pandang matematika murni bahwa satu alat lebih baik daripada yang lain, di mana lebih baik didefinisikan menggunakan beberapa biaya atau fungsi utilitas, tetapi kecuali ada jawaban unik di mana hanya satu alat yang bisa bekerja, maka baik biaya maupun preferensi harus ditimbang.

Pertimbangkan masalah bandar judi yang mempertimbangkan menawarkan taruhan yang kompleks. Jelas, bandar harus menggunakan metode Bayesian dalam kasus ini karena mereka koheren dan memiliki sifat bagus lainnya, tetapi juga membayangkan bahwa bandar memiliki kalkulator saja dan bahkan tidak pensil dan kertas. Mungkin inilah bandarnya, dengan menggunakan kalkulatornya dan dengan melacak hal-hal di kepalanya dapat menghitung solusi Frequentist dan tidak memiliki kesempatan di Bumi untuk menghitung Bayesian. Jika ia bersedia mengambil risiko menjadi "Dutch Booked," dan juga menemukan potensi biaya yang cukup kecil, maka wajar baginya untuk menawarkan taruhan menggunakan metode Frequentist.

Hal ini rasional untuk Anda untuk menjadi agnostik karena preferensi emosional Anda menemukan bahwa untuk menjadi lebih baik untuk Anda. Tidaklah rasional jika bidang ini menjadi agnostik kecuali jika Anda percaya bahwa semua orang berbagi preferensi emosional dan kognitif Anda, yang kami tahu bukan itu masalahnya.

Singkatnya, saya tidak mengerti apa dasar matematika untuk debat Bayesian versus frequentist, dan jika tidak ada dasar matematika untuk debat (yang diklaim Wikipedia), saya tidak mengerti mengapa hal itu bisa ditoleransi sama sekali di wacana akademik.

Tujuan dari debat akademis adalah untuk menjelaskan ide-ide lama dan baru. Sebagian besar perdebatan Bayesian versus Frequentist dan debat Likelihoodist versus Frequentist berasal dari kesalahpahaman dan kecerobohan pemikiran. Beberapa datang dari kegagalan untuk memanggil preferensi untuk apa mereka. Sebuah diskusi tentang kebajikan seorang penaksir yang tidak bias dan berisik versus dan penaksir yang bias dan akurat adalah diskusi tentang preferensi emosional, tetapi sampai seseorang memilikinya, sangat mungkin bahwa pemikiran tentang hal itu akan tetap berlumpur di seluruh lapangan.

Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif dalam kerangka aksioma Kolmogorov.

Mengapa? Karena Anda lebih suka Kolmogorov daripada Cox, de Finetti atau Savage? Apakah preferensi itu menyelinap masuk? Juga, probabilitas dan statistik bukan matematika, mereka menggunakan matematika. Ini adalah cabang retorika. Untuk memahami mengapa ini penting, pertimbangkan pernyataan Anda:

jika suatu metode secara matematis benar, maka itu sah untuk menggunakan metode ketika asumsi dari matematika yang mendasarinya berlaku, jika tidak, jika secara matematis tidak benar atau jika asumsi tidak berlaku, maka tidak sah untuk menggunakannya.

Ini tidak benar. Ada artikel yang bagus tentang interval kepercayaan dan pelecehan mereka yang dikutip adalah:

Morey, Richard; Hoekstra, Rink; Rouder, Jeffrey; Lee, Michael; Wagenmakers, Eric-Jan, Kesalahan menempatkan kepercayaan dalam interval kepercayaan, Psychonomic Bulletin & Review, 2016, Vol.23 (1), pp.103-123

Jika Anda membaca interval kepercayaan potensial berbeda dalam artikel, masing-masing secara matematis valid, tetapi jika Anda kemudian mengevaluasi propertinya, mereka sangat berbeda secara substansial. Memang, beberapa interval kepercayaan yang diberikan dapat dianggap memiliki sifat "buruk", meskipun mereka memenuhi semua asumsi dalam masalah. Jika Anda menghilangkan interval Bayesian dari daftar dan hanya fokus pada empat interval Frequentist, maka jika Anda melakukan analisis yang lebih dalam tentang kapan intervalnya lebar atau sempit, atau konstan, maka Anda akan menemukan bahwa intervalnya mungkin tidak "sama dengan" "Meskipun masing-masing memenuhi asumsi dan persyaratan.

Tidak cukup hanya valid secara matematis agar bermanfaat atau, sebagai alternatif, berguna. Demikian juga, itu bisa benar secara matematis, tetapi berbahaya. Dalam artikel tersebut, ada interval yang paling sempit tepatnya ketika ada paling sedikit informasi tentang lokasi sebenarnya dan seluas ketika pengetahuan sempurna atau dekat pengetahuan sempurna ada tentang lokasi parameter. Apapun itu, ia memenuhi persyaratan pertanggungan dan memenuhi asumsi.

Matematika tidak pernah cukup.

Dave Harris
sumber
Saya sangat suka artikel kedua. (Kesimpulan dari artikel pertama adalah sesuatu yang sudah saya dengar berargumen dengan cara yang meyakinkan saya, jadi sepertinya tidak perlu bagi saya untuk membaca.) Saya kebanyakan setuju dengan apa yang Anda katakan. Agar adil, ketika saya mengatakan matematika, saya lebih memikirkan arti "matematika terapan" serta pemahaman implisit bahwa subjek dan arah penelitian matematika, serta pilihan aksioma matematika, dimaksudkan untuk memodelkan pengamatan dunia nyata. Juga, saya tidak berpikir artikel kedua bertentangan dengan apa yang saya katakan - penulis mengambil kesalahan yang umum, frasa
Chill2Macht
mereka secara matematis (yaitu tepatnya, ketat), dan kemudian memberikan contoh tandingan yang menunjukkan bahwa mereka salah. Apa yang saya coba katakan (jika saya ingat benar tentang niat saya beberapa bulan yang lalu), adalah bahwa jika "filsafat" Anda atau "gagasan filosofis" atau apa pun yang tidak dapat diungkapkan / dipersempit menjadi pernyataan yang tepat, yaitu dinyatakan dengan jelas, maka tidak ada gunanya untuk melempar. Misalnya, orang-orang yang sering membuat perbedaan antara MLE (MAP dengan sebuah flat prior) dan jenis-jenis prioritas lainnya karena alasan yang tidak jelas - jika keberatan Anda tidak dapat dinyatakan dalam bentuk aksioma matematika, maka ada
Chill2Macht
bukan alasan yang baik untuk menyatakan keberatan Anda, karena keberatan Anda terlalu samar untuk dapat dipalsukan. Hanya karena statistik "menggunakan matematika" tidak berarti, menurut pendapat saya, bahwa ahli statistik dibenarkan sebagai pemikir yang lebih ceroboh daripada ahli matematika. Matematikawan berdebat sepanjang waktu tentang mana aksioma matematika yang "berharga" atau "menarik" untuk dipertimbangkan, seperti yang Anda tunjukkan, pada akhirnya hanya didasarkan pada preferensi emosional. Tetapi argumen ini sebenarnya mampu memiliki substansi dan bidang bergerak maju, karena posisi masing-masing pihak jelas dan tidak
ambigu-
Saya menyatakan - misalnya orang dapat mengatakan dengan jelas bahwa intuitionists menolak menggunakan Hukum Tengah Disingkirkan, sedangkan matematikawan lain puas untuk menggunakannya. Perhatikan juga perdebatan sengit tentang Aksioma Pilihan. Tetapi baik Hukum Tengah yang Dikecualikan dan Aksioma Pilihan adalah pernyataan yang tepat yang, dengan asumsi akurat lainnya , dapat dipalsukan, terbukti dapat dipalsukan, terbukti, dll. (Tergantung pada asumsi lain). Yaitu yang saya coba utarakan adalah bahwa "filsafat" / "emosi" seharusnya hanya bermain untuk menyatakan preferensi untuk berbagai aksioma yang tidak ambigu / tepat . As
Chill2Macht
dibandingkan dengan seseorang yang mengatakan "priors are bad", dan tidak memberikan aksioma matematis yang menurut mereka harus dipenuhi, dan yang memilih prior dapat ditunjukkan secara logis untuk dilanggar. Yang pertama tidak berguna, sementara yang kedua adalah konstruktif, karena memberikan lawan sesuatu yang konkret untuk dikerjakan, misalnya kesempatan untuk mengusulkan aksioma alternatif yang bagi mereka "tampaknya lebih masuk akal untuk mengasumsikan masalah ini". Inilah sebabnya saya sangat menyukai artikel kedua yang Anda tautkan, karena ia melakukan hal yang benar- ia "membuat matematis" interpretasi salah CI, dan membuktikan bahwa mereka salah.
Chill2Macht