Kapan (jika pernah) adalah pendekatan yang sering secara substantif lebih baik daripada Bayesian?

Latar belakang : Saya tidak memiliki pelatihan formal dalam statistik Bayesian (walaupun saya sangat tertarik untuk belajar lebih banyak), tetapi saya cukup tahu - saya pikir - untuk mendapatkan inti mengapa banyak orang merasa seolah-olah mereka lebih disukai daripada statistik Frequentist. Bahkan para sarjana dalam statistik pengantar (dalam ilmu sosial) kelas yang saya ajarkan menemukan pendekatan Bayesian menarik - "Mengapa kita tertarik dalam menghitung probabilitas data, mengingat nol? Mengapa kita tidak bisa mengukur probabilitas dari hipotesis nol? Atau hipotesis alternatif? Dan saya juga membaca utas - utas seperti ini , yang membuktikan manfaat empiris dari statistik Bayesian juga. Tetapi kemudian saya menemukan kutipan ini oleh Blasco (2001; penekanan ditambahkan):

Jika peternak hewan tidak tertarik pada masalah filosofis yang terkait dengan induksi, tetapi dalam alat untuk menyelesaikan masalah, baik sekolah inferensi Bayesian dan frequentist sudah mapan dan tidak perlu untuk membenarkan mengapa satu atau sekolah lain lebih disukai. Tak satu pun dari mereka sekarang memiliki kesulitan operasional, dengan pengecualian beberapa kasus yang kompleks ... Untuk memilih satu sekolah atau yang lain harus terkait dengan apakah ada solusi di satu sekolah yang tidak ditawarkan oleh sekolah lain , hingga seberapa mudah masalah diselesaikan , dan betapa nyamannya perasaan ilmuwan dengan cara ekspresi tertentu.

Pertanyaan : Kutipan Blasco tampaknya menunjukkan bahwa mungkin ada saat-saat ketika pendekatan Frequentist sebenarnya lebih disukai daripada pendekatan Bayesian. Jadi saya ingin tahu: kapan pendekatan yang lebih sering dilakukan lebih disukai daripada pendekatan Bayesian? Saya tertarik pada jawaban yang menangani pertanyaan baik secara konseptual (yaitu, kapan mengetahui probabilitas data dikondisikan pada hipotesis nol sangat berguna?) Dan secara empiris (yaitu, dalam kondisi apa metode Frequentist unggul vs Bayesian?).

Itu juga akan lebih baik jika jawaban disampaikan seaksesif mungkin - akan lebih baik untuk mengambil beberapa tanggapan kembali ke kelas saya untuk dibagikan kepada siswa saya (meskipun saya mengerti beberapa tingkat teknis diperlukan).

Akhirnya, meskipun menjadi pengguna reguler dari statistik Frequentist, saya sebenarnya terbuka untuk kemungkinan bahwa Bayesian baru saja menang.

Berikut lima alasan mengapa metode yang sering digunakan mungkin lebih disukai:

• Lebih cepat. Mengingat bahwa statistik Bayesian sering memberikan jawaban yang hampir identik dengan jawaban yang sering (dan ketika tidak, tidak jelas 100% bahwa Bayesian selalu merupakan jalan yang harus ditempuh), fakta bahwa statistik frequentist dapat diperoleh seringkali beberapa kali lipat lebih cepat adalah argumen yang kuat. Demikian juga, metode frequentist tidak memerlukan banyak memori untuk menyimpan hasilnya. Meskipun hal-hal ini mungkin tampak agak sepele, terutama dengan kumpulan data yang lebih kecil, fakta bahwa Bayesian dan Frequentist biasanya setuju dalam hasil (terutama jika Anda memiliki banyak data informatif) berarti bahwa jika Anda akan peduli, Anda dapat mulai memperhatikan yang kurang penting sesuatu. Dan tentu saja, jika Anda hidup di dunia data besar, ini tidak sepele sama sekali.

• Statistik non-parametrik. Saya mengakui bahwa statistik Bayesian memang memiliki statistik non-parametrik, tetapi saya berpendapat bahwa sisi sering lapangan memiliki beberapa alat praktis yang benar-benar tak terbantahkan, seperti Fungsi Distribusi Empiris. Tidak ada metode di dunia yang akan menggantikan EDF, maupun kurva Kaplan Meier, dll. (Walaupun jelas bukan berarti metode tersebut adalah akhir dari analisis).

• Kurang diagnostik. Metode MCMC, metode yang paling umum untuk pemasangan model Bayesian, biasanya membutuhkan lebih banyak pekerjaan oleh pengguna daripada bagian konter mereka yang sering. Biasanya, diagnostik untuk perkiraan MLE sangat sederhana sehingga implementasi algoritma yang baik akan melakukannya secara otomatis (walaupun itu tidak berarti setiap implementasi yang tersedia adalah baik ...). Dengan demikian, diagnosa algoritme frequentist biasanya "pastikan tidak ada teks merah saat memasang model". Mengingat bahwa semua ahli statistik memiliki bandwidth terbatas, ini membebaskan lebih banyak waktu untuk mengajukan pertanyaan seperti "apakah data saya benar-benar normal?" atau "apakah bahaya ini benar - benar proporsional?", dll.

• Inferensi yang valid di bawah salah spesifikasi model. Kita semua pernah mendengar bahwa "Semua model salah tetapi ada yang berguna", tetapi berbagai bidang penelitian menganggap ini lebih atau kurang serius. Literatur Frequentist penuh dengan metode untuk memperbaiki inferensi ketika model tidak ditentukan: bootstrap estimator, cross-validation, estimator sandwich (tautan juga membahas inferensi MLE umum di bawah model yang salah spesifikasi), persamaan estimasi umum (GEE), metode kuasi-kemungkinan, dll. Sejauh yang saya tahu, ada sangat sedikit dalam literatur Bayesian tentang kesimpulan di bawah salah spesifikasi model (meskipun ada banyak diskusi tentang pengecekan model, yaitu, pemeriksaan prediksi posterior). Saya tidak berpikir ini hanya kebetulan: mengevaluasi bagaimana penaksir berperilaku selama percobaan berulang tidak memerlukan penaksir untuk didasarkan pada model "benar", tetapi menggunakan teorema Bayes tidak!

• Bebas dari sebelumnya (ini mungkin alasan paling umum mengapa orang tidak menggunakan metode Bayesian untuk semuanya). Kekuatan sudut pandang Bayesian sering disebut-sebut sebagai penggunaan prior. Namun, dalam semua bidang terapan yang telah saya kerjakan, gagasan informatif sebelum analisis tidak dipertimbangkan. Membaca literatur tentang cara mendapatkan prior dari para ahli non-statistik memberikan alasan yang bagus untuk ini; Saya telah membaca makalah yang mengatakan hal-hal seperti (manusia jerami yang kejam seperti parafrase milik saya sendiri) "Tanyakan pada peneliti yang mempekerjakan Anda karena mereka kesulitan memahami statistik untuk memberikan kisaran bahwa mereka 90% yakin ukuran efek yang mereka kesulitan bayangkan akan berada di. Kisaran ini biasanya akan terlalu sempit, jadi sewenang-wenang mencoba membuat mereka sedikit memperluasnya. Tanyakan kepada mereka apakah kepercayaan mereka terlihat seperti distribusi gamma. Anda mungkin harus menggambar distribusi gamma untuk mereka, dan menunjukkan bagaimana ia dapat memiliki ekor yang berat jika parameter bentuknya kecil. Ini juga akan melibatkan menjelaskan apa itu PDF untuk mereka. "(Catatan: Saya tidak berpikir bahkan ahli statistik benar-benar dapat mengatakan secara akuratapriori apakah mereka 90% atau 95% yakin apakah ukuran efek terletak pada kisaran, dan perbedaan ini dapat memiliki efek besar pada analisis!). Sejujurnya, saya bersikap tidak ramah dan mungkin ada situasi di mana memunculkan pendahuluan mungkin sedikit lebih mudah. Tetapi Anda dapat melihat bagaimana ini adalah kaleng cacing. Bahkan jika Anda beralih ke prior non-informatif, itu masih bisa menjadi masalah; ketika mengubah parameter, apa yang mudah keliru untuk prior non-informatif tiba-tiba dapat dilihat sebagai sangat informatif! Contoh lain dari hal ini adalah saya sudah berbicara dengan beberapa peneliti yang tidak mauingin mendengar apa interpretasi ahli lain dari data itu karena secara empiris, para ahli lain cenderung terlalu percaya diri. Mereka lebih suka mengetahui apa yang bisa disimpulkan dari data pakar lain dan kemudian sampai pada kesimpulan mereka sendiri. Saya tidak dapat mengingat di mana saya mendengarnya, tetapi di suatu tempat saya membaca frasa "jika Anda seorang Bayesian, Anda ingin semua orang menjadi seorang Frequentist". Saya menafsirkan itu berarti bahwa secara teoritis, jika Anda seorang Bayesian dan seseorang menggambarkan hasil analisis mereka, Anda harus terlebih dahulu mencoba untuk menghapus pengaruh sebelumnya dan kemudian mencari tahu apa dampaknya jika Anda telah menggunakan Anda sendiri. Latihan kecil ini akan disederhanakan jika mereka memberi Anda interval kepercayaan daripada interval yang kredibel!

Tentu saja, jika Anda mengabaikan prior informatif, masih ada kegunaan dalam analisis Bayesian. Secara pribadi, ini di mana saya percaya utilitas tertinggi mereka terletak; ada beberapa masalah yang sangat sulit untuk mendapatkan jawaban dari dalam menggunakan metode MLE tetapi dapat diselesaikan dengan mudah dengan MCMC. Tapi pandangan saya tentang ini adalah utilitas tertinggi Bayesian adalah karena alasan kuat di pihak saya, jadi bawa dengan sebutir garam.

Beberapa keuntungan nyata dari statistik frequentist:

• Sering ada solusi bentuk tertutup untuk masalah yang sering terjadi, sedangkan Anda akan membutuhkan konjugat sebelum memiliki solusi bentuk tertutup dalam analog Bayesian. Ini berguna karena sejumlah alasan - salah satunya adalah waktu perhitungan.
• Suatu alasan yang, semoga, pada akhirnya akan hilang: orang awam diajarkan statistik yang sering. Jika Anda ingin dipahami oleh banyak orang, Anda perlu sering berbicara.
• Pendekatan "Tidak Bersalah sampai terbukti bersalah" Null Hypothesis Significance Testing (NHST) berguna ketika tujuannya adalah untuk membuktikan seseorang salah (saya akan menganggap hak Anda dan menunjukkan data yang berlebihan menunjukkan Anda salah). Ya, ada analog NHST di Bayesian tetapi saya menemukan versi frequentist jauh lebih mudah dan dapat ditafsirkan.
• Tidak ada yang sebelumnya benar - benar tidak informatif yang membuat beberapa orang merasa tidak nyaman.

Alasan paling penting untuk menggunakan pendekatan Frequentist, yang secara mengejutkan belum disebutkan, adalah kontrol kesalahan. Sangat sering, penelitian mengarah pada interpretasi dikotomis (haruskah saya membangun studi tentang ini, atau tidak? Haruskah menerapkan intervensi, atau tidak?). Pendekatan Frequentist memungkinkan Anda untuk mengontrol tingkat kesalahan Tipe 1 Anda secara ketat. Pendekatan Bayesian tidak (walaupun beberapa mewarisi batas universal dari pendekatan kemungkinan, tetapi bahkan kemudian, tingkat kesalahan dapat cukup tinggi dalam sampel kecil dan dengan ambang bukti yang relatif rendah (misalnya, BF> 3). Anda dapat memeriksa properti Frequentist dari Faktor Bayes (lihat misalnya http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513) tapi itu masih pendekatan Frequentist. Saya pikir sangat sering, para peneliti lebih peduli tentang kontrol kesalahan daripada tentang mengukur bukti per se (relatif terhadap beberapa hipotesis tertentu), dan saya pikir setidaknya, semua orang peduli tentang kontrol kesalahan sampai batas tertentu, dan dengan demikian dua pendekatan harus digunakan saling melengkapi.

Saya pikir salah satu pertanyaan terbesar, sebagai ahli statistik, Anda harus bertanya pada diri sendiri adalah apakah Anda percaya atau tidak, atau tidak, berpegang pada prinsip kemungkinan. Jika Anda tidak percaya pada prinsip kemungkinan maka saya pikir paradigma frequentist untuk statistik bisa sangat kuat, namun, jika Anda percaya pada prinsip kemungkinan, maka (saya percaya) Anda pasti harus mendukung paradigma Bayesian dalam atau untuk tidak melanggarnya.

---

Jika Anda tidak terbiasa dengan hal itu, apa yang dikatakan prinsip kemungkinan adalah sebagai berikut:

$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

$\mathbf{x}$$\mathbf{y}$

$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

$C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

Sekarang, salah satu yang menarik dari statistik Bayesian adalah bahwa, di bawah prior priors, paradigma Bayesian tidak pernah melanggar prinsip kemungkinan. Namun, ada skenario yang sangat sederhana di mana paradigma frequentist akan melanggar prinsip kemungkinan.

Berikut adalah contoh yang sangat sederhana berdasarkan pengujian hipotesis. Pertimbangkan yang berikut ini:

Pertimbangkan percobaan di mana 12 uji coba Bernoulli dijalankan dan 3 keberhasilan diamati. Bergantung pada aturan penghentian, kami dapat mengkarakterisasi data sebagai berikut:

• $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

Dan dengan demikian kita akan mendapatkan fungsi kemungkinan berikut: yang menyiratkan bahwa dan dengan demikian, dengan Prinsip Likelihood, kita harus mendapatkan kesimpulan yang sama tentang dari kemungkinan mana pun.

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

Sekarang, bayangkan menguji hipotesis berikut dari paradigma frequentist

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Untuk model Binomial kami memiliki yang berikut:

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

Perhatikan bahwa tetapi persyaratan lainnya berlaku tidak memenuhi prinsip kemungkinan.$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

Untuk model Binomial Negatif, kami memiliki yang berikut ini:

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

Dari perhitungan nilai-p di atas kita melihat bahwa dalam model Binomial kita akan gagal untuk menolak tetapi menggunakan model Binomial Negatif kita akan menolak . Jadi, meskipun ada nilai-p, dan keputusan berdasarkan nilai-p ini, tidak bersamaan. Argumen p-value ini adalah salah satu yang sering digunakan oleh Bayesians untuk menentang penggunaan nilai-p Frequentist.$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

Sekarang pertimbangkan lagi pengujian hipotesis berikut, tetapi dari paradigma Bayesian

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Untuk model Binomial kami memiliki yang berikut:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Demikian pula, untuk model Binomial Negatif kami memiliki yang berikut:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Sekarang menggunakan aturan keputusan Bayesian, pilih jika (atau beberapa ambang lainnya) dan ulangi dengan cara yang sama untuk .$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

Namun, sehingga kami tiba di kesimpulan yang sama dan dengan demikian pendekatan ini memenuhi Prinsip kemungkinan.$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

Jadi untuk menyimpulkan ocehan saya, jika Anda tidak peduli tentang prinsip kemungkinan maka menjadi sering adalah hebat! (Jika Anda tidak tahu, saya seorang Bayesian :))

Anda dan saya sama-sama ilmuwan, dan sebagai ilmuwan, terutama tertarik pada pertanyaan bukti. Untuk alasan itu, saya pikir pendekatan Bayesian, jika memungkinkan, lebih disukai.

Pendekatan Bayesian menjawab pertanyaan kami: Apa kekuatan bukti untuk satu hipotesis atas hipotesis lainnya? Pendekatan Frequentist, di sisi lain, tidak: Mereka hanya melaporkan apakah data aneh diberikan satu hipotesis.

Yang mengatakan, Andrew Gelman, Bayesian terkenal, tampaknya mendukung penggunaan nilai-p (atau p-nilai-seperti cek grafis) sebagai pemeriksaan untuk kesalahan dalam spesifikasi model. Anda dapat melihat singgungan untuk pendekatan ini dalam posting blog ini .

Pendekatannya, seperti yang saya mengerti, adalah sesuatu seperti proses dua langkah: Pertama, ia menanyakan pertanyaan Bayesian tentang apa bukti untuk satu model di atas yang lain. Kedua, ia menanyakan pertanyaan Frequentist tentang apakah model yang disukai benar-benar terlihat masuk akal mengingat data itu. Sepertinya pendekatan hybrid yang masuk akal bagi saya.

Secara pribadi saya mengalami kesulitan memikirkan situasi di mana jawaban yang lebih sering lebih disukai daripada jawaban Bayesian. Pemikiran saya dirinci di sini dan di artikel blog lainnya di fharrell.com tentang masalah dengan nilai p dan pengujian hipotesis nol. Kaum frekuensi sering cenderung mengabaikan beberapa masalah mendasar. Ini hanya contoh:

• Di luar model linier Gaussian dengan varians konstan dan beberapa kasus lainnya, nilai-p yang dihitung memiliki akurasi yang tidak diketahui untuk dataset dan model Anda
• Ketika eksperimen berurutan atau adaptif, sering kali nilai p tidak dapat dihitung dan satu hanya dapat menetapkan tingkat keseluruhan untuk mencapai$\alpha$
• Para frekuensi sering tampak senang tidak membiarkan kesalahan tipe I masuk ke bawah, katakanlah, 0,05 tidak masalah sekarang ukuran sampel bertambah
• Tidak ada resep yang sering untuk bagaimana koreksi multiplisitas terbentuk, yang mengarah ke metode ad hoc hodge-podge

Mengenai poin pertama, satu model yang umum digunakan adalah model logistik biner. Kemungkinan log-nya sangat non-kuadrat, dan sebagian besar batas kepercayaan dan nilai-p yang dihitung untuk model semacam itu tidak terlalu akurat. Bandingkan dengan model logistik Bayesian, yang memberikan inferensi yang tepat.

Yang lain telah menyebutkan kontrol kesalahan sebagai alasan untuk menggunakan inferensi frequentist. Saya tidak berpikir ini logis, karena kesalahan yang mereka rujuk adalah kesalahan jangka panjang, membayangkan sebuah proses di mana ribuan tes statistik dijalankan. Seorang hakim yang mengatakan "kemungkinan keyakinan palsu jangka panjang di ruang sidang saya hanya 0,03" harus dibatalkan. Dia didakwa memiliki probabilitas tertinggi untuk membuat keputusan yang tepat untuk terdakwa saat ini . Di sisi lain satu minus probabilitas posterior efek adalah probabilitas nol atau efek mundur dan probabilitas kesalahan yang sebenarnya kita butuhkan.

Banyak orang tampaknya tidak menyadari aliran filosofis ketiga: kemungkinan. Buku AWF Edwards, Likelihood, mungkin merupakan tempat terbaik untuk membacanya. Ini adalah artikel pendek yang ditulisnya.
Likelihoodisme menghindari nilai-p, seperti Bayesianisme, tetapi juga menjauhkan diri dari nilai-nilai Bayesian yang seringkali meragukan. Ada perawatan intro di sini juga.

Salah satu kelemahan terbesar dari pendekatan frequentist untuk membangun model selalu, seperti yang dicatat TrynnaDoStats dalam poin pertamanya, tantangan yang terkait dengan membalikkan solusi bentuk tertutup besar. Pembalikan matriks bentuk-tertutup mensyaratkan bahwa seluruh matriks tersebut tetap berada dalam RAM, batasan yang signifikan pada platform CPU tunggal dengan data dalam jumlah besar atau fitur kategorikal besar-besaran. Metode Bayesian telah mampu mengatasi tantangan ini dengan mensimulasikan undian acak dari yang ditentukan sebelumnya. Ini selalu menjadi salah satu nilai jual terbesar dari solusi Bayesian, meskipun jawaban hanya diperoleh dengan biaya yang signifikan dalam CPU.

Andrew Ainslie dan Ken Train, dalam sebuah makalah sekitar 10 tahun yang lalu yang saya kehilangan referensi, membandingkan campuran yang terbatas (yang bentuknya sering atau tertutup) dengan pendekatan Bayesian untuk pembuatan model dan menemukan bahwa di berbagai bentuk fungsional dan metrik kinerja, kedua metode ini pada dasarnya memberikan hasil yang setara. Di mana solusi Bayesian memiliki keunggulan atau memiliki fleksibilitas yang lebih besar dalam kasus-kasus di mana informasinya jarang dan sangat berdimensi tinggi.

Namun, makalah itu ditulis sebelum algoritma "divide and conquer" dikembangkan yang memanfaatkan platform paralel masif, misalnya, lihat makalah Chen dan Minge untuk informasi lebih lanjut tentang ini http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

Munculnya pendekatan D&C berarti bahwa, bahkan untuk masalah dimensi paling tinggi, jarang, paling tinggi, pendekatan Bayesian tidak lagi memiliki keunggulan dibandingkan metode yang sering terjadi. Kedua metode ini setara.

Perkembangan yang relatif baru ini patut dicatat dalam setiap perdebatan tentang keunggulan praktis atau keterbatasan dari kedua metode tersebut.

Tes yang sering dilakukan berfokus pada pemalsuan hipotesis nol. Namun, Null Hypothesis Significance Testing (NHST) juga dapat dilakukan dari perspektif Bayesian, karena dalam semua kasus NHST hanyalah perhitungan P (Efek yang diamati | Efek = 0). Jadi, sulit untuk mengidentifikasi waktu ketika akan diperlukan untuk melakukan NHST dari perspektif yang sering.

Karena itu, argumen terbaik untuk melakukan NHST menggunakan pendekatan frequentist adalah kemudahan dan aksesibilitas. Orang-orang diajari statistik frequentist. Jadi, lebih mudah untuk menjalankan NHST yang sering, karena ada banyak paket statistik yang membuatnya mudah untuk melakukan ini. Demikian pula, lebih mudah untuk mengkomunikasikan hasil dari NHST yang sering, karena orang-orang akrab dengan bentuk NHST ini. Jadi, saya melihat itu sebagai argumen terbaik untuk pendekatan frequentist: aksesibilitas ke program statistik yang akan menjalankannya dan kemudahan komunikasi hasil kepada kolega. Ini hanya budaya, jadi, argumen ini bisa berubah jika pendekatan frequentist kehilangan hegemoni mereka.

Beberapa komentar:

• Perbedaan mendasar antara ahli statistik bayesian dan sering adalah bahwa bayesian bersedia untuk memperluas alat probabilitas untuk situasi di mana frequentist tidak mau.

  • Lebih khusus lagi, bayesian bersedia menggunakan probabilitas untuk memodelkan ketidakpastian dalam pikirannya sendiri atas berbagai parameter. Untuk frequentist, parameter ini adalah skalar (meskipun skalar di mana ahli statistik tidak tahu nilai sebenarnya). Bagi Bayesian, berbagai parameter direpresentasikan sebagai variabel acak! Ini sangat berbeda. Ketidakpastian Bayesian atas parameter valeus diwakili oleh prior .

• Dalam statistik Bayesian, harapannya adalah bahwa setelah mengamati data, posterior membanjiri sebelumnya, bahwa sebelumnya tidak masalah. Tapi ini sering tidak terjadi: hasilnya mungkin peka terhadap pilihan sebelumnya! Orang Bayesian yang berbeda dengan prior yang berbeda tidak perlu setuju dengan posterior.

Poin utama yang perlu diingat adalah bahwa pernyataan ahli statistik sering adalah pernyataan yang disetujui oleh dua orang Bayesian, terlepas dari kepercayaan mereka sebelumnya!

Frequentist tidak mengomentari prior atau posisi, hanya kemungkinan.

Pernyataan ahli statistik sering dalam beberapa hal kurang ambisius, tetapi pernyataan berani dari Bayesian dapat secara signifikan bergantung pada penugasan sebelumnya. Dalam situasi di mana masalah prior dan di mana ada perbedaan pendapat tentang prior, pernyataan statistik frequentist yang lebih terbatas dan bersyarat mungkin berdiri di atas dasar yang lebih kuat.

Tujuan dari banyak penelitian bukanlah untuk mencapai kesimpulan akhir, tetapi hanya untuk mendapatkan sedikit lebih banyak bukti untuk secara bertahap mendorong perasaan masyarakat tentang satu pertanyaan dalam satu arah .

Statistik Bayesian sangat diperlukan ketika apa yang Anda butuhkan adalah mengevaluasi keputusan atau kesimpulan berdasarkan bukti yang tersedia. Kontrol kualitas tidak akan mungkin tanpa statistik Bayesian. Setiap prosedur di mana Anda perlu mengambil beberapa data dan kemudian menindaklanjutinya (robot, pembelajaran mesin, pengambilan keputusan bisnis) mendapat manfaat dari statistik Bayesian.

Tetapi banyak peneliti tidak melakukan itu. Mereka menjalankan beberapa percobaan, mengumpulkan beberapa data, dan kemudian mengatakan "Data menunjuk ke sini", tanpa benar-benar terlalu khawatir tentang apakah itu kesimpulan terbaik mengingat semua bukti yang telah dikumpulkan orang lain sejauh ini. Sains bisa menjadi proses yang lambat, dan pernyataan seperti "Probabilitas bahwa model ini benar adalah 72%!" sering prematur atau tidak perlu.

Ini sesuai dengan cara matematika sederhana juga, karena statistik frequentist sering berubah secara matematis sama dengan langkah-pembaruan statistik Bayesian. Dengan kata lain, sementara statistik Bayesian adalah (Model Sebelumnya, Bukti) → Model Baru, statistik frequentist hanyalah Bukti, dan menyerahkannya kepada orang lain untuk mengisi dua bagian lainnya.

Eksekusi aktual dari metode Bayesian lebih teknis daripada Frequentist. Dengan "lebih teknis" maksud saya hal-hal seperti: 1) memilih prior, 2) memprogram model Anda dalam BUGS / JAGS / STAN, dan 3) berpikir tentang pengambilan sampel dan konvergensi.

Jelas, # 1 cukup banyak bukan opsional, menurut definisi Bayesian. Meskipun dengan beberapa masalah dan prosedur, mungkin ada default yang wajar, agak menyembunyikan masalah dari pengguna. (Meskipun ini juga dapat menyebabkan masalah!)

Apakah # 2 merupakan masalah tergantung pada perangkat lunak yang Anda gunakan. Statistik Bayesian memiliki kecenderungan terhadap solusi yang lebih umum daripada metode statistik frequentist, dan alat-alat seperti BUGS, JAGS, dan STAN adalah ekspresi alami dari ini. Namun, ada fungsi Bayesian di berbagai paket perangkat lunak yang tampaknya berfungsi seperti prosedur frequentist biasa, jadi ini tidak selalu menjadi masalah. (Dan solusi terbaru seperti paket R rstanarmdan brmsmenjembatani kesenjangan ini.) Namun, menggunakan alat ini sangat mirip dengan pemrograman dalam bahasa baru.

Item # 3 biasanya berlaku, karena sebagian besar aplikasi Bayesian dunia nyata akan menggunakan MCMC sampling. (Di sisi lain, prosedur berbasis MLE yang sering menggunakan optimasi yang mungkin menyatu dengan minimum lokal atau tidak sama sekali, dan saya bertanya-tanya berapa banyak pengguna yang harus memeriksa ini dan tidak?)

Seperti yang saya katakan dalam komentar, saya tidak yakin bahwa kebebasan dari prior sebenarnya bermanfaat secara ilmiah. Ini tentu saja nyaman dalam beberapa cara dan pada beberapa titik dalam proses publikasi, tetapi saya tidak yakin itu benar-benar menghasilkan ilmu yang lebih baik. (Dan dalam gambaran besar, kita semua harus menyadari prior kita sebagai ilmuwan, atau kita akan menderita semua jenis bias dalam penyelidikan kita, terlepas dari metode statistik apa yang kita gunakan.)

Secara konseptual : Saya tidak tahu. Saya percaya statistik Bayesian adalah cara paling logis untuk berpikir, tetapi saya tidak bisa membenarkan alasannya.

Keuntungan dari frequentist adalah lebih mudah bagi kebanyakan orang di tingkat dasar. Tetapi bagi saya itu aneh. Butuh bertahun-tahun sampai saya benar-benar bisa menjelaskan secara intelektual apa itu interval kepercayaan diri. Tetapi ketika saya mulai menghadapi situasi praktis, ide-ide yang sering muncul tampaknya sederhana dan sangat relevan.

Secara empiris

Pertanyaan paling penting yang saya coba fokuskan saat ini adalah tentang efisiensi praktis: waktu kerja pribadi, ketepatan, dan kecepatan komputasi.

Waktu kerja pribadi: Untuk pertanyaan-pertanyaan dasar, saya sebenarnya hampir tidak pernah menggunakan metode Bayesian: Saya menggunakan alat-alat dasar yang sering dan akan selalu lebih suka uji-t daripada yang setara Bayesian yang hanya akan membuat saya sakit kepala. Ketika saya ingin tahu apakah saya secara signifikan lebih baik di tictactoe daripada pacar saya, saya melakukan chi-square :-). Sebenarnya, bahkan dalam pekerjaan serius sebagai ilmuwan komputer, alat dasar frequentist hanya berharga untuk menyelidiki masalah dan menghindari kesimpulan yang salah karena acak.

Presisi: Dalam pembelajaran mesin di mana prediksi lebih penting daripada analisis, tidak ada batas absolut antara Bayesian dan frequentist. MLE adalah persetujuan yang sering terjadi: hanya penduga. Tetapi MLE (MAP) yang diregulasi adalah pendekatan Bayesian sebagian : Anda menemukan mode posterior dan Anda tidak peduli dengan posterior lainnya. Saya tidak tahu tentang pembenaran yang sering dilakukan mengapa menggunakan regularisasi. Secara praktis, regularisasi kadang-kadang hanya tak terhindarkan karena perkiraan MLE mentah terlalu dilengkapi sehingga 0 akan menjadi prediktor yang lebih baik. Jika regularisasi disetujui sebagai metode Bayesian yang sesungguhnya, maka ini saja membenarkan bahwa Bayes dapat belajar dengan lebih sedikit data.

Kecepatan komputasi: metode frequentist paling sering komputasi lebih cepat dan lebih mudah untuk diimplementasikan. Dan entah bagaimana regularisasi menyediakan cara murah untuk memperkenalkan sedikit Bayes di dalamnya. Mungkin karena metode Bayesian masih belum seoptimal mungkin. Sebagai contoh, beberapa implementasi LDA cepat saat ini. Tetapi mereka membutuhkan kerja keras. Untuk estimasi entropi, metode canggih pertama adalah Bayesian. Mereka bekerja dengan baik tetapi segera metode yang sering ditemukan dan mengambil waktu komputasi yang jauh lebih sedikit ... Untuk waktu komputasi, metode frequentist umumnya jelas lebih unggul. Ini tidak masuk akal, jika Anda seorang Bayesian, untuk memikirkan metode frequentist sebagai perkiraan metode Bayesian.

Salah satu jenis masalah di mana pendekatan berbasis Frequentist tertentu pada dasarnya mendominasi setiap Bayesian adalah bahwa prediksi dalam kasus M-open.

Apa artinya M-open?

M-open menyiratkan bahwa model sebenarnya yang menghasilkan data tidak muncul di set model yang sedang kami pertimbangkan. Sebagai contoh, jika rerata sebenarnya dari adalah kuadratik sebagai fungsi , namun kami hanya mempertimbangkan model dengan rerata fungsi linear , kami berada dalam kasus M-open. Dengan kata lain, model tidak memenuhi spesifikasi menghasilkan kasus M-open.$y$$x$$x$

Dalam kebanyakan kasus, ini adalah masalah besar untuk analisis Bayesian; hampir semua teori yang saya tahu tentang bergantung pada model yang ditentukan dengan benar. Tentu saja, sebagai ahli statistik yang kritis, kita harus berpikir bahwa model kita selalu salah spesifikasi. Ini cukup masalah; sebagian besar teori kita didasarkan pada model yang benar, namun kita tahu itu tidak pernah benar. Pada dasarnya, kami hanya menyilangkan jari berharap model kami tidak terlalu salah.

Mengapa metode Frequentist menangani ini lebih baik?

Tidak semuanya. Misalnya, jika kita menggunakan alat MLE standar untuk membuat kesalahan standar atau membangun interval prediksi, kita tidak lebih baik daripada menggunakan metode Bayesian.

Namun, ada satu alat Frequentist tertentu yang sangat khusus ditujukan untuk tujuan ini: validasi silang. Di sini, untuk memperkirakan seberapa baik model kami akan memprediksi pada data baru, kami hanya meninggalkan beberapa data saat memasang model dan mengukur seberapa baik model kami memprediksi data yang tidak terlihat.

Perhatikan bahwa metode ini sepenuhnya ambivalen terhadap model yang tidak memenuhi spesifikasi, ini hanya menyediakan metode bagi kami untuk memperkirakan seberapa baik suatu model akan memprediksi data baru, terlepas dari apakah model itu "benar" atau tidak.

Saya tidak berpikir itu terlalu sulit untuk berpendapat bahwa ini benar-benar mengubah pendekatan untuk pemodelan prediktif yang sulit untuk membenarkan dari perspektif Bayesian (sebelum dianggap mewakili pengetahuan sebelumnya sebelum data melihat, fungsi kemungkinan adalah yang model, dll) ke salah satu itu sangat mudah untuk dibenarkan dari perspektif Frequentist (kami memilih parameter model + regularisasi yang, lebih dari pengambilan sampel berulang, mengarah ke yang terbaik dari kesalahan sampel).

Ini telah sepenuhnya merevolusi cara inferensi prediktif dilakukan. Saya tidak berpikir ahli statistik mana pun akan (atau setidaknya, harus) secara serius mempertimbangkan model prediksi yang tidak dibangun atau diperiksa dengan validasi silang, ketika itu tersedia (yaitu, kita dapat beranggapan bahwa pengamatan adalah independen, tidak mencoba untuk memperhitungkan untuk bias pengambilan sampel, dll.).