Apakah ada perbedaan?
Iya. Uji hipotesis nol menghasilkan statistik uji dan nilai-p, probabilitas statistik uji yang sama ekstrimnya dengan data, dengan asumsi bahwa hipotesis nol itu benar. Dalam contoh Anda, prop.test
uji asumsi bahwahalSEBUAH dan halBadalah sama. Ini berbeda dari probabilitas yang dijelaskan dalam tautan Anda,Pr (halB>halSEBUAH):
Pada data Anda, prop.test
menghasilkan nilai-p 0,6291; kami menafsirkan ini berarti bahwa jikahalSEBUAH=halB, kami berharap dapat melihat data ekstrem ini dalam sekitar 63% percobaan. Tapi ini tidak langsung diartikan sebagai probabilitas bahwa alternatif mengungguli kontrol. Menggunakan rumus pos tertaut, seseorang tiba diPr (halB>halSEBUAH) ≈ 0.726, yang secara langsung dapat ditafsirkan seperti itu. (Kode Python setelah istirahat.)
Untuk mendapatkan sedikit intuisi tentang ini, amati dua kerapatan posterior untuk halSEBUAH,halB.
- Mode dari halB jelas di sebelah kanan mode halSEBUAH. Dengan kata lain, estimasi titik kami untukhalBlebih tinggi. Diharapkan, sejak5550000>100100000.
- Posterior untuk halBlebih tersebar. Secara intuitif memuaskan: karena kami telah mengamati A dua kali lebih banyak, kami lebih percaya diri pada posterior yang lebih sempit.
- Masih ada banyak tumpang tindih — bisa dibayangkan bahwa kedua perawatan itu tidak berbeda secara bermakna.
Untuk satu bantuan intuitif terakhir, kita dapat memplot distribusi dari perbedaan posisi, dan mengamati bahwa sekitar tiga perempat area terletak di sebelah kanan. 0:
Untuk mengulangi, nilai-p hanya memberi tahu kita bahwa data gagal mencapai ekstremitas tempat kita yakin ada perbedaan.
Apakah yang lebih disukai?
Pertanyaan itu adalah contoh dari pilihan Bayesian v. Frequentist yang lebih luas, dan seringkali mengarah ke masalah pendapat. Secara umum, saya percaya jawabannya tergantung pada banyak faktor, termasuk aplikasi, audiens, dan preferensi analis. Berikut adalah beberapa cara untuk melihat perbedaan antara keduanya, yang diharapkan akan membantu menunjukkan kapan seseorang lebih disukai.
Satu pengantar yang bagus untuk pengujian Bayesian A / B menyatakan seperti ini:
Manakah dari dua pernyataan ini yang lebih menarik:
(1) "Kami menolak hipotesis nol bahwa A = B dengan nilai-p 0,043."
(2) "Ada kemungkinan 85% bahwa A memiliki peningkatan 5% dari B."
Pemodelan Bayesian dapat menjawab pertanyaan seperti (2) secara langsung.
Untuk pandangan lain, ahli statistik teoritis Larry Wasserman dengan baik menggambarkan dua aliran pemikiran:
Tetapi pertama-tama, saya harus mengatakan bahwa inferensi Bayesian dan Frequentist ditentukan oleh tujuan mereka, bukan metode mereka.
Tujuan Inferensi Frequentist: Buat prosedur dengan jaminan frekuensi. (Misalnya, interval kepercayaan.)
The Goal of Bayesian Inference: Mengukur dan memanipulasi tingkat kepercayaan Anda. Dengan kata lain, inferensi Bayesian adalah Analisis Keyakinan.
>>> from scipy.special import betaln as lbeta
def probability_B_beats_A(a_A, b_A, a_B, b_B):
... total = 0.0
... for i in range(a_B):
... total += exp(lbeta(a_A+i, b_B+b_A) - log(b_B+i) - lbeta(1+i, b_B) - lbeta(a_A, b_A))
... return total
>>> probability_B_beats_A(101, 100001 - 100, 56, 50001 - 55)
0.72594700264280843