Mengapa distribusi seragam ini?

Kami sedang menyelidiki uji statistik Bayesian, dan menemukan fenomena aneh (bagi saya setidaknya).

Pertimbangkan kasus berikut: kami tertarik untuk mengukur populasi mana, A atau B, yang memiliki tingkat konversi yang lebih tinggi. Untuk pemeriksaan kewarasan, kami menetapkan , yaitu probabilitas konversi sama di kedua grup. Kami menghasilkan data buatan menggunakan model binomial, misalnya $p_A = p_B$

n_{A} \sim Binomial (N, p_{A})

$n_A \sim \text{Binomial}(N, p_A)$

Kami kemudian mencoba memperkirakan menggunakan model beta-binomial Bayesian sehingga kami mendapatkan posisi untuk setiap tingkat konversi, mis. $p_A, p_B$

P_{A} \sim Beta (1 + n_{A}, N - n_{A} + 1)

$P_A \sim \text{Beta}(1 + n_A, N - n_A +1 )$

Statistik pengujian kami dihitung dengan menghitung melalui monte carlo. $S = P(P_A > P_B\; |\; N, n_A, n_B)$

Yang mengejutkan saya adalah jika , maka . Pikiranku adalah bahwa itu akan berpusat di sekitar 0,5, dan bahkan bertemu menjadi 0,5 ketika ukuran sampel, , bertambah. $p_A = p_B$ $S \sim \text{Uniform(0,1)}$ $N$

Pertanyaan saya adalah, mengapa $S \sim \text{Uniform(0,1)}$ saat $p_A = p_B$ ?

Berikut beberapa kode Python untuk diperagakan:

%pylab
from scipy.stats import beta
import numpy as np
import pylab as P

a = b = 0.5
N = 10000
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples)
P.show()

hypothesis-testing bayesian binomial python beta-distribution Cam.Davidson.Pilon
sumber

Perhatikan bahwa tidak bisa persis seragam, karena itu adalah variabel diskrit. Karena itu Anda bertanya tentang perilaku asimptotik. Selain itu, untuk kecil (kurang dari , kira-kira, dengan ) distribusinya bahkan tidak mendekati seragam.

S

$S$

N

$N$

100 / min (p, 1 - p)

$100/\min(p,1-p)$

p = p_{A} = p_{B}

$p=p_A=p_B$

whuber

@whuber S bukan diskrit, ini adalah probabilitas yang dapat jatuh antara 0 dan 1. Juga, bahkan untuk N rendah, saya mengamati perilaku seragam.

Cam.Davidson.Pilon

Saya pasti salah mengerti pengaturan Anda, kalau begitu. Sejauh yang saya tahu, untuk nilai nilai adalah angka. Oleh karena itu, menerima bahwa dan tetap untuk saat ini (seperti yang ada dalam kode Anda), adalah fungsi dari . Tetapi yang terakhir, sebagai realisasi dari dua distribusi Binomial, hanya dapat mencapai satu set nilai yang terpisah. Ketika saya mereproduksi kode Anda , saya mendapatkan histogram jelas tidak seragam untuk kecil .

N, n_{A}, n_{B},

$N,n_A,n_B,$

S

$S$

N, p_{A},

$N, p_A,$

p_{B}

$p_B$

S

$S$

(n_{A}, n_{B})

$(n_A,n_B)$ R

N

$N$

Whuber

Meskipun memang Anda memiliki nilai antara dan , jangan bingung dengan non-diskrit: ia dapat memiliki paling banyak nilai yang berbeda (dan sebenarnya memiliki lebih sedikit dari itu). Ini mungkin tidak menjadi sangat jelas bagi Anda karena simulasi menghasilkan perkiraan dari daripada nilai yang benar dan perkiraan pada dasarnya memiliki distribusi yang kontinu.

S

$S$

0

$0$

1

$1$

N^{2}

$N^2$

S

$S$

whuber

@whuber ya, Anda benar, pengamatan yang bagus. Saya masih terjebak pada mengapa itu terlihat seragam.

Cam.Davidson.Pilon

Jawaban:

TL; DR: Campuran dari distribusi normal mungkin terlihat seragam ketika ukuran bin besar.

Jawaban ini meminjam dari kode sampel @ whuber (yang saya pikir pertama adalah kesalahan, tetapi dalam retrospeksi mungkin merupakan petunjuk).

Proporsi yang mendasari dalam populasi adalah sama: a = b = 0.5.
Masing-masing kelompok, A dan B memiliki 10.000 anggota: N = 10000.
Kita akan melakukan 5000 ulangan dari simulasi: for i in range(5000):.

Sebenarnya, apa yang kita lakukan adalah dari . Di masing-masing dari 5000 iterasi kita akan melakukan . $\rm simulation_\rm{prime}$ $\rm simulation_\rm{underlying}$ $\rm simulation_\rm{prime}$ $\rm simulation_\rm{underlying}$

Dalam setiap iterasi dari kita akan mensimulasikan nomor acak dari A dan B yang 'keberhasilan' (AKA dikonversi) diberikan proporsi yang mendasari yang sama ditetapkan sebelumnya: . Secara nominal ini akan menghasilkan A = 5000 dan B = 5000, tetapi A dan B bervariasi dari sim run ke sim run dan didistribusikan melintasi 5000 simulasi berjalan secara independen dan (kurang-lebih) secara normal (kami akan kembali ke sana). $\rm simulation_\rm{prime}$ A = np.random.binomial(N, a); B = np.random.binomial(N, b)

Sekarang mari kita melangkahi untuk satu iterasi tunggal di mana A dan B telah mengambil jumlah keberhasilan yang sama (seperti rata-rata kasus). Dalam setiap iterasi dari kita akan, diberikan A dan B, membuat variasi acak dari distribusi beta untuk setiap grup. Kemudian kita akan membandingkannya dan mencari tahu apakah , menghasilkan TRUE atau FALSE (1 atau 0). Pada akhir jangka waktu , kami telah menyelesaikan 15000 iterasi dan memiliki 15000 nilai TRUE / FALSE. Rata-rata ini akan menghasilkan nilai tunggal dari distribusi sampling (sekitar normal) dari proporsi $\rm simulation_\rm {underlying}$ $\rm simulation_\rm{prime}$ $\rm simulation_\rm{underlying}$ ${\rm Beta}_A > {\rm Beta}_B$ $\rm simulation_\rm {underlying}$ ${\rm Beta}_A > {\rm Beta}_B$ .

Kecuali sekarang akan memilih nilai 5000 A dan B. A dan B jarang akan sama persis, tetapi perbedaan tipikal dalam jumlah keberhasilan A dan B dikerdilkan oleh ukuran sampel total A dan B. As dan B khas akan menghasilkan lebih banyak tarikan dari distribusi sampling mereka dengan proporsi , tetapi yang ada di tepi distribusi A / B juga akan ditarik. $\rm simulation_\rm{prime}$ ${\rm Beta}_A > {\rm Beta}_B$

Jadi, yang pada intinya kita menarik banyak sim run adalah kombinasi distribusi sampling dari untuk kombinasi A dan B (dengan lebih banyak tarikan dari distribusi sampling yang dibuat dari nilai-nilai umum A dan B dari nilai-nilai yang tidak biasa dari A dan B). Ini menghasilkan campuran distribusi normal-ish. Ketika Anda menggabungkan mereka di atas ukuran nampan kecil (seperti default untuk fungsi histogram yang Anda gunakan dan ditentukan langsung dalam kode asli Anda), Anda berakhir dengan sesuatu yang tampak seperti distribusi yang seragam. ${\rm Beta}_A > {\rm Beta}_B$

Mempertimbangkan:

a = b = 0.5
N = 10
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples,1000)
P.show()

russellpierce
sumber

Jadi ada perbedaan antara saya dan kode Anda. Saya sampel A dan B di setiap loop, Anda sampel sekali dan menghitung S 5000 kali.

Cam.Davidson.Pilon

Perbedaan terletak pada panggilan Anda ke rbinom, yang mengembalikan vektor. Panggilan berikutnya ke rbetadalam replicateadalah vektor, sehingga loop (internal) internal menggunakan dan berbeda untuk masing-masing 15000 variabel acak yang dihasilkan (membungkus sekitar 5000 final sejak Anda ). Lihat lebih lanjut. Ini berbeda dari kode @ Cam dengan memiliki dan tetap tunggal yang digunakan di semua 15000 panggilan variate acak untuk masing-masing dari 5000 sampling ( ) loop.

A

$A$

B

$B$ NSIM = 10000?rbeta

A

$A$

B

$B$ replicate

kardinal

inilah output untuk mereka yang penasaran: imgur.com/ryvWbJO

Cam.Davidson.Pilon

Satu-satunya hal yang saya ketahui yang berpotensi berkaitan pada tingkat konseptual adalah bahwa a) distribusi hasil yang diharapkan simetris, b) ukuran bin 1 selalu seragam, c) ukuran bin 2 untuk distribusi simetris juga akan selalu tampak seragam, d) jumlah distribusi pengambilan sampel yang mungkin yang dapat diambil dari kenaikan dengan N, e) nilai S tidak dapat menumpuk pada 0 atau 1 saja karena beta tidak terdefinisi ketika ada 0 keberhasilan dalam kedua kelompok , dan f) sampel dibatasi antara 0 dan 1.

russellpierce

Sebagai masalah observasi saja kita dapat melihat bahwa jarak antara centroid distribusi sampel berkurang ketika centroid distribusi sampel bergerak menjauh dari 0,5 (mungkin terkait dengan poin f di atas). Efek ini cenderung untuk menetralkan kecenderungan untuk frekuensi pengamatan yang tinggi untuk keberhasilan yang hampir sama pada kelompok A dan kelompok B. Namun, memberikan solusi matematika mengapa itu atau mengapa harus menghasilkan distribusi normal untuk ukuran bin tertentu tidak berada di dekat wilayah saya.

russellpierce

Untuk mendapatkan intuisi tentang apa yang sedang terjadi, mari kita merasa bebas untuk membuat sangat besar dan dengan demikian mengabaikan perilaku dan mengeksploitasi teorema asimtotik yang menyatakan bahwa distribusi Beta dan Binomial menjadi mendekati Normal. (Dengan beberapa masalah, semua ini bisa dibuat sulit.) Ketika kita melakukan ini, hasilnya muncul dari hubungan spesifik di antara berbagai parameter. $N$ $O(1/N)$

Karena kami berencana untuk menggunakan perkiraan Normal, kami akan memperhatikan harapan dan varian variabel:

Sebagai Binomial variates, dan memiliki harapan dan varians dari . Akibatnya dan memiliki harapan dari dan varians . $(N, p)$ $n_A$ $n_B$ $pN$ $p(1-p)N$ $\alpha=n_A/N$ $\beta=n_B/N$ $p$ $p(1-p)/N$
Sebagai Beta , memiliki ekspektasi dan varian . Mendekati, kami menemukan bahwa memiliki harapan $(n_A+1, N+1-n_A)$ $P_A$ $(n_A+1)/(N+2)$ $(n_A+1)(N+1-n_A) / [(N+2)^2(N+3)]$ $P_A$

$E (P_{A}) = α + O (1 / N)$ $\mathbb{E}(P_A) = \alpha+O(1/N)$
dan varian dari

$Var (P_{A}) = α (1 - α) / N + O (1 / N^{2}),$ $\text{Var}(P_A) = \alpha(1-\alpha)/N + O(1/N^2),$
dengan hasil yang serupa untuk . $P_B$

Oleh karena itu, mari kita distribusi dan dengan Normal dan Normal (di mana parameter kedua menentukan varians ). Distribusi akibatnya kira-kira Normal; yakni, $P_A$ $P_B$ $(\alpha, \alpha(1-\alpha)/N)$ $(\beta,\beta(1-\beta)/N)$ $P_A-P_B$

P_{A} - P_{B} \approx Normal (α - β, \frac{α (1 - α) + β (1 - β)}{N}) .

$P_A-P_B \approx \text{Normal}\left(\alpha-\beta, \frac{\alpha(1-\alpha) + \beta(1-\beta)}{N}\right).$

Untuk sangat besar , ekspresi tidak akan berbeda dari kecuali dengan probabilitas yang sangat rendah ( istilah lainnya yang diabaikan ). Dengan demikian, membiarkan menjadi CDF normal standar, $N$ $\alpha(1-\alpha) + \beta(1-\beta)$ $p(1-p)+p(1-p)=2p(1-p)$ $O(1/N)$ $\Phi$

Pr (P_{A} > P_{B}) = Pr (P_{A} - P_{B} > 0) \approx Φ (\frac{α - β}{\sqrt{2 p (1 - p) / N}}) .

$\Pr(P_A\gt P_B) =\Pr(P_A-P_B\gt 0) \approx \Phi\left(\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}\right).$

Tetapi karena memiliki rata-rata nol dan varians adalah standar Normal variate (setidaknya sekitar). adalah probabilitas integral perubahannya ; adalah seragam . $\alpha-\beta$ $2p(1-p)/N,$ $Z=\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}$ $\Phi$ $\Phi(Z)$

whuber
sumber

Saya bersama Anda sampai ... lalu Anda pergi ke arah lain yang saya tidak cukup ikuti. Apakah didefinisikan dua kali, sekali sebagai CDF normal standar dan kemudian sebagai probabilitas integral berubah? Saya harap Anda dapat memperluas deskripsi Anda di sekitar langkah-langkah ini dan menghubungkannya dengan kode / masalah awal. Mungkin berputar kembali dan menyatakan kembali parameter spesifik mana yang menghasilkan hasil yang seragam.

P_{A} - P_{B} \approx N o r m a l

$P_A - P_B \approx Normal$

Φ

$\Phi$

russellpierce

@ rpierce (1) Perbedaan kira-kira normal karena dan independen dan masing-masing kira-kira normal. Mean adalah perbedaan dari mean dan varians adalah jumlah dari varians. (2) Transformasi integral probabilitas adalah CDF: itu adalah kasus untuk setiap variabel acak dengan distribusi kontinu , bahwa seragam.

P_{A} - P_{B}

$P_A-P_B$

P_{A}

$P_A$

P_{B}

$P_B$

X

$X$

F

$F$

F (X)

$F(X)$

whuber

Oh saya mendapat 1, itu barang setelah itu di mana saya tersesat. Ini akan menjadi sangat bodoh, tetapi mengapa sama dengan CDF?

P r (P_{A} > P_{B})

$Pr(P_A>P_B)$

russellpierce

@ rpierce Yang mengikuti langsung dari definisi, tetapi ada sedikit twist di mana simetri distribusi Normal dipanggil. Kami sedang berhadapan dengan variate normal diasumsikan memiliki harapan dan varians . Standarisasi , adalah wajar untuk menulis ulang probabilitas sebagai

X = P_{A} - P_{B}

$X = P_A-P_B$

μ = α - β

$\mu=\alpha-\beta$

σ^{2} = 2 p (1 - p) / N

$\sigma^2 = 2p(1-p)/N$

X

$X$

Pr (X > 0) = Pr ((X - μ) / σ > (0 - μ) / σ) = 1 - Φ (- μ / σ) = Φ (μ / σ) .

$\Pr(X\gt 0) = \Pr((X-\mu)/\sigma \gt (0-\mu)/\sigma) = 1-\Phi(-\mu/\sigma) = \Phi(\mu/\sigma).$

whuber

@whuber ini sangat menakjubkan. Anda adalah guru yang luar biasa. Saya menghargai jawaban Anda dan rpierce, saya akan tetap memberinya pujian karena itu menyelesaikan masalah kami, dan Anda telah menunjukkan mengapa perilaku itu terjadi. Ty!

Cam.Davidson.Pilon