Berapa fraksi percobaan ulang yang akan memiliki ukuran efek dalam interval kepercayaan 95% dari percobaan pertama?

Mari tetap berpegang pada situasi ideal dengan pengambilan sampel acak, populasi Gaussian, varian yang sama, tanpa peretasan P, dll.

Langkah 1. Anda menjalankan eksperimen yang mengatakan membandingkan dua mean sampel, dan menghitung interval kepercayaan 95% untuk perbedaan antara dua mean populasi.

Langkah 2. Anda menjalankan lebih banyak eksperimen (ribuan). Perbedaan antara cara akan bervariasi dari percobaan ke percobaan karena pengambilan sampel acak.

Pertanyaan: Apa fraksi perbedaan antara rata-rata dari kumpulan eksperimen pada langkah 2 yang akan berada dalam interval kepercayaan langkah 1?

Itu tidak bisa dijawab. Itu semua tergantung pada apa yang terjadi pada langkah 1. Jika percobaan langkah 1 itu sangat tidak lazim, jawaban untuk pertanyaan itu mungkin sangat rendah.

Jadi bayangkan kedua langkah diulang berkali-kali (dengan langkah 2 berulang kali lebih banyak). Sekarang saya pikir, mungkin saja, untuk menghasilkan ekspektasi untuk apa fraksi percobaan berulang, rata-rata, memiliki ukuran efek dalam interval kepercayaan 95% dari percobaan pertama.

Tampaknya jawaban untuk pertanyaan-pertanyaan ini perlu dipahami untuk mengevaluasi reproduksibilitas studi, daerah yang sangat panas sekarang.

Analisis

Karena ini adalah pertanyaan konseptual, untuk kesederhanaan mari kita pertimbangkan situasi di mana interval kepercayaan dikonstruksi untuk rata-rata menggunakan sampel acak dari ukuran dan sampel acak kedua diambil dari ukuran , semua dari distribusi Normal . (Jika Anda suka, Anda dapat mengganti dengan nilai dari distribusi Student derajat kebebasan; analisis berikut tidak akan berubah.)[ ˉ x ( 1 ) + Z α / 2 s ( 1 ) / $1-\alpha$μx(1)nx(2)m(μ,σ2)Ztn-

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

Kemungkinan bahwa rata-rata sampel kedua terletak di dalam CI yang ditentukan oleh yang pertama adalah

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

Karena mean sampel pertama tidak tergantung pada standar deviasi sampel pertama (ini memerlukan normalitas) dan sampel kedua tidak tergantung pada yang pertama, perbedaan dalam sampel berarti tidak bergantung pada . Terlebih lagi, untuk interval simetris ini . Oleh karena itu, menulis untuk variabel acak dan mengkuadratkan kedua ketidaksetaraan, probabilitas yang dimaksud adalah sama dengans(1)U= ˉ x (2)- ˉ x (1)s(1)Zα/2=-Z1-α/2Ss(1$\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

Hukum harapan menyiratkan memiliki rata-rata dan varian$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

Karena adalah kombinasi linear dari variabel Normal, ia juga memiliki distribusi Normal. Oleh karena itu adalah dikali variabel . Kita sudah tahu bahwa adalah kali variabel . Akibatnya, adalah kali variabel dengan distribusi . Probabilitas yang diperlukan diberikan oleh distribusi F sebagaiU 2 σ 2 ( $U$$U^2$χ2(1)S2σ2/nχ2(n-1)U2/S21/n+1/mF(1,n-1$\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

Diskusi

Kasus yang menarik adalah ketika sampel kedua adalah ukuran yang sama dengan yang pertama, sehingga dan hanya dan menentukan probabilitas. Berikut adalah nilai-nilai dari diplot terhadap untuk .$n/m=1$$n$$\alpha$$(1)$$\alpha$$n=2,5,20,50$

Grafik naik ke nilai pembatas pada setiap saat meningkat. Ukuran uji tradisional ditandai dengan garis abu-abu vertikal. Untuk nilai lebih besar dari , peluang pembatas untuk adalah sekitar .$\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

Dengan memahami batas ini, kami akan mengintip rincian ukuran sampel kecil dan lebih memahami inti masalah. Ketika tumbuh besar, distribusi mendekati distribusi a . Dalam hal distribusi Normal standar , probabilitas kemudian mendekati$n=m$$F$$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

Misalnya, dengan , dan . Akibatnya nilai batas yang diperoleh oleh kurva pada karena meningkat akan menjadi . Anda dapat melihatnya hampir tercapai untuk (di mana peluangnya adalah .)$\alpha=0.05$$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

Untuk kecil , hubungan antara dan probabilitas komplementer - risiko bahwa CI tidak mencakup rata-rata kedua - hampir sempurna adalah hukum kekuatan. $\alpha$$\alpha$ Cara lain untuk menyatakan ini adalah bahwa probabilitas komplementer log hampir merupakan fungsi linear dari . Hubungan yang membatasi kira-kira$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

Dengan kata lain, untuk besar dan mendekati nilai tradisional , akan mendekati$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(Ini mengingatkan saya pada analisis interval kepercayaan yang tumpang tindih yang saya posting di /stats//a/18259/919 . Memang, kekuatan sihir di sana, , hampir merupakan kebalikan dari kekuatan sihir di sini, . Pada titik ini Anda harus dapat menafsirkan ulang analisis itu dalam hal reproduksibilitas percobaan.)$1.91$$0.557$

---

Hasil percobaan

Hasil ini dikonfirmasi dengan simulasi langsung. RKode berikut mengembalikan frekuensi pertanggungan, peluang yang dihitung dengan , dan skor-Z untuk menilai seberapa besar perbedaannya. Skor Z biasanya berukuran kurang dari , terlepas dari (atau bahkan apakah atau CI dihitung), menunjukkan kebenaran rumus .2 n , m , μ , σ , α Z t ( 1 $(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[Diedit untuk memperbaiki bug yang ditunjukkan WHuber.]

Saya mengubah kode R @ Whuber untuk menggunakan distribusi t, dan cakupan plot sebagai fungsi dari ukuran sampel. Hasilnya di bawah ini. Pada ukuran sampel yang tinggi, hasilnya cocok dengan WHuber.

Dan di sini adalah kode R yang diadaptasi, jalankan dua kali dengan alpha set ke 0,01 atau 0,05.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

Dan di sini adalah file GraphPad Prism yang membuat grafik.