Independensi mean sampel dan varians sampel dalam distribusi binomial

Biarkan . Kita tahu bahwa dan . Apakah ini menyiratkan bahwa mean sampel dan varians sampel saling bergantung ? Atau apakah itu hanya berarti bahwa varians populasi dapat ditulis sebagai fungsi dari mean populasi ?$X\sim\mathrm{Binomial}(n,p)$$\mathrm{E}[X]=np$$\mathrm{Var}[X]=np(1-p)$$\bar x$$s^2$

$\bar x$ dan adalah variabel acak. Kita bisa mengerjakan distribusi bersama mereka. Mari kita coba kasus nontrivial yang paling sederhana, yaitu sampel ukuran dari distribusi Binomial . Hanya ada empat kemungkinan untuk sampel itu, yang dengan ini ditabulasikan bersama dengan probabilitasnya (dihitung dari independensi dua elemen sampel):$s^2$$2$$(1,p)$

First value | Second value | Mean | Variance | Probability
          0 |            0 |    0 |        0 | (1-p)^2
          0 |            1 |  1/2 |      1/2 | (1-p)p
          1 |            0 |  1/2 |      1/2 | p(1-p)
          1 |            1 |    1 |        0 | p^2

Mean secara sempurna memprediksi varians dalam contoh ini. Jadi, asalkan semua probabilitas bukan nol (yaitu, bukan atau ), mean sampel dan varians sampel tidak independen.$p$$0$$1$

Pertanyaan yang menarik adalah apakah, jika dalam keluarga distribusi mean menentukan varians, mean sampel dan varians sampel dapat independen. Jawabannya adalah ya: ambil keluarga mana pun dari distribusi Normal yang variansnya bergantung pada rata-rata seperti set semua distribusi Normal . Tidak peduli yang distribusi ini mengatur sampel, varians mean dan sampel sampel akan independen, karena itulah kasus untuk setiap distribusi normal.$(\mu, \mu^2)$

Analisis ini menunjukkan bahwa pertanyaan tentang struktur keluarga distribusi (yang menyangkut , , , dan sebagainya) tidak berpengaruh pada pertanyaan independensi statistik sampel dari elemen keluarga tertentu.$n$$p$$\mu$

Properti yang, untuk sampel iid, mean sampel dan varians sampel independen, adalah karakterisasi dari distribusi normal: untuk tidak ada distribusi lain yang dimiliki oleh properti tersebut.

Lihat Patel, JK, & Read, CB (1982). Buku pegangan dari distribusi normal , hal. 81 dalam edisi 1 1982, dalam bab "Karakterisasi" (mungkin telah mengubah halaman dalam edisi 2 1996).

Jadi untuk distribusi lain, mean sampel dan varians sampel bergantung secara statistik.

Hasil umum mengenai mean sampel dan varians sampel dari sampel iid dari distribusi apa pun yang memiliki momen hingga 3d, adalah sebagai berikut (menggunakan estimator yang tidak bias untuk varians):

$$\operatorname{Cov} (\bar X, s^2) = E(\bar X s^2) - E(x)\operatorname{Var}(x) = \frac 1n E[X-E(x)]^3$$

Dengan kata lain, kovarians antara mean sampel dan varians sampel sama dengan momen pusat ketiga, dibagi dengan $n$. Konsekuensi:

1) Ketika ukuran sampel meningkat, keduanya cenderung menjadi tidak berkorelasi.

2) Untuk setiap distribusi yang memiliki momen pusat ketiga sama dengan nol, mereka tidak berkorelasi (meskipun mereka tetap bergantung, untuk semua distribusi kecuali normal). Ini tentu saja mencakup semua distribusi simetris tentang rata-rata mereka, tetapi juga distribusi lain yang tidak simetris tentang rata-rata mereka tetapi masih, memiliki momen pusat ketiga sama dengan nol , lihat utas ini .

Kasus ekstrem adalah $\operatorname{Bernoulli}(p) = \operatorname{Binomial}(1,p).$ Pertimbangkan sampel ukuran (modal) $N:$

$$\begin{align} Ns^2 = \sum_{k=1}^N (x_k - \overline x)^2 = {} & \left( \sum_k x_k^2 \right) - \left( 2\overline x \sum_i x_k \right) + \left( N\overline x^2 \right) \\[10pt] = {} & \left( \sum_k x_k \right) - 2\overline x \sum_k x_k + \left( n\overline x^2 \right) \\ & \text{since $x_k = 0$ or $1$, so $x_k^2=x_k$} \\[12pt] = {} & N\overline x - 2N\overline x^2 + N \overline x^2 \\[10pt] = {} & N \overline x(1-\overline x), \\[10pt] \text{so } s^2 = {} & \overline x(1-\overline x). \end{align}$$ Jadi kapan (huruf kecil) $n$ adalah $1,$maka mean sampel menentukan varians sampel, sehingga mereka jauh dari independen. Tetapi varians sampel tidak sepenuhnya sepenuhnya menentukan mean sampel, karena ada dua nilai$\overline x$ yang menghasilkan nilai yang sama $\overline x(1-\overline x).$

Ketika keduanya $np$ dan $n(1-p)$ besar, maka saya berharap mean sampel dan varians sampel akan hampir independen karena distribusi hampir normal.