Apakah koreksi Bonferroni terlalu anti-konservatif / liberal untuk beberapa hipotesis dependen?

Saya sering membaca bahwa koreksi Bonferroni juga berfungsi untuk hipotesis dependen. Namun, saya tidak berpikir itu benar dan saya punya contoh balasan. Dapatkah seseorang tolong beri tahu saya (a) di mana kesalahan saya atau (b) apakah saya benar dalam hal ini.

Menyiapkan contoh penghitung

Asumsikan kita sedang menguji dua hipotesis. Misalkan adalah hipotesis pertama salah dan sebaliknya. Tetapkan cara yang sama. Biarkan menjadi nilai-p yang terkait dengan dua hipotesis dan biarkan Menunjukkan fungsi indikator untuk set yang ditentukan di dalam kurung. $H_{1}=0$ $H_{1}=1$ $H_{2}$ $p_{1},p_{2}$ $[\![\cdot]\!]$

Untuk fix define yang jelas merupakan kepadatan probabilitas lebih dari . Ini adalah plot dari dua kepadatan $\theta\in [0,1]$

\begin{array}{rcl} P (p_{1}, p_{2} | H_{1} = 0, H_{2} = 0) & = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] + \frac{1}{2 θ} [[0 \leq p_{2} \leq θ]] \\ P (p_{1}, p_{2} | H_{1} = 0, H_{2} = 1) & = & P (p_{1}, p_{2} | H_{1} = 1, H_{2} = 0) \\ = & \frac{1}{{(1 - θ)}^{2}} [[θ \leq p_{1} \leq 1]] \cdot [[θ \leq p_{2} \leq 1]] \end{array}

$\begin{eqnarray*} P\left(p_{1},p_{2}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2\theta}[\![0\le p_{2}\le\theta]\!]\\ P\left(p_{1},p_{2}|H_{1}=0,H_{2}=1\right) & = & P\left(p_{1},p_{2}|H_{1}=1,H_{2}=0\right)\\ & = & \frac{1}{\left(1-\theta\right)^{2}}[\![\theta\le p_{1}\le1]\!]\cdot[\![\theta\le p_{2}\le1]\!] \end{eqnarray*}$

[0, 1]^{2}

$[0,1]^{2}$

masukkan deskripsi gambar di sini

Hasil marginalisasi dan demikian pula untuk .

\begin{array}{rcl} P (p_{1} | H_{1} = 0, H_{2} = 0) & = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] + \frac{1}{2} \\ P (p_{1} | H_{1} = 0, H_{2} = 1) & = & \frac{1}{(1 - θ)} [[θ \leq p_{1} \leq 1]] \end{array}

$\begin{eqnarray*} P\left(p_{1}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2}\\ P\left(p_{1}|H_{1}=0,H_{2}=1\right) & = & \frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!] \end{eqnarray*}$

p_{2}

$p_{2}$

Selanjutnya, mari Ini menyiratkan bahwa

\begin{array}{rcl} P (H_{2} = 0 | H_{1} = 0) & = & P (H_{1} = 0 | H_{2} = 0) = \frac{2 θ}{1 + θ} \\ P (H_{2} = 1 | H_{1} = 0) & = & P (H_{1} = 1 | H_{2} = 0) = \frac{1 - θ}{1 + θ} . \end{array}

$\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)=\frac{2\theta}{1+\theta}\\ P\left(H_{2}=1|H_{1}=0\right) & = & P\left(H_{1}=1|H_{2}=0\right)=\frac{1-\theta}{1+\theta}. \end{eqnarray*}$

\begin{array}{rcl} P (p_{1} | H_{1} = 0) & = & \sum_{h_{2} \in {0, 1}} P (p_{1} | H_{1} = 0, h_{2}) P (h_{2} | H_{1} = 0) \\ = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] \frac{2 θ}{1 + θ} + \frac{1}{2} \frac{2 θ}{1 + θ} + \frac{1}{(1 - θ)} [[θ \leq p_{1} \leq 1]] \frac{1 - θ}{1 + θ} \\ = & \frac{1}{1 + θ} [[0 \leq p_{1} \leq θ]] + \frac{θ}{1 + θ} + \frac{1}{1 + θ} [[θ \leq p_{1} \leq 1]] \\ = & U [0, 1] \end{array}

$\begin{eqnarray*} P\left(p_{1}|H_{1}=0\right) & = & \sum_{h_{2}\in\{0,1\}}P\left(p_{1}|H_{1}=0,h_{2}\right)P\left(h_{2}|H_{1}=0\right)\\ & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]\frac{2\theta}{1+\theta}+\frac{1}{2}\frac{2\theta}{1+\theta}+\frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!]\frac{1-\theta}{1+\theta}\\ & = & \frac{1}{1+\theta}[\![0\le p_{1}\le\theta]\!]+\frac{\theta}{1+\theta}+\frac{1}{1+\theta}[\![\theta\le p_{1}\le1]\!]\\ & = & U\left[0,1\right] \end{eqnarray*}$ seragam seperti yang diperlukan untuk nilai-p di bawah hipotesis Null. Hal yang sama berlaku untuk karena simetri.

p_{2}

$p_{2}$

Untuk mendapatkan distribusi gabungan kami menghitung $P\left(H_{1},H_{2}\right)$

\begin{array}{rcl} P (H_{2} = 0 | H_{1} = 0) P (H_{1} = 0) & = & P (H_{1} = 0 | H_{2} = 0) P (H_{2} = 0) \\ \Leftrightarrow \frac{2 θ}{1 + θ} P (H_{1} = 0) & = & \frac{2 θ}{1 + θ} P (H_{2} = 0) \\ \Leftrightarrow P (H_{1} = 0) & = & P (H_{2} = 0) := q \end{array}

$\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right)P\left(H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)P\left(H_{2}=0\right)\\ \Leftrightarrow\frac{2\theta}{1+\theta}P\left(H_{1}=0\right) & = & \frac{2\theta}{1+\theta}P\left(H_{2}=0\right)\\ \Leftrightarrow P\left(H_{1}=0\right) & = & P\left(H_{2}=0\right):=q \end{eqnarray*}$ Oleh karena itu, distribusi gabungan diberikan oleh yang berarti .

\begin{array}{rcl} P (H_{1}, H_{2}) & = & \begin{array}{ccc} H_{2} = 0 & H_{2} = 1 \\ H_{1} = 0 & \frac{2 θ}{1 + θ} q & \frac{1 - θ}{1 + θ} q \\ H_{1} = 1 & \frac{1 - θ}{1 + θ} q & \frac{1 + θ - 2 q}{1 + θ} \end{array} \end{array}

$\begin{eqnarray*} P\left(H_{1},H_{2}\right) & = & \begin{array}{ccc} & H_{2}=0 & H_{2}=1\\ H_{1}=0 & \frac{2\theta}{1+\theta}q & \frac{1-\theta}{1+\theta}q\\ H_{1}=1 & \frac{1-\theta}{1+\theta}q & \frac{1+\theta-2q}{1+\theta} \end{array} \end{eqnarray*}$

0 \leq q \leq \frac{1 + θ}{2}

$0\le q\le\frac{1+\theta}{2}$

Mengapa itu adalah contoh balasan

Sekarang mari untuk tingkat signifikansi menarik. Probabilitas untuk mendapatkan setidaknya satu false positive dengan tingkat signifikansi yang dikoreksi mengingat bahwa kedua hipotesis itu salah (yaitu ) diberikan oleh karena semua nilai dan lebih rendah dari mengingat bahwa dan $\theta=\frac{\alpha}{2}$ $\alpha$ $\frac{\alpha}{2}$ $H_{i}=0$

\begin{array}{rcl} P ((p_{1} \leq \frac{α}{2}) \lor (p_{2} \leq \frac{α}{2}) | H_{1} = 0, H_{2} = 0) & = & 1 \end{array}

$\begin{eqnarray*} P\left(\left(p_{1}\le\frac{\alpha}{2}\right)\vee\left(p_{2}\le\frac{\alpha}{2}\right)|H_{1}=0,H_{2}=0\right) & = & 1 \end{eqnarray*}$

p_{1}

$p_{1}$

p_{2}

$p_{2}$

\frac{α}{2}

$\frac{\alpha}{2}$

H_{1} = 0

$H_1=0$

H_{2} = 0

$H_2=0$ oleh konstruksi. Koreksi Bonferroni, bagaimanapun, akan mengklaim bahwa FWER kurang dari .

α

$\alpha$

hypothesis-testing mathematical-statistics multiple-comparisons p-value bonferroni Fabee
sumber

Pertanyaan yang sangat bagus Saya berharap seseorang akan menjawab

Kebalikan dari konservatif adalah antikonservatif dalam dunia statistik!

AdamO

Tidak tahu itu. Saya pikir saya membaca liberal beberapa kali.

Fabee

lihat stats.stackexchange.com/questions/235856/…

Terima kasih, tapi itu tentang sesuatu yang berbeda. Anda memerlukan asumsi tambahan (ketergantungan bukan masalah, lihat jawaban saya di bawah).

Fabee

Jawaban:

Bonferroni tidak bisa liberal, terlepas dari ketergantungan, jika nilai-p Anda dihitung dengan benar.

Biarkan A menjadi peristiwa kesalahan Tipe I dalam satu tes dan biarkan B menjadi acara kesalahan Tipe I dalam tes lain. Probabilitas bahwa A atau B (atau keduanya) akan terjadi adalah:

P (A atau B) = P (A) + P (B) - P (A dan B)

Karena P (A dan B) adalah probabilitas dan dengan demikian tidak boleh negatif, tidak ada cara yang mungkin untuk persamaan itu untuk menghasilkan nilai yang lebih tinggi dari P (A) + P (B). Nilai tertinggi yang dapat dihasilkan oleh persamaan adalah ketika P (A dan B) = 0, yaitu ketika A dan B sangat tergantung negatif. Dalam hal ini, Anda dapat mengisi persamaan sebagai berikut, dengan asumsi nulls benar dan tingkat alfa Bonferroni yang disesuaikan dari 0,025:

P (A atau B) = P (A) + P (B) - P (A dan B) = .025 + .025 - 0 = .05

Di bawah struktur ketergantungan lainnya, P (A dan B)> 0, sehingga persamaan menghasilkan nilai yang bahkan lebih kecil dari 0,05. Misalnya, di bawah ketergantungan positif sempurna, P (A dan B) = P (A), dalam hal ini Anda dapat mengisi persamaan sebagai berikut:

P (A atau B) = P (A) + P (B) - P (A dan B) = .025 + .025 - .025 = .025

Contoh lain: di bawah independensi, P (A dan B) = P (A) P (B). Karenanya:

P (A atau B) = P (A) + P (B) - P (A dan B) = .025 + .025 - .025 * .025 = .0494

Seperti yang Anda lihat, jika satu peristiwa memiliki probabilitas 0,025 dan acara lain juga memiliki probabilitas 0,025, tidak mungkin untuk probabilitas "satu atau keduanya" peristiwa lebih besar dari 0,05, karena tidak mungkin untuk P ( A atau B) lebih besar dari P (A) + P (B). Setiap klaim yang bertentangan secara logis tidak masuk akal.

"Tapi itu dengan asumsi kedua nol itu benar," Anda mungkin berkata. "Bagaimana jika nol pertama benar dan yang kedua salah?" Dalam hal itu, B tidak mungkin karena Anda tidak dapat memiliki kesalahan Tipe I di mana hipotesis nol salah. Jadi, P (B) = 0 dan P (A dan B) = 0. Jadi mari kita isi rumus umum untuk FWER dari dua tes:

P (A atau B) = P (A) + P (B) - P (A dan B) = .025 + 0 - 0 = .025

Jadi sekali lagi FWER adalah <0,05. Perhatikan bahwa ketergantungan tidak relevan di sini karena P (A dan B) selalu 0. Skenario lain yang mungkin adalah bahwa kedua nol adalah salah, tetapi harus jelas bahwa FWER akan menjadi 0, dan dengan demikian <0,05.

Bonferroni
sumber

Terima kasih atas jawabannya. Saya membaca derivasi seperti milik Anda berkali-kali dan itu masuk akal. Namun, saya masih tidak melihat kesalahan dalam contoh saya. Jika tidak masuk akal, di mana kesalahan saya? Saya merasa bahwa masalahnya adalah Anda mengambil menjadi , tetapi untuk FWER Anda sebenarnya tertarik pada . Anda masih dapat memiliki tetapi . Inilah yang saya buat dalam contoh saya. Contoh Anda benar jika kesalahan tipe I tidak tergantung pada hipotesis lainnya.

P (A)

$P(A)$

P (A | H_{0}^{1} = T r u e)

$P(A|H_0^{1}=True)$

P (A \lor B | H_{0}^{(1)} = T r u e \land H_{0}^{(2)} = T r u e)

$P(A\vee B|H_0^{(1)}=True\wedge H_0^{(2)}=True)$

P (A | H_{0}^{(1)} = T r u e) = α

$P(A|H_0^{(1)}=True)=\alpha$

P (A | H_{0}^{(1)} = T r u e \land H_{0}^{(2)} = T r u e) > α

$P(A|H_0^{(1)}=True\wedge H_0^{(2)}=True)>\alpha$

Fabee

Menghitung FWER mengasumsikan kedua nol itu benar, sehingga P (A) berarti hal yang sama dengan P (A | null 1 benar) dan P (B) berarti hal yang sama dengan P (B | nol 2 benar). Probabilitas kondisional karenanya tidak perlu. Mungkin Anda harus menulis ulang contoh Anda tanpa mereka. Perhatikan bahwa jika "semua nilai p1 dan p2 lebih rendah dari α / 2 mengingat bahwa H1 = 0 dan H2 = 0 oleh konstruksi," maka Anda cukup membuat skenario di mana nilai-p tidak dihitung dengan benar. Jika masing-masing p diuji pada α / 2, masing-masing p harus memiliki peluang α / 2 signifikansi menurut definisi, namun Anda rupanya telah memberikan masing-masing p 100% peluang signifikansi.

Bonferroni

Saya pikir Anda tidak benar. Jika tingkat kesalahan FWER menganggap kedua nol adalah benar, maka saya ingin menghitung P (A atau B | null 1 dan 2 benar). Karena itu dekomposisi yang Anda tulis dalam jawaban Anda memerlukan kondisi yang sama di sisi kanan. Hanya ketika menggunakan probabilitas bersyarat ini menjadi jelas. Nilai-p saya dihitung dengan benar karena P (A | null 1 benar) masih sebagaimana mestinya. Tetapi perhatikan bahwa P (A | null 1 benar) umumnya tidak sama dengan P (A | null 1 dan null 2 benar).

α

$\alpha$

Fabee

Gambarlah sebuah persegi besar di selembar kertas yang mewakili ruang sampel total dari hasil yang mungkin. Kemudian gambar sebuah lingkaran yang mengambil 2,5% dari luas kotak dan beri label A. Kemudian gambar lingkaran lain yang mengambil 2,5% dari luas kotak dan beri label B. Buat A dan B tumpang tindih sedikit atau sebanyak seperti yang Anda inginkan (yaitu bermain dengan ketergantungan antara A dan B). Anda tidak akan menemukan cara untuk menggabungkan area A dan B menjadi lebih dari 2,5% + 2,5% = 5%.

Bonferroni

Tampaknya Anda bingung tentang probabilitas pada tingkat yang sangat mendasar dan belum siap untuk mengerjakan matematika. Kami menganggap kedua nol itu benar karena itulah situasi yang menghasilkan FWER maksimum. Jika kedua nol itu salah, jelas tidak mungkin ada kesalahan Tipe I sama sekali. Dan jika satu nol benar dan satu nol salah, tingkat kesalahan hanyalah tingkat alfa apa pun yang Anda gunakan untuk menguji yang benar.

Bonferroni

Saya pikir saya akhirnya punya jawabannya. Saya memerlukan persyaratan tambahan pada distribusi . Sebelumnya, saya hanya mensyaratkan bahwa seragam antara 0 dan 1. Dalam hal ini contoh saya benar dan Bonferroni akan terlalu liberal. Namun, jika saya juga memerlukan keseragaman maka mudah diperoleh bahwa Bonferroni tidak pernah bisa terlalu konservatif. Teladan saya melanggar asumsi ini. Dalam istilah yang lebih umum, asumsinya adalah bahwa distribusi semua nilai-p yang diberikan bahwa semua hipotesis nol benar harus memiliki bentuk kopula : Bersama-sama mereka tidak perlu seragam, tetapi sedikit mereka melakukannya. $P(p_1,p_2|H_1=0, H_2=0)$ $P(p_1|H_1=0)$ $P(p_1|H_1=0, H_2=0)$

Komentar: Jika ada yang bisa mengarahkan saya ke sumber di mana asumsi ini dinyatakan dengan jelas (buku teks, kertas), saya akan menerima jawaban ini.

Fabee
sumber