Sidak atau Bonferroni?

13

Saya menggunakan model linier umum dalam SPSS untuk melihat perbedaan rata-rata jumlah ulat (non-normal, menggunakan distribusi Tweedie) pada 16 spesies tanaman yang berbeda.

Saya ingin menjalankan beberapa perbandingan tetapi saya tidak yakin apakah saya harus menggunakan tes koreksi Sidak atau Bonferroni. Apa perbedaan antara kedua tes? Apakah yang satu lebih baik dari yang lain?

multiple-comparisons post-hoc bonferroni Emily
sumber

1

Saya benci fakta bahwa koreksi seperti itu sering diperlukan dengan pengujian hipotesis standar sering dan saya lebih suka teknik Bayesian. Yang mengatakan, saya benci koreksi Sidak kurang karena tampaknya kurang ad-hoc (jika Anda bersedia menerima asumsi kemerdekaan). Ini sebagian besar hanya preferensi pribadi jadi saya membuat komentar bukan jawaban.

Michael McGowan

1

@MichaelMcGowan: Hanya ingin tahu, tetapi, apa yang Anda anggap " ad hoc " tentang koreksi Bonferroni?

kardinal

@ cardinal Maaf, itu mungkin bukan pilihan kata yang terbaik. Dengan biaya yang membutuhkan asumsi yang lebih kuat (saya tidak ingin meremehkan biaya itu), koreksi Sidak menciptakan ikatan dengan makna yang lebih kualitatif. Saya tidak dapat benar-benar menjelaskan secara kualitatif apa yang diwakili oleh ikatan dalam koreksi Bonferroni selain dari semacam ikatan terburuk menurut ketidaksetaraan Boole.

Michael McGowan

@MichaelMcGowan: Ah, baiklah. Saya melihat. Saya kira ada beberapa hal kualitatif yang bisa dikatakan tentang Bonferroni: (a) Memberikan perlindungan yang terjamin terhadap tingkat kesalahan yang bersifat kekeluargaan, terlepas dari ketergantungan antara statistik uji individual di bawah nol dan (b) Ini adalah koreksi yang benar-benar tepat untuk membuat ketika daerah penolakan tes hipotesis individu berpasangan berpasangan.

kardinal

1

Dua tes tidak independen jika probabilitas kesalahan tipe I untuk satu tes berkorelasi dengan tes lainnya. Misalnya, Anda menjalankan percobaan dengan satu kondisi kontrol dan dua kondisi pengujian. Dua tes yang membandingkan setiap kondisi pengujian dengan kondisi kontrol tidak independen. Anda dapat melihat ini dengan mempertimbangkan apa yang terjadi jika Anda secara kebetulan mendapatkan nilai ekstrem untuk kondisi kontrol. Ini akan membuat kedua tes tersebut lebih mungkin signifikan secara statistik.

20

Jika Anda menjalankan uji statistik independen menggunakan sebagai tingkat signifikansi Anda, dan nol diperoleh dalam setiap kasus, apakah Anda akan menemukan atau tidak 'signifikansi' hanyalah hasil dari variabel acak. Secara khusus, ini diambil dari distribusi binomial dengan dan . Misalnya, jika Anda berencana untuk menjalankan 3 tes menggunakan , dan (tanpa sepengetahuan Anda) sebenarnya tidak ada perbedaan dalam setiap kasus, maka ada kemungkinan 5% untuk menemukan hasil yang signifikan dalam setiap tes. Dengan cara ini, tingkat kesalahan tipe I ditahan untuk $k$ $\alpha$ $p=\alpha$ $n=k$ $\alpha=.05$ $\alpha$ untuk tes secara individual, tetapi di seluruh rangkaian 3 tes tingkat kesalahan tipe I jangka panjang akan lebih tinggi. Jika Anda yakin bahwa ini bermakna untuk mengelompokkan / memikirkan 3 tes ini bersama-sama, maka Anda mungkin ingin menahan tingkat kesalahan tipe I pada untuk set secara keseluruhan , bukan hanya secara individual. Bagaimana seharusnya Anda melakukan ini? Ada dua pendekatan yang berpusat pada pergeseran dari yang asli (yaitu, ) ke nilai baru (yaitu, ): $\alpha$ $\alpha$ $\alpha_o$ $\alpha_{\rm new}$

Bonferroni: sesuaikan digunakan untuk menilai 'signifikansi' sedemikian rupa $\alpha$

α_{n e w} = \frac{α_{o}}{k}

$\alpha_{\rm new}=\frac{\alpha_{o}}{k}\qquad\qquad\quad$

Dunn-Sidak: sesuaikan menggunakan $\alpha$

α_{n e w} = 1 - (1 - α_{o})^{1 / k}

$\alpha_{\rm new}=1-(1-\alpha_{o})^{1/k}$

(Perhatikan bahwa Dunn-Sidak mengasumsikan semua tes dalam set independen satu sama lain dan dapat menghasilkan inflasi kesalahan tipe I keluarga jika asumsi itu tidak berlaku.)

Hal ini penting untuk dicatat bahwa ketika melakukan tes, ada dua jenis kesalahan yang Anda ingin menghindari, ketik I (yaitu, mengatakan ada adalah perbedaan ketika tidak ada satu) dan ketik II (yaitu, mengatakan ada tidak perbedaan ketika sebenarnya ada). Biasanya, ketika orang mendiskusikan topik ini, mereka hanya membahas — dan tampaknya hanya menyadari / khawatir dengan — kesalahan tipe I. Selain itu, orang sering lalai menyebutkan bahwa tingkat kesalahan yang dihitung hanya akan berlaku jika semua nol benar. Secara sepele jelas bahwa Anda tidak dapat membuat kesalahan tipe I jika hipotesis nol salah, tetapi penting untuk mengingat fakta itu secara eksplisit dalam pikiran ketika membahas masalah ini.

Saya mengemukakan ini karena ada implikasi dari fakta-fakta ini yang tampaknya sering tidak dipikirkan. Pertama, jika , pendekatan Dunn-Sidak akan menawarkan daya yang lebih tinggi (walaupun perbedaannya bisa sangat kecil dengan kecil ) dan karenanya harus selalu lebih disukai (bila berlaku). Kedua, pendekatan 'step-down' harus digunakan. Artinya, uji efek terbesar pertama; jika Anda yakin bahwa nol tidak diperoleh dalam kasus itu, maka jumlah maksimum kesalahan tipe I yang mungkin adalah , jadi tes berikutnya harus disesuaikan, dan seterusnya. (Ini sering membuat orang tidak nyaman dan terlihat seperti memancing, tetapi ternyata tidak $k>1$ $k$ $k-1$ memancing, karena tes independen, dan Anda bermaksud untuk melakukannya sebelum Anda melihat data. Ini hanya cara menyesuaikan secara optimal.) $\alpha$

Hal di atas berlaku tidak peduli bagaimana Anda menilai tipe I relatif terhadap kesalahan tipe II. Namun, a-priori tidak ada alasan untuk percaya bahwa kesalahan tipe I lebih buruk daripada tipe II (terlepas dari kenyataan bahwa semua orang tampaknya menganggapnya demikian). Sebaliknya, ini adalah keputusan yang harus dibuat oleh peneliti, dan harus spesifik untuk situasi itu. Secara pribadi, jika saya menjalankan kontras yang disarankan secara teoritis, a-priori , ortogonal, saya biasanya tidak menyesuaikan . $\alpha$

(Dan untuk menyatakan ini lagi, karena ini penting, semua hal di atas mengasumsikan bahwa tes itu independen. Jika kontrasnya tidak independen, seperti ketika beberapa perawatan masing-masing dibandingkan dengan kontrol yang sama, pendekatan yang berbeda dari penyesuaian , seperti tes Dunnett, harus digunakan.) $\alpha$

gung - Pasang kembali Monica
sumber

+1. Apakah yang Anda sebut pendekatan "step-down" untuk Bonferroni persis sama dengan apa yang dikenal sebagai metode Holm-Bonferroni? Jika ya, apakah logika yang sama berlaku untuk Dunn-Sidak memiliki nama?

Amoeba berkata Reinstate Monica

1

@amoeba, ya kadang-kadang disebut "metode Holm", maka Holm-Bonferroni atau Holm-Sidak.

gung - Reinstate Monica

Terima kasih. Pertanyaan lain yang saya miliki adalah tentang pernyataan Anda bahwa jika Anda menjalankan yang disarankan secara teoritis, a priori, kontras ortogonal, Anda biasanya tidak menyesuaikan . Seberapa penting "ortogonal" di sini? Misalnya jika Anda memiliki 6 kelompok subjek dan membandingkan kelompok 2, 3, 4, 5, dan 6 dengan kelompok 1 (di mana kelompok 1 misalnya menjadi kelompok kontrol), maka ini adalah kontras non-ortogonal. Apakah Anda merasa berbeda tentang menyesuaikan dalam kasus ini daripada ketika kontras Anda memang ortogonal, seperti 1-2, 3-4, 5-6? Jika demikian, mengapa?

α

$\alpha$

α

$\alpha$

Amuba mengatakan Reinstate Monica

@amoeba, menjalankan 3 a-priori, kontras ortogonal dalam 1 studi tidak berbeda dengan menjalankan 1 a-priori kontras di masing-masing 3 studi berbeda. Karena tidak ada yang berpendapat bahwa Anda perlu koreksi secara keluarga untuk yang terakhir, tidak ada alasan yang koheren untuk meminta mereka untuk yang pertama. Dalam contoh Anda yang lain, jika kelompok kontrol harus memantul lebih rendah secara kebetulan, setiap dari 5 kontras Anda akan terlihat bagus; tetapi itu tidak mungkin terjadi jika Anda menjalankan 5 studi independen. Anda harus benar-benar menggunakan beberapa bentuk penyesuaian, atau Anda bisa menggunakan tes Dunnett .

gung - Reinstate Monica

N (0, 1)

$\mathcal N(0,1)$

n = 10

$n=10$

α = 0.05

$\alpha=0.05$

6

$\alpha^*$ $\alpha$ $n$ $\alpha^*=\alpha/n$ $\alpha^*=1 − (1 − \alpha)^{1/n}$

$\alpha/n < 1 − (1 − \alpha)^{1/n}$

Jika Anda memerlukan prosedur yang lebih kuat, Anda mungkin ingin menggunakan prosedur Bonferroni-Holm.

Momo
sumber

Mengapa Bonferroni lebih mudah ditangani?

Emily

3

α

$\alpha$

n

$n$

1 - (1 - α)^{1 / n}

$1-(1-\alpha)^{1/n}$

@Momo Computers sangat, sangat bagus dalam aritmatika, jadi saya tidak menemukan argumen kesederhanaan yang sangat menarik. Seratus tahun yang lalu ketika perhitungan dilakukan dengan tangan adalah cerita yang sangat berbeda tentunya.

Michael McGowan

+1 dibandingkan dengan jawaban saya, ini sampai pada intinya cukup ringkas ;-).

gung - Reinstate Monica

Haha, itulah yang kupikir maksudmu! Terima kasih banyak!

Emily

5

Koreksi Sidak mengasumsikan tes individual secara statistik independen. Koreksi Bonferroni tidak menganggap ini.

onestop
sumber

Apakah itu berarti bahwa Bonferroni hanyalah tes yang lebih konservatif?

Emily

1

Bonferroni lebih konservatif ketika kedua tes sesuai. Tetapi jika tes Anda tidak independen, Anda sebaiknya tidak menggunakan Sidak.

onestop

2

+1 Bahwa koreksi Bonferroni tidak mengharuskan tes untuk independen adalah poin bagus yang tidak saya bahas.

gung - Reinstate Monica

@onestop: Apa artinya tes itu independen? Bisakah Anda memberi contoh?

Gunnhild

1

Koreksi Sidak tidak membutuhkan independensi. Itu hanya mengasumsikan tes tidak tergantung negatif. Ketergantungan positif baik-baik saja.

Bonferroni

4

Sidak dan Bonferroni sangat mirip sehingga Anda mungkin akan mendapatkan hasil yang sama terlepas dari prosedur yang Anda gunakan. Bonferroni hanya sedikit lebih konservatif daripada Sidak. Misalnya, untuk 2 perbandingan dan alfa satu keluarga dari 0,05, Sidak akan melakukan setiap tes pada 0,0253 dan Bonferroni akan melakukan setiap tes pada 0,050.

Banyak komentator di situs ini mengatakan bahwa Sidak hanya valid ketika statistik uji perbandingan Anda independen. Itu tidak benar. Sidak memungkinkan sedikit inflasi dari tingkat kesalahan kekeluargaan ketika statistik tes NEGATIF tergantung, tetapi jika Anda melakukan tes dua sisi, ketergantungan negatif umumnya tidak menjadi perhatian. Di bawah ketergantungan non-negatif, Sidak memang memberikan batas atas pada tingkat kesalahan kekeluargaan. Yang mengatakan, ada prosedur lain yang memberikan ikatan dan cenderung mempertahankan kekuatan statistik lebih dari Sidak. Jadi Sidak mungkin bukan pilihan terbaik.

Satu hal yang disediakan oleh prosedur Bonferroni (yang tidak dilakukan Sidak) adalah kontrol ketat terhadap jumlah kesalahan Tipe I yang diharapkan - yang disebut "tingkat kesalahan per-keluarga," yang lebih konservatif daripada tingkat kesalahan berorientasi keluarga. Untuk info lebih lanjut, lihat: Frane, AV (2015) "Apakah tingkat kesalahan per-keluarga Tipe I relevan dalam ilmu sosial dan perilaku?" Jurnal Metode Statistik Terapan Modern 14 (1), 12-23.

Bonferroni
sumber

Sidak atau Bonferroni?

Jawaban: