Apa yang mungkin menjadi definisi yang jelas dan praktis untuk "keluarga hipotesis" (berkenaan dengan tingkat kesalahan kekeluargaan)?

Ketika mencoba untuk mengevaluasi apa yang merupakan keluarga hipotesis dalam percobaan / proyek / analisis, saya telah menemukan "tujuan yang serupa" dan "konten yang serupa" yang diberikan sebagai pedoman untuk membatasi keluarga, tetapi ini meninggalkan cukup banyak terbuka untuk interpretasi ( untuk sedikitnya).

Tampak jelas bahwa jika dalam analisis, saya melakukan beberapa tes rata-rata kelompok dan sejumlah tes homogenitas proporsi yang terpisah, bahwa saya tidak akan menggabungkan semuanya menjadi satu keluarga hipotesis.

Namun, jika saya memiliki beberapa kumpulan tes kelompok yang agak terkait, kriteria apa yang menyatukan mereka menjadi satu keluarga (atau membaginya menjadi keluarga yang terpisah)? Haruskah semua anggota keluarga memiliki variabel respons yang sama? Jika saya memiliki variabel respon yang berbeda tetapi melibatkan serangkaian kasus yang sama, apakah semua itu akan dimasukkan ke dalam keluarga hipotesis?

Masalah beberapa perbandingan adalah topik yang sangat besar. Ada banyak pendapat dan banyak ketidaksepakatan. Ini karena banyak hal; antara lain, sebagian karena masalah itu benar-benar penting, dan sebagian lagi karena memang tidak ada aturan atau kriteria pamungkas. Ambil contoh prototipikal: Anda melakukan percobaan dengan perawatan dan mendapatkan ANOVA yang signifikan, jadi sekarang Anda bertanya-tanya mana yang berarti perawatan berbeda. Bagaimana seharusnya Anda melakukannya, jalankan uji-t? Meskipun tes-tes ini secara individual akan menahan pada 0,05, 'familywise' (yaitu, probabilitas bahwa setidaknya 1 kesalahan tipe I akan terjadi) akan meledak. Bahkan, tingkat kesalahan secara keluarga akan menjadik ( k - 1 ) / 2 α α 1 - ( 1 - α ) k α $k$$k(k-1)/2$$\alpha$$\alpha$$1-(1-\alpha)^k$. Pertanyaannya adalah, apa yang mendefinisikan 'keluarga'? Dan tidak ada jawaban pamungkas, di luar yang sepele bahwa 'keluarga' adalah serangkaian kontras. Apakah serangkaian kontras tertentu harus dianggap keluarga adalah keputusan subjektif. Analisis ke-3, ke-17, dan ke-42 yang pernah saya lakukan dalam hidup saya adalah serangkaian kontras, dan saya bisa menyesuaikan ambang saya untuk memastikan bahwa kemungkinan kesalahan tipe I di antara mereka ditahan pada 5%, tetapi tidak ada seorang pun. akan menemukan ini masuk akal. Pertanyaan untuk Anda adalah apakah Anda menganggap kontras Anda sebagai set dalam arti yang bermakna, dan hanya Anda yang dapat membuat penilaian itu. Saya akan menawarkan beberapa pendekatan standar. Banyak analis percaya bahwa jika satu set kontras berasal dari eksperimen / set data yang sama, mereka harus diperlakukan sebagai keluarga,$\alpha$$\alpha$ penyesuaian ) diperlukan. Yang lain percaya bahwa bahkan ketika kontras berasal dari percobaan yang sama, jika mereka a-priori dan ortogonal, prosedur khusus tidak diperlukan. Kedua posisi ini dapat dipertahankan. Akhirnya, perhatikan juga bahwa prosedur untuk mengendalikan tingkat kesalahan yang bersifat kekeluargaan datang dengan biaya - yaitu. peningkatan tingkat kesalahan tipe II.

Kriterianya adalah bahwa hipotesis saling tergantung dalam arti bahwa jika salah satu dari mereka rusak maka seluruh kesimpulan atau teori Anda rusak. Karenanya, Anda perlu jaminan bahwa jika semua tes signifikan, tidak ada yang signifikan.

Sebuah diskusi di researchgate ( http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined ) memberikan daftar makalah, yang mungkin membantu mengumpulkan pendapat - makalah sebenarnya mulai dari pertanyaan "kapan menerapkan koreksi dalam situasi pengujian berganda ". Koran-koran - sering dikutip - adalah:

1) Rothman KJ. Tidak diperlukan penyesuaian untuk beberapa perbandingan. Epidemiologi.1990; 1 (1): 43-6. http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2) Perneger TV. Apa yang salah dengan penyesuaian Bonferroni. BMJ. 1998; 316 (7139): 1236-8. http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3) Bender R, Lange S. Menyesuaikan untuk beberapa pengujian - kapan dan bagaimana? J Clin Epidemiol. 2001; 54: 343-9. http://www.rbsd.de/PDF/multiple.pdf

Ringkasan:

1) dan 2) fokus pada "semua hipotesis nol adalah benar", yang disebut hipotesis nol umum. Itu bisa lebih baik ditolak (yaitu tidak ada akumulasi-alpha) jika penyesuaian untuk beberapa perbandingan diterapkan. Namun, baik 1) dan 2) menentang, bahwa hipotesis nol umum jarang sepenuhnya digunakan dalam proses penelitian ilmiah - sehingga kriteria "seluruh teori istirahat" tidak secara otomatis berlaku, ketika satu / beberapa hipotesis nol dalam data seseorang analisis ditolak secara kebetulan. 1) menambahkan, bahwa naif untuk memikirkan hipotesis nol tunggal, yang (salah) ditolak tidak akan pernah ditinjau kembali oleh komunitas ilmiah lagi.

3) menyatakan bahwa begitu hipotesis tunggal mencair dalam satu argumen, penyesuaian harus dilakukan.

Dari sudut pandang saya 1), 2), 3) bersama-sama hanya cermin, betapa hati-hati kita harus kriteria "seluruh teori istirahat". Tidak ada cara untuk hanya menempatkan semua hipotesis nol dalam satu sosis besar - atau cara untuk mengandalkan potongan sosis yang disajikan sebagai banyak hipotesis tunggal. Di sinilah kerja empiris benar-benar bertemu dengan teori dari domain yang diteliti.