Bagaimana cara menguji hipotesis tidak ada perbedaan kelompok?

Bayangkan Anda memiliki studi dengan dua kelompok (misalnya, pria dan wanita) melihat variabel dependen numerik (misalnya, skor tes kecerdasan) dan Anda memiliki hipotesis bahwa tidak ada perbedaan kelompok.

Pertanyaan:

• Apa cara yang baik untuk menguji apakah tidak ada perbedaan kelompok?
• Bagaimana Anda menentukan ukuran sampel yang diperlukan untuk menguji secara memadai untuk tidak ada perbedaan kelompok?

Pikiran Awal:

• Tidaklah cukup untuk melakukan uji-t standar karena kegagalan untuk menolak hipotesis nol tidak berarti bahwa parameter bunga sama atau mendekati nol; ini khususnya kasus dengan sampel kecil.
• Saya bisa melihat pada interval kepercayaan 95% dan memeriksa bahwa semua nilai berada dalam kisaran yang cukup kecil; mungkin plus atau minus standar deviasi 0,3.

Saya pikir Anda bertanya tentang pengujian kesetaraan . Pada dasarnya Anda perlu memutuskan seberapa besar perbedaan yang dapat diterima bagi Anda untuk tetap menyimpulkan bahwa kedua kelompok itu setara secara efektif. Keputusan itu mendefinisikan batas interval kepercayaan 95% (atau lainnya), dan perhitungan ukuran sampel dilakukan atas dasar ini.

Ada satu buku lengkap tentang topik ini.

"Uji" ekivalen klinis yang sangat umum adalah uji / uji coba non-inferioritas . Dalam hal ini Anda "lebih suka" satu kelompok daripada yang lain (pengobatan yang ditetapkan) dan merancang tes Anda untuk menunjukkan bahwa perawatan yang baru tidak kalah dengan perawatan yang ada pada beberapa tingkat bukti statistik.

Saya pikir saya perlu memberi kredit Harvey Motulsky untuk situs GraphPad.com (di bawah "Library" ).

Selain kemungkinan beberapa jenis sudah disebutkan tes kesetaraan , yang sebagian besar dari mereka, sepengetahuan saya, sebagian besar dialihkan dalam tradisi frequentist lama yang baik, ada kemungkinan melakukan tes yang benar-benar memberikan kuantifikasi bukti dalam nikmat dari nol-hipotesis, yaitu tes bayesian .

Implementasi uji-bayesian dapat ditemukan di sini: Wetzels, R., Raaijmakers, JGW, Jakab, E., & Wagenmakers, E.-J. (2009). Bagaimana mengukur dukungan untuk dan terhadap hipotesis nol: Implementasi WinBUGS yang fleksibel dari uji-t Bayesian default. Buletin & Ulasan Psikonomis, 16, 752-760.

Ada juga tutorial tentang cara melakukan semua ini di R:

http://www.ruudwetzels.com/index.php?src=SDtest

Alternatif (mungkin pendekatan yang lebih modern) dari uji-Bayesian disediakan (dengan kode) dalam makalah ini oleh Kruschke:

Kruschke, JK (2013). Estimasi Bayesian menggantikan uji t . Jurnal Psikologi Eksperimental: Umum , 142 (2), 573–603. doi: 10.1037 / a0029146

Semua alat peraga untuk jawaban ini (sebelum penambahan Kruschke) harus diberikan kepada kolega saya David Kellen. Saya mencuri jawabannya dari pertanyaan ini .

Mengikuti jawaban Thylacoleo, saya melakukan sedikit riset.

The kesetaraan paket di R memiliki tost()fungsi.

Lihat Robinson dan Frose (2004) " Validasi model menggunakan tes kesetaraan " untuk info lebih lanjut.

Ada beberapa makalah yang saya tahu dapat membantu Anda:

Tryon, WW (2001). Mengevaluasi perbedaan statistik, ekuivalensi, dan ketidakpastian dengan menggunakan interval kepercayaan inferensial: Metode alternatif yang terintegrasi untuk melakukan uji statistik hipotesis nol. Metode Psikologis, 6, 371-386. ( PDF GRATIS )

Dan koreksi:
Tryon, WW, & Lewis, C. (2008). Metode Interval Keyakinan Inferensi untuk Membangun Kesetaraan Statistik Yang Mengoreksi Faktor Pengurangan Tryon (2001). Metode Psikologis, 13, 272-278. ( PDF GRATIS )

Selanjutnya:

Seaman, MA & Serlin, RC (1998). E interval kepercayaan quivalence untuk perbandingan dua kelompok berarti . Metode Psikologis, Vol 3 (4), 403-411.

Baru-baru ini saya memikirkan cara alternatif "pengujian ekivalensi" berdasarkan jarak antara dua distribusi dan bukan antara artinya.

Ada beberapa metode yang memberikan interval kepercayaan untuk tumpang tindih dari dua distribusi Gaussian:

$O(P_1,P_2)$$P_1$$P_2$

$O(P_1,P_2)>0.9$$P_1$$P_2$$0.1$$10\%$

$\mu_1$$\mu_2$

$|\mu_1 - \mu_2|$$TV(P_1,P_2)$

$\frac{|\mu_1-\mu_2|}{\sigma}$

Dalam ilmu kedokteran, lebih baik menggunakan pendekatan interval kepercayaan dibandingkan dengan dua tes satu sisi (tost). Saya juga merekomendasikan grafik perkiraan titik, CI, dan margin kesetaraan yang ditentukan secara apriori untuk memperjelas hal-hal tersebut.

Pertanyaan Anda kemungkinan akan ditanggapi dengan pendekatan semacam itu.

Pedoman CONSORT untuk studi non-inferioritas / kesetaraan cukup berguna dalam hal ini.

Lihat Piaggio G, Elbourne DR, Altman DG, Pocock SJ, Evans SJ, dan CONSORT Group. Pelaporan uji coba acak non-inferioritas dan ekivalensi: perpanjangan pernyataan CONSORT. JAMA. 2006, 8 Maret 295 (10): 1152-60. (Tautan ke teks lengkap.)

Iya nih. Ini adalah pengujian kesetaraan. Pada dasarnya Anda membalikkan hipotesis nol dan alternatif dan mendasarkan ukuran sampel pada kekuatan untuk menunjukkan bahwa perbedaan rata-rata ada di dalam jendela kesetaraan. Blackwelder menyebutnya "Membuktikan hipotesis nol." Ini biasanya dilakukan dalam uji klinis farmasi di mana kesetaraan obat generik dengan obat yang dipasarkan diuji atau obat yang disetujui dibandingkan dengan formulasi baru (sering disebut bioequivalence). Versi satu sisi disebut non-inferiority. Beberapa kali suatu obat dapat disetujui hanya dengan menunjukkan bahwa obat baru itu tidak kalah dengan pesaing yang dipasarkan. Shao dan Pigeot telah mengembangkan pendekatan bootstrap yang konsisten untuk bioekivalensi menggunakan desain crossover.

Perbedaan bootstrap (misalnya perbedaan antara rata-rata) antara 2 kelompok sampel dan periksa signifikansi statistik. Deskripsi yang lebih rinci tentang pendekatan ini, meskipun dalam konteks yang berbeda, dapat ditemukan di sini http://www.automated-trading-system.com/a-different-application-of-the-bootstrap/