Baru-baru ini saya menyelesaikan studi di mana saya secara acak menugaskan peserta ke salah satu dari dua kelompok perlakuan. Saya menguji peserta pada awal, segera pasca intervensi, 1 bulan, dan 4 bulan pada sejumlah variabel hasil yang agak besar. Saya berencana menjalankan beberapa ANOVA campuran untuk memeriksa interaksi kelompok x waktu. Beberapa perbandingan akan menjadi perbandingan 2 (kelompok) x 2 (waktu: baseline dan pasca-intervensi) dan beberapa akan menjadi perbandingan 2 (grup) x 3 (waktu: baseline, 1 bulan, 4 bulan).
Sebelum memulai analisis saya, saya membandingkan dua kelompok perlakuan pada semua variabel awal. Saya menemukan bahwa kelompok berbeda pada 4 variabel dasar jika saya menggunakan tingkat alpha 0,05 atau 2 variabel dasar jika saya menggunakan tingkat alpha 0,01 untuk membandingkan kelompok.
Saya punya dua pertanyaan tentang ini:
Level alfa apa yang harus saya gunakan untuk membandingkan grup pada awal? Saya sedang berpikir tingkat alfa 0,01 karena saya membandingkan kedua kelompok pada 24 karakteristik dasar dan saya pikir saya harus memilih tingkat alfa yang lebih ketat daripada 0,05 untuk mengurangi tingkat kesalahan keluarga karena melihat sejumlah besar tes sedang dilakukan dilakukan, tetapi dari bacaan saya tampaknya kebanyakan orang menggunakan 0,05. Apa yang kamu sarankan?
Apa yang harus saya lakukan tentang perbedaan-perbedaan ini? Saya dapat memasukkan variabel-variabel ini sebagai kovariat, tetapi ukuran sampel saya cukup kecil dan menggunakan 4 kovariat tampaknya tidak sesuai (yang juga sebagian alasan mengapa saya lebih suka hanya menerima perbedaan jika mereka signifikan pada tingkat 0,05)
Bantuan apa pun akan sangat dihargai!
sumber
Biasanya apa yang harus Anda perhatikan dalam membandingkan kedua kelompok pada awal bukanlah signifikansi statistik perbedaan tetapi ukuran perbedaan: apakah ada perbedaan yang cukup besar untuk diteliti? Cukup besar untuk memengaruhi perbandingan kelompok dan hubungan variabel yang menjadi fokus penelitian? Cukup besar sehingga menyesuaikan untuk itu (dengan menggunakannya sebagai kovariat) diperlukan?
Sekarang, kasing Anda sedikit menarik, bahkan dengan penetapan acak, Anda memiliki 4 dari 24 variabel yang menunjukkan perbedaan signifikan pada tingkat 0,05 (17% daripada yang diharapkan 5%). Itu mungkin tampak memprihatinkan untuk proses pengacakan Anda atau aspek lain dari penelitian ini. Tetapi secara teoritis, jika pengacakan dilakukan dengan sempurna dan tidak ada gesekan pada kedua kelompok sesudahnya, hasil yang ekstrem ini atau lebih seharusnya terjadi 2,4% dari waktu, berdasarkan 24! / (4! (24-4)!) ( .05 ^ 4) (.95 ^ (24-4)). Bagaimanapun, itu bukan kejadian yang jarang terjadi. Apa yang Anda miliki bisa menjadi sekumpulan perbedaan acak. Saya akan tetap dengan penilaian berdasarkan besarnya perbedaan.
sumber
+1 ke @FrankHarrell. Saya mungkin menambahkan satu poin kecil. Jika Anda secara acak menugaskan peserta Anda ke dalam kelompok, setiap perbedaan 'signifikan' dalam nilai kovariat sebelum intervensi adalah kesalahan tipe I.
sumber