Perbedaan dasar dalam RCT: Variabel mana (jika ada) yang harus dimasukkan sebagai kovariat?

8

Baru-baru ini saya menyelesaikan studi di mana saya secara acak menugaskan peserta ke salah satu dari dua kelompok perlakuan. Saya menguji peserta pada awal, segera pasca intervensi, 1 bulan, dan 4 bulan pada sejumlah variabel hasil yang agak besar. Saya berencana menjalankan beberapa ANOVA campuran untuk memeriksa interaksi kelompok x waktu. Beberapa perbandingan akan menjadi perbandingan 2 (kelompok) x 2 (waktu: baseline dan pasca-intervensi) dan beberapa akan menjadi perbandingan 2 (grup) x 3 (waktu: baseline, 1 bulan, 4 bulan).

Sebelum memulai analisis saya, saya membandingkan dua kelompok perlakuan pada semua variabel awal. Saya menemukan bahwa kelompok berbeda pada 4 variabel dasar jika saya menggunakan tingkat alpha 0,05 atau 2 variabel dasar jika saya menggunakan tingkat alpha 0,01 untuk membandingkan kelompok.

Saya punya dua pertanyaan tentang ini:

  1. Level alfa apa yang harus saya gunakan untuk membandingkan grup pada awal? Saya sedang berpikir tingkat alfa 0,01 karena saya membandingkan kedua kelompok pada 24 karakteristik dasar dan saya pikir saya harus memilih tingkat alfa yang lebih ketat daripada 0,05 untuk mengurangi tingkat kesalahan keluarga karena melihat sejumlah besar tes sedang dilakukan dilakukan, tetapi dari bacaan saya tampaknya kebanyakan orang menggunakan 0,05. Apa yang kamu sarankan?

  2. Apa yang harus saya lakukan tentang perbedaan-perbedaan ini? Saya dapat memasukkan variabel-variabel ini sebagai kovariat, tetapi ukuran sampel saya cukup kecil dan menggunakan 4 kovariat tampaknya tidak sesuai (yang juga sebagian alasan mengapa saya lebih suka hanya menerima perbedaan jika mereka signifikan pada tingkat 0,05)

Bantuan apa pun akan sangat dihargai!

Rachel
sumber

Jawaban:

8

Seperti yang ditulis Stephen Senn, tidak tepat untuk membandingkan distribusi baseline dalam studi acak. Cara saya suka berbicara tentang ini adalah dengan mengajukan pertanyaan "di mana Anda berhenti?", Yaitu, berapa banyak kovariat garis dasar lainnya yang harus Anda kembalikan dan coba ambil? Anda akan menemukan kovariat kontra-balancing jika Anda terlihat cukup keras.

Dasar untuk memilih model bukanlah perbedaan post-hoc melainkan pengetahuan materi pelajaran apriori tentang variabel mana yang cenderung menjadi prediktor penting dari variabel respons. Versi awal dari variabel respons tentu saja merupakan prediktor yang mendominasi tetapi ada yang lain yang cenderung penting. Tujuannya adalah menjelaskan heterogenitas yang dapat dijelaskan dalam hasil untuk memaksimalkan presisi dan kekuatan. Hampir tidak ada peran untuk pengujian signifikansi statistik dalam formulasi model.

Model yang ditentukan sebelumnya akan menangani perbedaan kesempatan pada variabel yang penting - mereka yang memprediksi hasilnya.

Frank Harrell
sumber
Terima kasih atas tanggapan Anda. Variabel awal yang berbeda satu sama lain berdasarkan beberapa t-tes adalah tingkat dasar dari beberapa variabel hasil (misalnya, skor depresi awal berbeda dan depresi pada 1 dan 4 bulan adalah salah satu ukuran hasil).
Rachel
3

Biasanya apa yang harus Anda perhatikan dalam membandingkan kedua kelompok pada awal bukanlah signifikansi statistik perbedaan tetapi ukuran perbedaan: apakah ada perbedaan yang cukup besar untuk diteliti? Cukup besar untuk memengaruhi perbandingan kelompok dan hubungan variabel yang menjadi fokus penelitian? Cukup besar sehingga menyesuaikan untuk itu (dengan menggunakannya sebagai kovariat) diperlukan?

Sekarang, kasing Anda sedikit menarik, bahkan dengan penetapan acak, Anda memiliki 4 dari 24 variabel yang menunjukkan perbedaan signifikan pada tingkat 0,05 (17% daripada yang diharapkan 5%). Itu mungkin tampak memprihatinkan untuk proses pengacakan Anda atau aspek lain dari penelitian ini. Tetapi secara teoritis, jika pengacakan dilakukan dengan sempurna dan tidak ada gesekan pada kedua kelompok sesudahnya, hasil yang ekstrem ini atau lebih seharusnya terjadi 2,4% dari waktu, berdasarkan 24! / (4! (24-4)!) ( .05 ^ 4) (.95 ^ (24-4)). Bagaimanapun, itu bukan kejadian yang jarang terjadi. Apa yang Anda miliki bisa menjadi sekumpulan perbedaan acak. Saya akan tetap dengan penilaian berdasarkan besarnya perbedaan.

rolando2
sumber
2
Poin bagus tentang multiplisitas. Mengenai menilai perbedaan, saya pikir bahwa mencari perbedaan besar sangat berkorelasi dengan mencari nilai-P kecil; Saya juga tidak merekomendasikan.
Frank Harrell
Bagaimana saya tahu jika ada perbedaan yang cukup besar untuk dipelajari dan cukup besar untuk menyesuaikannya (dengan menggunakannya sebagai kovariat) diperlukan? Ukuran efek untuk masing-masing dari empat perbedaan pada awal (menggunakan cohen d) adalah 0,78, 0,64, 1,06, dan 0,89 masing-masing.
Rachel
2
Anda tidak dan tidak bisa. Pikirkan tentang merumuskan model yang tepat di depan daripada penyesuaian post hoc.
Frank Harrell
Oke itu masuk akal. Haruskah saya menganalisis hasil saya dengan cara lain daripada menggunakan desain model campuran? Atau apakah cukup untuk menyebutkan perbedaan tetapi tidak menyesuaikannya?
Rachel
3
Satu-satunya pemikiran saya adalah bertanya kepada pakar materi apa kemungkinan prediktor penting dari variabel respons, tanpa memberi tahu pakar tentang perbedaan yang Anda temukan, lalu sesuaikan dengan prediktor ini.
Frank Harrell
2

+1 ke @FrankHarrell. Saya mungkin menambahkan satu poin kecil. Jika Anda secara acak menugaskan peserta Anda ke dalam kelompok, setiap perbedaan 'signifikan' dalam nilai kovariat sebelum intervensi adalah kesalahan tipe I.

gung - Pasang kembali Monica
sumber
1
Baik ditempatkan, dan komentar Anda menunjukkan kesulitan menentukan dengan tepat apa yang dimaksud dengan pengujian perbedaan garis dasar populasi.
Frank Harrell
2
@ung -halo! Bagaimana dengan sudut pandang ini: Dalam RCT, 2 kelompok adalah semua yang kita miliki. Tentu saja mereka berasal dari populasi yang sama: tidak ada 2 populasi yang melakukan kesalahan, tipe I atau lainnya. Jadi signifikansi statistik tidak relevan, tetapi perbedaan besar bisa jadi masalah dan bisa memerlukan penyesuaian melalui penggunaan kovariat.
rolando2
2
Saya suka bagian pertama, tetapi bagian terakhir lebih kompleks dari yang terlihat, dan penyesuaian post-hoc dapat menciptakan bias sementara gagal menyesuaikan diri untuk penjawab heterogenitas respons besar. Selain itu, data tidak dapat memberi tahu kami set kovariat mana yang harus disesuaikan.
Frank Harrell
@ rolando2, cara saya memikirkannya adalah ini: Populasi Anda adalah populasi dari mana sampel Anda diambil; 'perlakuan' adalah prosedur penugasan acak Anda; & variabel responsnya adalah kovariat yang Anda periksa. Uji-t memeriksa untuk melihat apakah prosedur penetapan acak dikaitkan dengan nilai rata-rata kovariat. Sekarang, jika prosedur penugasan Anda cacat, sangat masuk akal bahwa hal itu dapat dikaitkan dengan nilai kovariat yang dihasilkan, tetapi jika itu benar-benar acak, menurut definisi tidak dapat & dengan demikian setiap temuan 'signifikan' adalah kesalahan tipe I .
gung - Reinstate Monica
2
Anda menyesuaikan variabel hasil Anda pada awal; itu standar. Anda kemudian percaya bahwa prosedur pengacakan Anda valid dan karenanya memberikan kesimpulan yang valid. Jika Anda yakin prosedur penugasan Anda cacat & bahwa kesimpulan yang Anda hasilkan tidak valid, Anda harus memulai dari awal dengan mengumpulkan sampel baru, menugaskan peserta Anda ke kelompok perlakuan melalui prosedur yang benar-benar acak yang akan memungkinkan Anda memiliki kepercayaan pada kesimpulan Anda, & menjalankan kembali studi.
gung - Reinstate Monica