Menggunakan variabel kontrol dalam percobaan?

9

Mengapa seseorang ingin mengontrol sejumlah kovariat awal dalam situasi di mana penugasan ke kelompok perlakuan adalah acak?

Pemahaman saya adalah bahwa secara acak memberikan pengobatan harus membuat variabel pengobatan secara eksogen, membuat kelompok kontrol yang dapat dianggap sebagai kontrafaktual. Satu-satunya pengecualian yang dapat saya pikirkan adalah ketika ukuran sampel kecil, dan bahwa tugas acak masih dapat menghasilkan kelompok yang tidak seimbang.

Pikiran apa pun sangat dihargai. Terima kasih!

Robb
sumber

Jawaban:

6

Dari perspektif frequentist, perbandingan yang tidak disesuaikan berdasarkan distribusi permutasi selalu dapat dibenarkan setelah studi acak (dengan benar). Pembenaran serupa dapat dibuat untuk inferensi berdasarkan distribusi parametrik umum (misalnya, distribusi atau distribusi ) karena kesamaannya dengan distribusi permutasi. Faktanya, penyesuaian untuk kovariat — ketika mereka dipilih berdasarkan analisis post-hoc — sebenarnya berisiko meningkatkan kesalahan Tipe I. Catatan bahwa pembenaran ini tidak ada hubungannya dengan tingkat keseimbangan dalam diamati sampel, atau dengan ukuran sampel (kecuali bahwa untuk sampel kecil distribusi permutasi akan lebih diskrit, dan kurang baik didekati olehtFtatau distribusi ).F

Yang mengatakan, banyak orang sadar bahwa menyesuaikan untuk kovariat dapat meningkatkan presisi dalam model linier. Secara khusus, penyesuaian untuk kovariat meningkatkan ketepatan dari efek pengobatan yang diperkirakan ketika mereka memprediksi hasil dan tidak berkorelasi dengan variabel pengobatan (seperti yang benar dalam kasus penelitian acak). Namun, yang kurang dikenal adalah bahwa ini tidak secara otomatis terbawa ke model non-linear. Sebagai contoh, Robinson dan Jewell [1] menunjukkan bahwa dalam kasus regresi logistik, mengendalikan kovariat mengurangi ketepatan efek pengobatan yang diperkirakan, bahkan ketika mereka memprediksi hasilnya. Namun, karena efek pengobatan diperkirakan juga lebih besar dalam model disesuaikan, mengendalikan kovariat prediktif hasilnya tidak meningkatkan efisiensi saat menguji hipotesis nol tanpa efek pengobatan setelah studi acak.

[1] LD Robinson dan NP Jewell. Beberapa hasil mengejutkan tentang penyesuaian kovariat dalam model regresi logistik. Tinjauan Statistik Internasional , 58 (2): 227–40, 1991.

Phil Schumm
sumber
Halo - jawaban yang menarik. Adakah minat untuk melakukan percakapan offline tentang ini?
rolando2
12

Jika hasilnya tergantung pada perawatan serta faktor-faktor lain yang dapat diamati, pengendalian untuk yang terakhir sering meningkatkan ketepatan perkiraan dampak (yaitu, kesalahan standar dari efek pengobatan akan lebih kecil). Ketika ukuran sampel kecil, ini dapat membantu.

Berikut adalah simulasi sederhana di mana meskipun pengobatannya acak, kesalahan standar menyusut sepertiga:

. set obs 100
obs was 0, now 100

. gen treat =mod(_n,2)

. gen x=rnormal()

. gen y = 2 + 3*treat + 1*x + rnormal()

. reg y treat

      Source |       SS       df       MS              Number of obs =     100
-------------+------------------------------           F(  1,    98) =  112.75
       Model |  209.354021     1  209.354021           Prob > F      =  0.0000
    Residual |  181.973854    98  1.85687606           R-squared     =  0.5350
-------------+------------------------------           Adj R-squared =  0.5302
       Total |  391.327875    99  3.95280682           Root MSE      =  1.3627

------------------------------------------------------------------------------
           y |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
       treat |   2.893814   .2725345    10.62   0.000     2.352978     3.43465
       _cons |   2.051611    .192711    10.65   0.000     1.669183     2.43404
------------------------------------------------------------------------------

. reg y treat x

      Source |       SS       df       MS              Number of obs =     100
-------------+------------------------------           F(  2,    97) =  180.50
       Model |  308.447668     2  154.223834           Prob > F      =  0.0000
    Residual |  82.8802074    97  .854435127           R-squared     =  0.7882
-------------+------------------------------           Adj R-squared =  0.7838
       Total |  391.327875    99  3.95280682           Root MSE      =  .92436

------------------------------------------------------------------------------
           y |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
       treat |   2.918349   .1848854    15.78   0.000     2.551403    3.285295
           x |   1.058636   .0983022    10.77   0.000     .8635335    1.253739
       _cons |   1.996209    .130825    15.26   0.000     1.736558     2.25586
------------------------------------------------------------------------------
Dimitriy V. Masterov
sumber
1
+1 - Alasan lain adalah untuk mengidentifikasi efek interaksi dengan pengobatan, tetapi itu membutuhkan lebih dari sekedar "mengendalikan" faktor-faktor lain seperti OP yang disebutkan.
Andy W
Terima kasih! Jadi, jika satu atau lebih kovariat memengaruhi hasil yang Anda coba ukur, termasuk mereka dalam model Anda akan meningkatkan ketepatan estimasi Anda tentang efek perawatan yang diberikan secara acak, tetapi tidak akan benar-benar memengaruhi estimasi nilai nilai perawatan Anda. koefisien pengobatan, benar?
Robb
Ya itu betul.
Dimitriy V. Masterov
Permintaan maaf untuk ping di luar topik: ada saran tentang Meta untuk menjadikan [percobaan acak] sinonim dari tag [alokasi acak] ( stats.meta.stackexchange.com/a/4651 ). Anda memiliki reputasi yang cukup dalam tag ini untuk memberikan suara untuk saran ini di sini: stats.stackexchange.com/tags/random-allocation/synonymous - sekarang perlu 4 upvote untuk dilalui. Jika Anda tidak setuju dengan proposal tersebut, pertimbangkan untuk mengomentari Meta untuk menjelaskan alasannya. Saya akan segera menghapus komentar ini. Bersulang.
amoeba