Dalam makalah ini:
Mengintai Variabel: Beberapa Contoh Brian L. Joiner The American Statistician Vol. 35, No. 4, November, 1981 227-233
Brian Joiner mengklaim bahwa "pengacakan bukanlah obat mujarab". Ini bertentangan dengan pernyataan umum seperti yang di bawah ini:
Eksperimen yang dirancang dengan baik mencakup fitur desain yang memungkinkan para peneliti untuk menghilangkan variabel asing sebagai penjelasan untuk hubungan yang diamati antara variabel independen dan variabel dependen. Variabel asing ini disebut variabel mengintai.
Kutipan diambil dari pertanyaan ini dan tidak memiliki sumber tetapi dalam pengalaman saya itu mewakili sikap yang berlaku: Contoh Variabel Mengintai dan Pengamatan Berpengaruh
Salah satu contoh yang diberikan adalah bahwa ketika menguji keamanan (khususnya karsinogenesis) pewarna makanan merah # 40 pada tikus di tahun tujuh puluhan pengaruh posisi kandang ditemukan untuk mengacaukan penelitian. Sekarang saya telah membaca banyak artikel jurnal yang mempelajari karsinogenesis pada hewan pengerat dan belum pernah melihat orang lain yang mengendalikan efek ini.
Diskusi lebih lanjut dari studi ini dapat ditemukan di sini: Studi kasus statistik dalam proses pengaturan: percobaan FD&C Red No. 40.
Saya tidak dapat menemukan versi yang tidak berbayar tetapi di sini adalah kutipannya:
Pada pertemuan Januari, kami mempresentasikan analisis awal (14) yang mengungkapkan korelasi yang kuat antara baris kandang dan RE (reticulo-endothelial tumor) tingkat kematian, yang bervariasi dari 17% (baris bawah) hingga 32% (baris atas) (tabel 2). Kami tidak dapat menjelaskan hubungan kuat ini berdasarkan jenis kelamin, kelompok dosis, atau kolom rak atau posisi. Analisis selanjutnya (18) juga menunjukkan bahwa posisi kandang (depan vs belakang) mungkin berkorelasi dengan kematian non-RE dan posisi itu berkorelasi dengan waktu hingga kematian non-RE.
Saya secara khusus tertarik pada mengapa tampaknya ada masalah dengan replikasi dalam literatur medis, tetapi contoh dari semua bidang akan diterima. Perhatikan bahwa saya tertarik pada contoh-contoh dari eksperimen terkontrol acak, bukan studi observasional.
Jawaban:
Beberapa contoh dari penelitian klinis mungkin adalah variabel yang muncul setelah pengacakan - pengacakan tidak melindungi Anda dari mereka sama sekali. Beberapa dari kepala saya, yang telah diangkat sebagai kemungkinan atau telah dicatat:
Pengacakan melindungi terhadap tidak ada efek-efek itu, karena mereka timbul pasca-pengacakan.
sumber
Berikut adalah satu contoh yang saya temukan untuk data microarray. Ekspresi yang diukur telah dilaporkan sangat berkorelasi dengan posisi pada "chip". Ini adalah kasus di mana pengacakan posisi sampel dapat menyebabkan peningkatan peluang membuat kesalahan label sehingga mereka yang melakukan pekerjaan teknis dapat memilih untuk tidak mengacak jika mereka tidak menganggapnya penting.
Pentingnya Pengacakan dalam Desain Eksperimental Microarray dengan Platform Illumina
Ricardo A. Verdugo, Christian F. Deschepper, dan Gary A. Churchill. Laboratorium Jackson, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Kanada.
sumber
Saya memiliki contoh yang mungkin agak berbeda dari apa yang Anda maksudkan ketika Anda mengajukan pertanyaan ini. Satu atau dua tahun terakhir telah memunculkan diskusi yang sedang berlangsung dalam psikologi tentang penyebab kurangnya replikasi efek dari percobaan acak. Versi-versi dari debat ini telah muncul selama bertahun-tahun, tetapi debat telah menjadi lebih keras sejak publikasi makalah yang menunjukkan bahwa banyak praktik yang merupakan standar dalam psikologi dalam perumusan hipotesis, pengumpulan data, analisis data, dan pelaporan hasil memungkinkan para peneliti untuk menemukan hasil yang mendukung hipotesis yang bahkan dipilih secara sewenang-wenang (dalam makalah asli, para peneliti menggunakan praktik-praktik ini untuk menunjukkan bahwa mendengarkan "When I'm Sixty-Four" oleh The Beatles membuat orang lebih muda).
Akar masalahnya, tentu saja, adalah struktur insentif yang meluas dalam psikologi (dan dalam ilmu lain) untuk mendapatkan hasil yang baru, positif, "dapat diterbitkan". Insentif-insentif ini mendorong para ilmuwan penelitian untuk mengadopsi praktik-praktik yang, walaupun tidak secara jelas "salah" sebagai pemalsuan data, tetap mengarah pada peningkatan tingkat hasil positif palsu. Praktik-praktik ini meliputi:
Dan seterusnya.
Saya berpendapat bahwa "variabel yang mengintai" dalam kasus-kasus ini adalah struktur insentif yang memberikan penghargaan kepada peneliti untuk mendapatkan hasil positif, "dapat dipublikasikan". Bahkan, sudah ada beberapa profil tinggi hasil dalam psikologi (banyak yang di spesialisasi saya, psikologi sosial) yang telah gagal untuk mereplikasi. Kegagalan untuk mereplikasi ini, banyak yang berpendapat, menimbulkan keraguan pada seluruh subbidang psikologi.
Tentu saja, masalah struktur insentif yang mendorong positif palsu tidak unik untuk psikologi; ini adalah masalah yang endemik bagi semua sains, dan dengan demikian untuk semua uji coba terkontrol secara acak.
Referensi
Simmons, JP, Nelson, LD, & Simonsohn, U. (2011). Psikologi positif palsu: Fleksibilitas yang tidak diungkapkan dalam pengumpulan dan analisis data memungkinkan penyajian yang penting. Ilmu Psikologis , 17, 1359-1366.
Nosek, BA, Spies, JR, & Motyl, M. (2012). Utopia ilmiah: II. Restrukturisasi insentif dan praktik untuk mempromosikan kebenaran daripada publikasi. Perspektif tentang Ilmu Psikologis , 7, 615-631.
Yong, E. (2012). Salinan buruk. Alam , 485, 298-300.
Abbott, A. (2013). Hasil yang disengketakan merupakan pukulan baru bagi psikologi sosial. Alam , 497, 16.
sumber