Apa yang salah dengan (beberapa) pseudo-randomization

23

Saya menemukan sebuah penelitian di mana pasien, yang semuanya berusia di atas 50, adalah pseudo-random pada tahun kelahiran. Jika tahun kelahiran adalah angka genap, perawatan biasa, jika angka ganjil, intervensi.

Lebih mudah untuk diimplementasikan, lebih sulit untuk menumbangkan (mudah untuk memeriksa pengobatan apa yang seharusnya diterima pasien), mudah diingat (tugas berjalan selama beberapa tahun). Tapi tetap saja, saya tidak suka, saya merasa pengacakan yang tepat akan lebih baik. Tapi saya tidak bisa menjelaskan alasannya.

Apakah saya salah karena merasakan itu, atau adakah alasan yang baik untuk memilih pengacakan 'nyata'?

Jeremy Miles
sumber
1
Selamat datang di situs ini! Senang melihat posting Anda di sini.
Andy W
Dengan jawaban di atas, saya merasa lebih baik untuk "mengacak" dengan HARI kelahiran! Hari ganjil untuk perawatan, bahkan hari untuk mengendalikan ... Adalberto
AADF
6
@Adalberto Itu meleset dari poin utama, yaitu bahwa setiap prosedur yang pasti, tidak acak untuk menempatkan subyek ke kelompok tidak dapat dipastikan memiliki sifat yang diinginkan seperti yang dimiliki oleh prosedur acak. Seandainya Anda menghabiskan waktu bertahun-tahun untuk penelitian seperti itu hanya setelah itu untuk meminta pengulas menunjukkan perancu yang kuat namun tak terduga antara perawatan dan paritas hari kelahiran? Karena kita tidak bisa mengantisipasi semua perancu seperti itu, kita menghindari masalah dengan penugasan acak.
Whuber

Jawaban:

28

Anda benar untuk bersikap skeptis. Secara umum, seseorang harus menggunakan pengacakan 'nyata', karena biasanya seseorang tidak memiliki semua pengetahuan tentang faktor-faktor yang relevan (tidak dapat diobservasi). Jika salah satu dari mereka yang tidak dapat diobservasi berkorelasi dengan usia yang ganjil atau genap, maka itu juga berkorelasi dengan apakah mereka menerima pengobatan atau tidak. Jika ini masalahnya, kami tidak dapat mengidentifikasi efek pengobatan: efek yang kami amati dapat disebabkan oleh perawatan, atau karena faktor yang tidak teramati.

Ini bukan masalah dengan pengacakan nyata, di mana kami tidak mengharapkan adanya ketergantungan antara pengobatan dan yang tidak dapat diobservasi (meskipun, tentu saja, untuk sampel kecil mungkin ada di sana).

Untuk membangun sebuah cerita mengapa prosedur pengacakan ini mungkin menjadi masalah, anggap penelitian ini hanya memasukkan subyek yang berada pada usia 17/18 ketika, katakanlah, perang Vietnam dimulai. Dengan 17 tidak ada kesempatan untuk direkrut (koreksi saya jika saya salah tentang itu), sementara ada kesempatan di 18. Dengan asumsi kesempatan itu tidak dapat diabaikan dan bahwa pengalaman perang mengubah orang, itu menyiratkan bahwa, bertahun-tahun kemudian, kedua kelompok ini berbeda, meskipun mereka hanya berjarak 1 tahun. Jadi mungkin pengobatan (obat) sepertinya tidak bekerja, tetapi karena hanya kelompok dengan veteran Vietnam yang menerimanya, ini mungkin sebenarnya karena fakta bahwa itu tidak bekerja pada orang dengan PTSD (atau faktor lain yang berkaitan dengan menjadi veteran). Dengan kata lain, Anda perlu kedua kelompok (pengobatan dan kontrol) untuk menjadi identik, kecuali untuk perawatan, untuk mengidentifikasi efek pengobatan.

Jadi, kecuali Anda dapat mengesampingkan bahwa tidak ada perbedaan yang tidak teramati di antara kelompok-kelompok (tetapi bagaimana Anda melakukannya jika tidak diamati?), Pengacakan nyata lebih disukai.

Tanpa nama
sumber
Terima kasih. Contoh yang bagus. (Saya lupa menyebutnya pseudo-randomization, saya telah mengeditnya dalam pertanyaan).
Jeremy Miles
2
(+1) Ketika saya membaca pertanyaan, Vietnam adalah contoh pertama yang langsung muncul di benak saya. Sangat menyenangkan melihat Anda telah mengambil cara yang sama. Saya kira itu adalah pilihan yang paling jelas mengingat usia subjek yang disebutkan, meskipun usia di awal hingga pertengahan 60-an sedikit lebih dekat.
kardinal
Permintaan maaf untuk ping di luar topik: ada saran tentang Meta untuk menjadikan [percobaan acak] sinonim dari tag [alokasi acak] ( stats.meta.stackexchange.com/a/4651 ). Anda memiliki reputasi yang cukup dalam tag ini untuk memberikan suara untuk saran ini di sini: stats.stackexchange.com/tags/random-allocation/synonymous - sekarang perlu 4 upvote untuk dilalui. Jika Anda tidak setuju dengan proposal tersebut, pertimbangkan untuk mengomentari Meta untuk menjelaskan alasannya. Saya akan segera menghapus komentar ini. Tepuk tangan.
Amoeba berkata Reinstate Monica
18

Ini adalah latihan yang baik untuk menegakkan pandangan pelawan dari waktu ke waktu, jadi izinkan saya mulai dengan menawarkan beberapa alasan yang mendukung bentuk pengacakan semu ini. Mereka, pada prinsipnya, sedikit berbeda dari bentuk pengambilan sampel sistematis lainnya , seperti memperoleh sampel media lingkungan di titik-titik kisi di lapangan atau mengambil sampel setiap pohon lain di kebun, dan oleh karena itu pengambilan sampel ini mungkin menikmati keuntungan yang sebanding. .

Analogi di sini sempurna: usia "dikisi" oleh tahun mulai dari asal nol dan tugas untuk kelompok berganti-ganti sepanjang kisi (satu dimensi) ini. Beberapa keuntungan dari pendekatan ini adalah untuk menjamin luas, bahkan penyebaran sampel di seluruh lapangan atau kebun (atau usia, dalam hal ini), yang membantu meratakan pengaruh yang terkait dengan lokasi (atau waktu). Ini bisa sangat berguna ketika teori menunjukkan bahwa lokasi adalah faktor utama dalam variasi respons. Selain itu, kecuali untuk sampel yang sangat kecil, menganalisis data seolah-olahmereka adalah sampel acak sederhana yang memperkenalkan kesalahan yang relatif sedikit. Lebih lanjut, beberapa pengacakan dimungkinkan: di lapangan kita dapat secara acak memilih asal dan orientasi kisi. Dalam kasus ini, setidaknya kita dapat mengacak apakah tahun genap merupakan kontrol atau subjek pengobatan.

Keuntungan lain dari pengambilan sampel menggunakan grid adalah untuk mendeteksi variasi yang dilokalkan. Di lapangan, ini akan menjadi "kantong" dari respons yang tidak biasa. Secara statistik, kita dapat menganggapnya sebagai manifestasi korelasi spasial. Dalam situasi saat ini, jika ada kemungkinan rentang usia yang relatif sempit mengalami respons yang tidak biasa, maka desain grid adalah pilihan yang sangat baik, karena desain acak murni dapat secara kebetulan mengandung kesenjangan besar dalam usia dalam salah satu kelompok. (Tapi desain yang lebih baik mungkin untuk stratifikasi: gunakan paritas usia untuk membentuk dua strata analitis dan kemudian, secara independen dalam setiap strata, mengacak pasien menjadi kelompok kontrol dan pengobatan.)

Sayangnya, pertahanan ini berantakan begitu kita memahami berapa usia sebenarnya yang dilaporkan. Data Sensus AS menunjukkan bahwa (1) usia yang dilaporkan sendiri cenderung dibulatkan menjadi kelipatan lima (saya telah melihat ini dalam analisis data kelompok blok pedesaan) dan (2) kecenderungan ini dikaitkan dengan indikator pendidikan rendah atau status sosial ekonomi. (Juga diketahui, walaupun sulit untuk diuji, bahwa angka terakhir dalam banyak usia yang dilaporkan sendiri adalah , bahwa orang-orang di bidang pekerjaan tertentu, seperti akting, cenderung mengurangi usia yang dilaporkan, dan yang lain akan melebih-lebihkan usia mereka. untuk berbagai keperluan.) Dengan demikian, setidaknya pada tingkat yang sedikit di setidaknya beberapa wilayah AS (dan bahkan lebih lagi di tempat lain di dunia), paritas usia seseorang yang dilaporkan kemungkinan besar9dikaitkan dengan faktor-faktor penting untuk percobaan. Ini membuat kekhawatiran dalam pertanyaan kurang dari hipotetis: itu nyata. Pada titik ini, jawaban sebelumnya di utas ini dapat menyajikan pemikiran tambahan yang ingin saya buat, jadi saya akan berhenti dan mengundang Anda untuk membacanya kembali.

whuber
sumber
(+1) Khususnya, untuk menyiapkan kontra dokumen.
kardinal
13

Saya setuju contoh yang Anda berikan cukup tidak berbahaya tetapi ...

Jika agen yang terlibat (baik orang yang melakukan intervensi atau orang yang mendapatkan intervensi) menjadi sadar akan skema penugasan mereka dapat memanfaatkannya. Seleksi diri seperti itu harus cukup jelas mengapa itu bermasalah di sebagian besar desain eksperimental.

Salah satu contoh yang saya ketahui dalam kriminologi adalah seperti ini; Eksperimen itu dimaksudkan untuk menguji efek jera malam di penjara setelah perselisihan domestik vs. hanya meminta pelaku untuk pergi malam itu. Petugas diberi buklet lembar, dan warna lembar saat ini di atas dimaksudkan untuk mengidentifikasi perlakuan apa yang dilakukan pelaku. dalam insiden tertentu seharusnya menerima.

Yang akhirnya terjadi adalah petugas sengaja tidak menaati desain penelitian, dan memilih selembar berdasarkan preferensi pribadi untuk apa yang harus dilakukan kepada pelaku. Tidaklah aneh untuk mencurigai kecurangan selama bertahun-tahun, setidaknya mungkin dalam contoh Anda.

Andy W
sumber
Contoh yang bagus, terima kasih, tetapi bagian dari alasannya adalah bahwa pemalsuan jauh lebih sulit - mereka tidak dapat berdebat bahwa lembar kertas itu (katakanlah) berwarna kuning, karena saya bisa pergi dan memeriksa tanggal lahir dan melihat apakah mereka ditugaskan dengan benar.
Jeremy Miles
3
Saya setuju @JeremyMiles, itu hanyalah alasan lain untuk studi acak double-blind. Ini hanyalah argumen yang ditujukan terhadap pseudo-pengacakan - bahwa lebih mudah untuk menghindari pengobatan yang dimaksud daripada pengacakan yang sebenarnya. (Contoh saya sebenarnya bukan contoh pseudo-randomisasi, tetapi menggambarkan hal ini secara ringkas.)
Andy W
Yah, itu tergantung pada bagaimana pengacakan (benar) dilakukan - orang-orang yang terlibat dalam penelitian melakukannya sebagian untuk menghindari masalah dengan subversi. Jika Anda menggunakan pengacakan yang sebenarnya, Anda perlu pencatatan yang baik untuk memastikan bahwa orang yang menentukan pengacakan berkomunikasi dengan orang yang memberikan pengobatan, dan orang yang memberikan melakukan hal yang benar. Dengan teladan Anda, jika mereka menggunakan nomor rumah (katakanlah), para petugas mungkin akan lebih sulit dihancurkan, meskipun itu tidak acak.
Jeremy Miles
1
Permintaan maaf untuk ping di luar topik: ada saran tentang Meta untuk menjadikan [percobaan acak] sinonim dari tag [alokasi acak] ( stats.meta.stackexchange.com/a/4651 ). Anda memiliki reputasi yang cukup dalam tag ini untuk memberikan suara untuk saran ini di sini: stats.stackexchange.com/tags/random-allocation/synonymous - sekarang perlu 4 upvote untuk dilalui. Jika Anda tidak setuju dengan proposal tersebut, pertimbangkan untuk mengomentari Meta untuk menjelaskan alasannya. Saya akan segera menghapus komentar ini. Tepuk tangan.
Amoeba berkata Reinstate Monica
0

Pengacakan lengkap berdasarkan distribusi acak tidak dapat diprediksi, dalam kasus Anda diketahui bahwa suatu kasus akan ditugaskan untuk Intervensi atau Kontrol sebelum konfirmasi kelayakan.

Ayat
sumber