Pengacakan sampel non-acak

10

Saya selalu sedikit terkejut melihat iklan psikologis untuk berpartisipasi dalam studi eksperimental. Yang pasti, orang yang merespons iklan ini tidak diambil secara acak dan karenanya merupakan populasi yang dipilih sendiri.

Karena diketahui bahwa pengacakan menyelesaikan masalah pemilihan sendiri, saya bertanya-tanya apakah pengacakan sampel non-acak benar-benar mengubah apa pun.

Bagaimana menurut anda ? Dan juga, apa yang harus kita lakukan dari semua eksperimen psikologis ini berdasarkan sampel yang dipilih sendiri?

giac
sumber

Jawaban:

10

Pengacakan dalam sampel non-acak masih dapat menunjukkan efek yang tidak cukup dijelaskan oleh variasi acak.

Sebagai contoh, bayangkan kita memiliki populasi dengan dua subkelompok yang tidak dikenal (dengan karakteristik yang agak berbeda *) dengan ukuran yang kira-kira sama, tetapi sampel Anda adalah non-acak, memberikan pemisahan 80/20. Mari kita bayangkan 2 kelompok perlakuan dengan ukuran yang sama. Pengacakan (setidaknya dengan ukuran sampel yang layak) akan cenderung memberikan hampir 80/20 split di setiap kelompok, sehingga efek pengobatan adalah karena pengobatan, daripada alokasi yang tidak sama dari kelompok heterogen untuk perawatan.

* Mengarah ke baseline yang berbeda, katakanlah

Masalahnya muncul ketika Anda ingin memperluas kesimpulan ke beberapa populasi target selain dari apa sampel Anda mewakili (penyeleksi diri); ini memerlukan asumsi / argumen yang Anda mungkin tidak memiliki bukti (seperti mengasumsikan bahwa perbedaan perlakuan akan konsisten untuk semua himpunan bagian dari populasi).

Untuk situasi yang sama, bayangkan menguji obat hipertensi hanya pada pria, dibandingkan dengan pengobatan standar dan plasebo. Asumsikan pria secara acak diacak ke dalam kelompok perlakuan. Efek pengobatan akan nyata dalam arti bahwa itu benar-benar menggambarkan efek pada pria. Kesulitan akan datang ketika mencoba memperluas kesimpulan itu kepada wanita .

Jadi jika mereka dilakukan dengan benar dan terpisah secara acak dari rekrutmen, efek signifikan yang diamati akan seperti apa kelihatannya, tetapi itu akan berlaku untuk apa yang Anda sampel sebenarnya, tidak harus seperti apa target yang Anda inginkan - melewati celah antara keduanya membutuhkan argumen yang cermat; argumen seperti itu sering tidak ada.

Ketika saya masih mahasiswa, sangat umum untuk eksperimen psikologi dilakukan pada mahasiswa psikologi, yang diharapkan untuk menjadi sukarelawan selama beberapa jam percobaan semacam itu (ini mungkin masih terjadi tetapi saya tidak memiliki kontak teratur dengan psikolog). yang melakukan percobaan lagi). Dengan pengacakan untuk pengobatan, kesimpulannya mungkin valid (tergantung pada apa yang telah dilakukan) tetapi akan berlaku untuk populasi lokal sarjana psikologi pilihan sendiri (dalam hal itu mereka umumnya memilih eksperimen mana yang akan didaftar), yang sangat jauh dari sampel acak dari populasi yang lebih luas.

Glen_b -Reinstate Monica
sumber
Merekrut undergrads yang buruk masih praktik. Diharapkan seorang mahasiswa psikologi untuk berpartisipasi dalam studi semacam itu merupakan pelanggaran integritas penelitian yang mengerikan, IMO.
Tugas
@StasK: Mengapa? Dulu saya menemukan mereka agak menarik, & saya membayangkan berpartisipasi di dalamnya akan memberikan perspektif yang berguna bagi siswa psikologi.
Scortchi
1
Yup, model "intro psych pool" masih hidup dan sehat. @StasK, untuk membuatnya sedikit kurang koersif, para siswa hanya diminta untuk berpartisipasi dalam beberapa percobaan dan mereka dapat memilih yang mana. Saya pikir kita juga memiliki beberapa cara bagi siswa untuk memilih keluar dari semuanya.
Matt Krause
2
Hari-hari ini, orang-orang juga menjadi liar dengan Mekanikal Turk Amazon, Survei Konsumen Google, dan beberapa hal "cloud" lainnya. Secara teori ini memberi Anda akses ke kumpulan subjek lain, tetapi ada banyak masalah di sana juga ("kondisinya" lebih bervariasi, subjek mungkin kurang termotivasi, dan Anda tidak memiliki cara nyata untuk mengetahui apakah mereka yang mereka katakan ...). Undergrads ada di sana, cukup termotivasi untuk melakukan percobaan, dan sering kali bersedia bekerja dengan murah.
Matt Krause
@MattKrause: Di hari saya Anda akan dimasukkan ke dalam undian untuk sebotol anggur - tidak pernah ada kekurangan relawan.
Scortchi
6

Karena diketahui bahwa pengacakan menyelesaikan masalah pemilihan sendiri, saya bertanya-tanya apakah pengacakan sampel non-acak benar-benar mengubah apa pun.

Singkatnya, tidak. Pikirkan seperti ini: Anda memiliki guci dengan 100 bola hitam dan 100 bola putih. Anda mencicipi 90 bola hitam dan 10 bola putih darinya. Pengambilan sampel secara acak dari subsampel ini tidak akan memungkinkan Anda menarik kesimpulan tidak bias pada guci itu sendiri.

Dan juga, apa yang harus kita lakukan dari semua eksperimen psikologis ini berdasarkan sampel yang dipilih sendiri?

Orang-orang setuju bahwa pengambilan sampel non-acak adalah masalah. Tetapi seberapa banyak masalah juga merupakan pertanyaan tentang "teori" mekanisme Anda yang Anda minati. Jika hipotesis Anda berkaitan dengan mekanisme yang pada dasarnya harus sama untuk semua manusia (yaitu mengalami sensasi beku ketika dicelupkan ke dalam es). air), maka pemilihan non-acak tidak masalah banyak. Sayangnya, itu sering bukan hal yang kami minati.

abaumann
sumber
Para psikolog mengajukan pertanyaan seperti "Jika saya mencoba memecahkan bola dengan melemparkannya ke dinding vs. menaruhnya di atas meja dan memukulnya dengan palu, prosedur mana yang lebih mungkin untuk membelahnya?" Mereka tidak mencoba inferensi pada jumlah bola dari masing-masing warna, mereka mencoba inferensi pada mode kerusakan sehubungan dengan pengacakan ke mode itu.
Tugas
Belum tentu, Stas. Dalam beberapa kasus (misalnya efek Stroop), tujuannya adalah untuk menggeneralisasi ke mekanisme kognitif yang melekat pada semua manusia. Bahkan jika kita membandingkan perawatan, pengacakan dalam sampel tidak akan memungkinkan inferensi yang tidak bias terhadap populasi (yang merupakan hal yang kami minati).
abaumann
1

Ada teknik yang dirancang untuk menangani masalah yang Anda sebut dikenal sebagai Bootstrapping. Bootstrapping adalah pendekatan di mana Anda menghasilkan sampel sintetis baru dengan menggambar dari kumpulan sampel aktual Anda dengan penggantian. Anda kemudian melakukan statistik pada masing-masing kumpulan sampel sintetis, dan membandingkan statistik antara set.

Ini memiliki keuntungan kuat untuk memungkinkan Anda menggunakan banyak alat tambahan dalam statistik Anda karena sampel sintetis ini berasal dari distribusi yang dikenal. Anda kemudian dapat menentukan seberapa bagus penduga Anda dalam menangani kasus-kasus sintetis ini. Jika Anda menemukan bahwa penaksir untuk semua sampel sintetis Anda bertemu dengan baik ke hasil yang sama, asumsi bootstrap memungkinkan Anda untuk menyimpulkan bahwa penaksir Anda, ketika diterapkan pada sampel penuh, memberikan perkiraan yang baik untuk populasi yang tidak dikenal. Di lain pihak, jika Anda menemukan estimator Anda menghasilkan hasil yang sangat berbeda dari set sampel sintetis ke set sampel sintetis, Anda harus menyimpulkan bahwa estimator Anda, ketika diterapkan pada sampel lengkap, mungkin tidak memberikan perkiraan yang sangat baik untuk populasi yang tidak dikenal.

Pendekatan bootstrap ini dapat digunakan untuk memvalidasi apakah pengacakan sampel non-acak Anda cukup. Itu tidak bisa membuktikannya, tentu saja, tetapi telah digunakan sebagai alat untuk meningkatkan kredibilitas dengan memeriksa ulang asumsi Anda bahwa pengambilan sampel acak Anda cukup acak.

Cort Ammon
sumber
2
Bootstrap mengasumsikan bahwa sampel Anda sangat mirip dengan populasi. Bootstrapping tidak berguna jika sampel Anda tidak mewakili populasi. Oleh karena itu, saya tidak yakin bagaimana bootstrap dapat menyelesaikan masalah sampel non-acak.
Hotaka