Apakah SurveyMonkey mengabaikan fakta bahwa Anda mendapatkan sampel non-acak?

11

SurveyMonkey memiliki langkah-langkah dan bagan untuk Anda mengetahui ukuran sampel apa yang Anda butuhkan untuk margin kesalahan atau interval kepercayaan tertentu, berdasarkan pada ukuran populasi Anda.

Ukuran sampel SurveyMonkey

Apakah bagan ini mengabaikan fakta bahwa Anda tidak akan mendapatkan sampel acak, karena Anda hanya membuat orang-orang yang repot-repot menanggapi survei?

Saya mendapatkan peringatan ketika saya mengetik ini bahwa pertanyaannya tampak subyektif jadi mungkin saya tidak menanyakannya dengan benar. Ini bukan tentang SurveyMonkey tetapi merupakan pertanyaan yang lebih umum - dapatkah Anda benar-benar menghitung interval kepercayaan dari data respons sukarela menggunakan beberapa teknik canggih yang tidak saya ketahui?

Dalam polling keluar atau survei nasional, jelas mereka harus berurusan dengan masalah ini. Pendidikan saya tidak mencakup teknik-teknik pengambilan sampel survei secara mendalam, tetapi saya berasumsi itu melibatkan pengumpulan data demografis dan menggunakannya untuk mengetahui seberapa representatif sampel yang Anda miliki.

Tapi selain itu, untuk survei online sederhana, apakah mereka hanya berasumsi bahwa orang-orang yang repot-repot merespons adalah sampel acak dari populasi?

confidence-interval sample-size survey sample matt
sumber

Jawaban:

10

Jawaban singkatnya adalah ya: Survey Monkey mengabaikan persis bagaimana Anda mendapatkan sampel Anda. Survey Monkey tidak cukup pintar untuk menganggap bahwa apa yang telah Anda kumpulkan bukanlah sampel kenyamanan, tetapi hampir setiap survei Survey Monkey adalah sampel kenyamanan. Ini menciptakan perbedaan besar dalam apa yang Anda perkirakan yang tidak dapat dihilangkan dengan jumlah sampel belaka. Di satu sisi Anda bisa menentukan populasi (dan asosiasi di dalamnya) yang akan Anda dapatkan dari SRS. Di sisi lain, Anda bisa menentukan populasi yang ditentukan oleh sampling non-acak Anda, asosiasi di sana Anda bisaestimasi (dan aturan daya berlaku untuk nilai-nilai tersebut). Terserah Anda sebagai peneliti untuk membahas perbedaan tersebut dan membiarkan pembaca memutuskan dengan tepat bagaimana berlaku sampel non-acak bisa berada di mendekati tren nyata.

Sebagai titik, ada penggunaan istilah bias yang tidak konsisten. Dalam teori probabilitas, bias estimator didefinisikan oleh . Namun estimator dapat menjadi bias, tetapi konsisten, sehingga bias "menghilang" dalam sampel besar, seperti bias estimasi kemungkinan maksimum dari standar deviasi RV yang didistribusikan secara normal. yaitu . Estimator yang tidak memiliki bias menghilang, (mis. ) disebut tidak konsistenBiasn=θ−θ^nθ^→pθθ^↛pθdalam teori probabilitas. Pakar desain studi (seperti ahli epidemiologi) telah mengambil kebiasaan buruk menyebut inkonsistensi sebagai "bias". Dalam hal ini, bias seleksi atau bias sukarela. Ini tentu saja merupakan bentuk bias, tetapi inkonsistensi menyiratkan bahwa tidak ada jumlah sampel yang akan memperbaiki masalah ini.

Untuk memperkirakan asosiasi tingkat populasi dari data sampel praktis, Anda harus mengidentifikasi mekanisme probabilitas pengambilan sampel dengan benar dan menggunakan bobot probabilitas terbalik dalam semua perkiraan Anda. Dalam situasi yang sangat jarang hal ini masuk akal. Identifikasi mekanisme semacam itu hampir tidak mungkin dilakukan dalam praktik. Waktu yang dapat dilakukan adalah dalam kelompok individu dengan informasi sebelumnya yang didekati untuk mengisi survei. Peluang non-respons dapat diperkirakan sebagai fungsi dari informasi sebelumnya, misalnya usia, jenis kelamin, SES, ... Pembobotan memberi Anda peluang untuk memperkirakan hasil apa yang akan terjadi pada populasi non-responden. Sensus adalah contoh yang baik dari keterlibatan pembobotan probabilitas terbalik untuk analisis tersebut.

AdamO
sumber
2
Bisakah Anda menguraikan sedikit tentang arti di mana sampel kenyamanan dapat dianggap tidak konsisten tetapi tidak bias ? Secara historis banyak sampel kenyamanan telah berubah menjadi sangat bias (dan "bias" adalah istilah yang digunakan orang untuk menggambarkannya): jajak pendapat Literary Digest tahun 1936 mungkin merupakan contoh paling terkenal.
whuber
1
@whuber Maafkan penggunaan terminologi "tidak konsisten" saya. Bias adalah sesuatu yang saya anggap hilang dalam sampel besar, sedangkan perkiraan yang tidak konsisten tidak pernah menyatu dalam sampel besar. Dalam teori prob, contoh-contoh penduga yang tidak konsisten sedikit dan jarang, tetapi dari perspektif desain penelitian mereka muncul setiap saat. Menariknya, ahli epidemiologi cenderung menyebutnya "bias" (yaitu bias seleksi). Tetapi pertanyaan poster tampaknya menunjukkan bahwa "pengambilan sampel lebih banyak" akan mengurangi bias, seperti halnya dengan jenis teori probabilitas bias.
AdamO
Saya tidak yakin saya mengerti semua itu, jadi izinkan saya fokus hanya pada sebagian kecil: apakah Anda (atau tidak) menyatakan bahwa sampel [kenyamanan] yang lebih besar mengurangi bias? Saya harap Anda tidak, karena itu pasti salah! (Ini adalah salah satu alasan polling Sastra Digest terkenal: itu adalah salah satu yang terbesar yang pernah dilakukan dan menunjukkan salah satu bias terbesar juga.)
whuber
5
Memang tidak! Pengambilan sampel yang lebih banyak tidak akan menghilangkan bias intrinsik tersebut. Itu masalahnya di sini. Poster tertarik pada kekuatan untuk memperkirakan asosiasi populasi dengan sampel nonrandom, dan poin saya adalah bahwa Anda selalu memiliki 0 kekuatan untuk memperkirakan itu (kecuali mekanisme pembobotan yang sangat hati-hati dan kompleks digunakan).
AdamO
1
Terima kasih atas komentar terakhir; itu membersihkan sebagian dari jawaban Anda yang mungkin saya salah artikan. (+1)
whuber