Survei: Apakah 25% perwakilan basis pengguna yang besar?

Majikan saya saat ini menjalankan survei di seluruh perusahaan tentang sikap terhadap kantor yaitu Sentimen. Di masa lalu, mereka membuka survei ke semua area bisnis (Mari kita asumsikan 10 departemen yang sangat berbeda) dan semua karyawan di dalamnya (Asumsikan total 1000 karyawan di seluruh perusahaan) Jumlah karyawan di setiap departemen tidak sama dan satu departemen tertentu mungkin 50% dari total populasi organisasi.

Tahun ini, survei hanya dibuka untuk 25% dari total basis karyawan dan pemilihannya 'acak'

Karenanya, saya punya dua pertanyaan:

• Jika ini adalah pemilihan acak seluruh pangkalan karyawan, bagaimana sampel yang valid secara statistik dengan asumsi semua karyawan itu merespons?

• Jika acak pada tingkat per departemen, misalnya 25% dari setiap departemen, bagaimana sampel yang valid mempertimbangkan satu departemen lebih dari 50% dari total populasi.

Saya akan berasumsi bahwa untuk menentukan sentimen mayoritas di sebuah perusahaan, seseorang akan membutuhkan setidaknya 50% dari basis karyawan di setiap departemen untuk memberikan sentimen membaca yang benar.

Pembaruan : Survei tidak diberlakukan. Tidak ada jaminan tingkat respons 100% dari 25% yang dipilih. Tidak ada insentif atau hukuman jika survei diisi atau tidak diisi.

Pikirkan tentang survei pada populasi umum di AS. Jika kita membutuhkan 50% dari populasi untuk menentukan pendapat mayoritas, kita akan membutuhkan sampel sekitar 160 juta, yang benar-benar mahal. Bahkan sampel 1% ekstrem (sekitar 3,2 juta), dan jarang dilakukan. Sebuah survei penting di AS, Survei Sosial Umum memiliki ukuran sampel antara 1.500 hingga hampir 3.000. Jadi sampel 25% dengan sendirinya tidak ada masalah.

Ingatlah bahwa survei bukanlah pemilihan atau referendum. Agar yang terakhir sah, setiap orang yang memenuhi syarat harus memiliki kesempatan untuk menyampaikan pendapat. Untuk survei, tujuannya adalah untuk mendapatkan estimasi yang bagus dari opini rata-rata, dan Anda bisa mendapatkannya dengan sampel acak. Jadi perusahaan perlu memutuskan apa tujuan survei: apakah ini cara bagi karyawan untuk memberikan pendapat dan berpartisipasi dalam perusahaan, atau apakah itu cara bagi manajer untuk mendapatkan informasi?

Kedua desain pengambilan sampel memastikan bahwa 25% karyawan diminta. Yang terakhir memastikan bahwa departemen yang lebih kecil terwakili dalam survei. Jika Anda peduli dengan kesalahan standar maka Anda harus mempertimbangkan sifat sampel yang bersarang, meskipun saya tidak menduga bahwa itu akan menjadi masalah besar dalam kasus ini.

Secara etimologi " survei " ( sur-dari 'super', seperti dalam 'dari atas' dan -veydari 'tampilan') berarti mendapatkan gambaran umum , bukan gambaran lengkap.

Selama 25% benar-benar acak dan tidak dipilih sendiri (opt-in) maka cukup memenuhi definisi istilah tersebut. Jika survei bersifat opsional, maka jawabannya hanya akan mewakili mereka yang merasa perlu menjawab. Misalnya, bayangkan sebuah restoran di mana orang dapat mengisi kartu umpan balik setelah makan. Bahkan jika sebagian besar pengunjung senang, sebagian besar umpan balik akan menjadi negatif karena pelanggan yang senang melihat sedikit alasan untuk memberikan umpan balik.

Sudut pandang lain berasal dari teori desain eksperimen.

Kekuatan statistik adalah probabilitas untuk menemukan efek jika itu nyata ( sumber )

Empat faktor yang memengaruhi daya:

1. Ukuran efeknya
2. Standar deviasi dari karakteristik
3. Ukuran sampel lebih besar
4. Tingkat signifikansi yang diinginkan

Berdasarkan elemen-elemen ini, Anda dapat menulis persamaan matematika formal yang menghubungkan kekuatan, ukuran sampel, ukuran efek, standar deviasi, dan tingkat signifikansi ( sumber )

Di bawah serangkaian asumsi , Anda dapat mengkarakterisasi survei Anda sebagai percobaan dan memanfaatkan desain kerangka kerja eksperimen (di sini ada beberapa contoh). Ada sejumlah tebakan yang harus dilakukan; Namun, model yang tidak sempurna mungkin lebih baik daripada tidak ada model sama sekali.

Saya merasakan dua pertanyaan. Satu tentang ukuran sampel (25%, mengapa bukan mayoritas) dan satu lagi tentang teknik pengambilan sampel (apakah itu benar-benar acak, sampel 25% secara acak di seluruh perusahaan, sampel 25% secara acak di setiap departemen, atau menggunakan beberapa distribusi lainnya).

1) Ukuran sampel tidak perlu menjadi mayoritas. Ukuran sampel yang dibutuhkan dapat berkisar antara 0 dan 100% tergantung pada akurasi yang diperlukan untuk rasio kepercayaan atau kemungkinan yang diberikan.

Kepastian 100% tidak pernah diperoleh (juga tidak dengan subset 50% atau lebih besar). Mencapai akurasi tinggi seperti itu juga bukan merupakan titik pengambilan sampel dan estimasi.

Lihat lebih lanjut tentang ukuran sampel: https://en.wikipedia.org/wiki/Sample_size_determination

Jika Anda mendapatkan hukum angka besar, Anda mungkin juga memiliki ide intuitif.

Distribusi rata-rata dari semua himpunan bagian yang mungkin (dan sampel Anda akan menjadi salah satu dari mereka), akan menjadi lebih kecil, dan lebih dekat dengan rata-rata distribusi asli, jika ukuran himpunan bagian meningkat. Jika Anda memilih satu orang maka ada kemungkinan masuk akal bahwa Anda menemukan pengecualian, tetapi untuk menemukan pengecualian yang sama di arah yang sama dua kali menjadi lebih kecil kemungkinannya. Dan seterusnya, semakin besar ukuran subset sampel semakin kecil kemungkinan subset yang luar biasa.

$n$

Catatan penting! Perkiraan Anda tidak akan tergantung pada ukuran populasi dari mana Anda sampel, tetapi pada distribusi populasi itu.

Dalam hal departemen ukuran 500 Anda. Penyimpangan rata-rata dari himpunan bagian acak (ukuran 125) akan menjadi 11 kali lebih kecil dari penyimpangan asli. Perhatikan bahwa kesalahan dalam pengukuran (penyimpangan rata-rata dari himpunan bagian yang dipilih secara acak), tidak tergantung pada ukuran departemen. Bisa jadi 500, 5000, atau 50000, dalam semua kasus perkiraan itu tidak akan terpengaruh selama mereka memiliki distribusi yang sama (sekarang departemen kecil mungkin memiliki beberapa distribusi aneh, tetapi itu mulai menghilang untuk kelompok yang lebih besar).

2) Pengambilan sampel tidak perlu sepenuhnya acak. Anda dapat memperhitungkan demografi.

Akhirnya, Anda akan memperlakukan masing-masing departemen secara terpisah dalam jenis analisis ini dan mengoreksi variasi di antara departemen-departemen tersebut dan bagaimana Anda mengambil sampel dalam departemen-departemen yang berukuran berbeda.

Dalam koreksi ini ada dua perbedaan penting. Orang mungkin menganggap distribusi di antara kelompok sebagai variabel acak atau tidak. Jika Anda memperlakukannya sebagai variabel acak maka analisisnya menjadi lebih kuat (mengeluarkan beberapa derajat kebebasan dalam model) tetapi mungkin asumsi yang salah jika kelompok yang berbeda tidak dapat ditukar sebagai entitas acak tanpa efek spesifik (yang tampaknya menjadi kasus Anda, seperti yang saya bayangkan bahwa departemen memiliki fungsi yang berbeda dan mungkin memiliki banyak sentimen berbeda yang tidak acak dalam hubungannya dengan departemen).

Pertanyaan Anda adalah tentang ukuran sampel untuk populasi terbatas. Tetapi hal pertama yang Anda butuhkan adalah ukuran sampel yang diperlukan dalam populasi yang tak terbatas, yang kemudian dapat digunakan untuk menghitung ukuran sampel untuk populasi terbatas.

$n=(z^2pq)/d^2$
$n$
$z^2$
$p$
$q=1-p$
$d^2$ , tingkat kesalahan (alias margin kesalahan), biasanya 3%, tetapi 1% atau 5% dapat digunakan.

$(1.96 \times 0.5 \times 0.5)/0.03^2=1,068$

$m=n / (1+((n-1)/N))$
$m$
$n$
$N$

$N=1,000$$1068 / (1+((1068-1)/1000))=517$, atau 51,7% dari populasi.

Jika Anda menggunakan 25% populasi, tingkat kesalahan adalah 5,4%. Tingkat kesalahan ini mungkin baik-baik saja berdasarkan survei sebelumnya. Dengan survei selalu ada trade off antara tingkat kesalahan yang Anda bersedia terima dan biaya melakukan survei.

Tak satu pun dari faktor ini dalam tingkat respons (jika menggunakan sampel acak sederhana). Untuk mengetahui berapa banyak orang yang perlu dihubungi, Anda membagi ukuran sampel dengan tingkat respons yang diharapkan. Misalnya, jika tingkat respons sebelumnya adalah 65%, Anda harus mengirim instrumen survei$517/0.65=796$ orang-orang.

Segalanya menjadi lebih rumit jika Anda ingin membagi populasi berdasarkan departemen (dikenal sebagai stratifikasi). Pada dasarnya, Anda perlu memperlakukan masing-masing departemen sebagai populasi terbatas yang terpisah jika Anda ingin data akurat untuk setiap departemen, yang mungkin tidak praktis. Tetapi Anda dapat melakukan sampel acak berstrata alih-alih sampel acak sederhana, di mana 50% sampel dipilih secara acak dari departemen dengan 50% populasi, dan persentase yang sesuai diambil secara acak dari departemen lain. Ini berarti bahwa ukuran sampel Anda akan sedikit meningkat karena Anda harus mengumpulkan semua tempat desimal (Anda tidak dapat mensurvei 0,1 orang). Namun, hasilnya harus diperiksa pada tingkat populasi (perusahaan) dan tidak pada tingkat departemen karena tidak akan ada cukup respon dari masing-masing departemen untuk menjadi akurat.

Saat berbicara tentang sampel yang valid, gagasan yang mendasarinya biasanya adalah representasi. Apakah sampel "mewakili" populasi secara memadai? Untuk mendapatkan sampel yang representatif, seseorang perlu memastikan bahwa ukuran sampel memadai (untuk mengurangi varians estimasi), dan bahwa sampel tersebut berisi anggota yang termasuk dalam himpunan bagian dari populasi yang menunjukkan berbagai jenis perilaku. Dalam pertimbangan.

Pertama, proporsi pengguna yang dipilih untuk survei itu lebih rendah dibandingkan dengan jumlah absolut pengguna yang dipilih. Ukuran sampel yang diperlukan akan tergantung pada persyaratan akurasi atau interval kepercayaan dalam jawaban yang diberikan. Anda dapat membaca artikel ini untuk informasi lebih lanjut.

Anda menyebutkan bahwa perusahaan terdiri dari beberapa departemen. Apakah ada kemungkinan bahwa departemen-departemen itu bervariasi dalam tanggapannya terhadap survei? Jika mereka melakukannya (atau mungkin Anda tidak tahu pasti), itu akan menjadi ide yang baik untuk "membuat stratifikasi" sampel Anda di seluruh departemen. Dalam bentuknya yang paling sederhana, ini berarti memilih proporsi orang yang sama dari setiap departemen. Misalnya: Ukuran perusahaan adalah 1000, dan ukuran sampel yang dipilih adalah 100. Kemudian Anda akan memilih 50 dari departemen ukuran 500, 10 dari departemen ukuran 100, dll. Ini untuk menghindari kekurangan perwakilan dari departemen tertentu di sampel "acak" tertentu.

Anda juga menyebutkan bahwa tidak semua orang dapat menanggapi survei. Jika Anda tahu bahwa sekitar setengah orang akan merespons, maka untuk mendapatkan 100 tanggapan, Anda harus mengirim survei ke 200 orang. Anda harus mempertimbangkan kemungkinan bahwa tanggapan semacam itu bias. Orang dengan respons tertentu mungkin lebih, atau kurang, cenderung untuk menjawab.

Jika itu adalah pemilihan acak seluruh pangkalan karyawan , bagaimana sampel yang valid secara statistik dengan asumsi semua karyawan itu merespons?

Ini adalah sampel yang valid selama diambil dari populasi yang dimaksudkan untuk menggambarkan. Artinya, jika Anda hanya sampel bos, tidak ada yang bisa dikatakan tentang karyawan lain; itu tidak akan terjadi dalam pengaturan yang telah Anda gambarkan. Namun itu mungkin terjadi karena non-respons (lebih lanjut di sini di bawah).

Jika acak pada tingkat per departemen, misalnya 25% dari setiap departemen, bagaimana sampel yang valid mempertimbangkan satu departemen lebih dari 50% dari total populasi.

Ini bukan lagi pertanyaan tentang validitas sampel tetapi salah satu kesalahan pengambilan sampel. Jelas, perkiraan yang paling tepat akan diperoleh dari penarikan acak bertingkat, strata yang mencakup setidaknya tingkat departemen. Dalam pengaturan seperti itu, Anda akan memiliki sampel yang valid untuk masing-masing departemen tetapi perkiraan untuk departemen kecil umumnya kurang tepat daripada perkiraan untuk departemen besar, berkat ukuran sampel absolut yang lebih tinggi untuk yang terakhir. Untuk organisasi secara keseluruhan, representasi sampel yang lebih tinggi dari departemen yang lebih besar hanya mencerminkan realitas organisasi dan sama sekali tidak mengurangi validitas sampel.

Survei tidak diberlakukan. Tidak ada jaminan tingkat respons 100% dari 25% yang dipilih. Tidak ada insentif atau hukuman jika survei diisi atau tidak diisi.

Anda tidak akan dapat memaksa siapa pun untuk memberikan jawaban yang baik tetapi menerapkan rencana pengingat respons adalah minimum. Selain itu, Anda harus menjelaskan relevansi survei kepada karyawan dan dampaknya pada organisasi berkat survei: misalnya kapan hasilnya dipublikasikan? apa tindakan potensial yang dilakukan oleh organisasi berdasarkan survei? mengapa setiap jawaban itu penting?

Setelah data dikumpulkan, non-respons adalah masalah yang harus ditangani. Berurusan dengan itu berarti Anda harus terlebih dahulu menganalisis perilaku non-respons untuk mendeteksi pola potensial: apakah bos tidak merespons? Apakah departemen tertentu tidak merespons sama sekali? Kemudian mengadopsi strategi yang diperlukan (post-strafification, reweighting, imputasi, dll.).

Saya memperluas jawaban @ICannotFixThis dengan sebuah contoh tentang bagaimana keempat faktor tersebut berpengaruh:

1. Ukuran efeknya
2. Standar deviasi dari karakteristik
3. Ukuran sampel lebih besar
4. Tingkat signifikansi yang diinginkan

Bagaimana faktor-faktor ini mempengaruhi hasil Anda akan tergantung pada statistik yang Anda gunakan. Misalnya, jika Anda ingin menebak rata-rata beberapa variabel, Anda dapat menggunakan Tes T Siswa .

Anggap Anda ingin mengetahui ketinggian rata-rata karyawan Anda dengan survei ini. Anda sebenarnya tidak tahu standar deviasi ketinggian semua karyawan di perusahaan Anda (tanpa mengukur semua orang) tetapi Anda bisa melakukan riset dan menebak 3 inci (kira-kira standar deviasi tinggi untuk pria di AS).

Jika Anda mensurvei hanya 5 orang maka 95% dari waktu tinggi rata-rata yang Anda amati dalam survei Anda akan berada dalam 3,72 inci dari tinggi rata-rata sebenarnya.

Sekarang, bagaimana faktor kami memengaruhi ini:

1. Jika Anda perlu mengetahui tinggi rata-rata dengan sangat tepat (mis. Ukuran efeknya sangat kecil) maka Anda akan membutuhkan # sampel dalam jumlah besar. Misalnya, untuk mengetahui tinggi rata-rata sebenarnya dalam 2,66 inci, Anda perlu mensurvei 100 orang.

2. Jika standar deviasi besar, maka ketelitian yang Anda dapatkan akan terbatas. Jika standar deviasi adalah 6 inci, bukan 3 inci dan Anda masih memiliki 5 respons, Anda hanya akan tahu dalam 7,44 inci, bukannya 3,72 inci, tinggi rata-rata sebenarnya.

3. Melewati titik ini karena ini adalah fokus dari seluruh diskusi.

4. Jika Anda benar-benar perlu memastikan bahwa Anda memiliki jawaban yang benar maka Anda perlu mensurvei lebih banyak orang. Dalam contoh kami, kami melihat bahwa dengan 5 respons, kami bisa mencapai 3,72 inci 95% dari waktu. Jika kita ingin memastikan jawaban kita berada di kisaran yang benar 99% dari waktu maka rentang kita akan menjadi 6,17 inci dan bukan 3,72 inci.