Interval kepercayaan vs ukuran sampel?

Saya benar-benar baru dalam statistik dan bidang interval kepercayaan. Jadi ini mungkin sangat sepele atau bahkan terdengar bodoh. Saya akan sangat menghargai jika Anda dapat membantu saya memahami atau mengarahkan saya ke beberapa literatur / teks / blog yang menjelaskan hal ini dengan lebih baik.

Saya melihat di berbagai situs berita seperti CNN, berita Fox, Politico dll tentang jajak pendapat mereka mengenai pemilihan Presiden AS 2012. Setiap lembaga melakukan beberapa jajak pendapat dan melaporkan beberapa statistik dari formulir:

CNN: Popularitas Obama adalah X% dengan margin kesalahan +/- x1%. Ukuran sampel 600. FOX: Popularitas Obama adalah Y% dengan margin kesalahan +/- y1%. Ukuran sampel 800. XYZ: Popularitas Obama adalah Z% dengan margin kesalahan +/- z1%. Ukuran sampel 300.

Inilah keraguan saya:

1. Bagaimana saya memutuskan yang mana yang akan dipercaya? Haruskah itu didasarkan pada interval kepercayaan, atau haruskah saya berasumsi bahwa karena Fox memiliki ukuran sampel yang lebih besar, perkiraannya lebih dapat diandalkan? Apakah ada hubungan implisit antara kepercayaan dan ukuran sampel sehingga menentukan satu meniadakan kebutuhan untuk menentukan yang lain?

2. Bisakah saya menentukan standar deviasi dari interval kepercayaan? Jika demikian, apakah valid selalu atau hanya valid untuk distribusi tertentu (seperti Gaussian)?

3. Adakah cara saya bisa "menggabungkan" atau "menggabungkan" ketiga estimasi di atas dan mendapatkan estimasi saya sendiri bersama dengan interval kepercayaan? Berapa ukuran sampel yang harus saya klaim dalam kasus itu?

Saya telah menyebutkan CNN / Fox hanya untuk lebih menjelaskan contoh saya. Saya tidak punya niat untuk memulai debat Demokrat vs Republikan di sini.

Tolong bantu saya memahami masalah yang saya angkat.

Selain jawaban Peter yang hebat, berikut adalah beberapa jawaban untuk pertanyaan spesifik Anda:

1. Siapa yang akan dipercayai juga tergantung pada siapa yang melakukan polling dan upaya apa yang mereka lakukan untuk mendapatkan polling berkualitas baik. Ukuran sampel yang lebih besar tidak lebih baik jika sampel tidak representatif, mengambil jajak pendapat besar, tetapi hanya dalam satu, kondisi non-swing tidak akan memberikan hasil yang sangat baik.

   Ada hubungan antara ukuran sampel dan lebar interval kepercayaan, tetapi hal-hal lain juga mempengaruhi lebar, seperti seberapa dekat persentasenya dengan 0, 1, atau 0,5; penyesuaian bias apa yang digunakan, bagaimana sampel diambil (pengelompokan, stratifikasi, dll.). Aturan umum adalah bahwa lebar interval kepercayaan akan sebanding dengan , jadi untuk membagi dua interval Anda perlu 4 kali ukuran sampel.$\frac{1}{\sqrt{n}}$

2. Jika Anda cukup tahu tentang bagaimana sampel dikumpulkan dan formula apa yang digunakan untuk menghitung interval maka Anda dapat menyelesaikan untuk deviasi standar (Anda juga perlu mengetahui tingkat kepercayaan yang digunakan, biasanya 0,05). Tetapi formula ini berbeda untuk sampel bertingkat vs cluster. Juga sebagian besar jajak pendapat melihat persentase, jadi akan menggunakan distribusi binomial.

3. Ada beberapa cara untuk menggabungkan informasi, tetapi Anda umumnya perlu mengetahui sesuatu tentang bagaimana sampel dikumpulkan, atau bersedia membuat beberapa bentuk asumsi tentang bagaimana interval dibangun. Pendekatan Bayesian adalah satu cara.

Ini adalah topik besar, tetapi pada dasarnya ada dua masalah:

1) Presisi - ini ditentukan oleh ukuran sampel. Sampel yang lebih besar memberikan perkiraan yang lebih tepat dengan kesalahan standar yang lebih rendah dan interval kepercayaan yang lebih ketat

2) Bias - yang, dalam statistik, tidak selalu memiliki konotasi negatif seperti di tempat lain. Dalam jajak pendapat, mereka mencoba untuk mendapatkan sampel acak XXXX (kadang-kadang pemilih kemungkinan, kadang pemilih terdaftar). Tetapi, mereka tidak melakukannya. Beberapa jajak pendapat hanya menggunakan garis tanah. Kelompok orang yang berbeda cenderung menjawab. Kelompok yang berbeda lebih atau kurang cenderung untuk menutup telepon.

Jadi, semua lembaga survei mempertimbangkan tanggapan mereka. Artinya, mereka mencoba menyesuaikan hasil mereka untuk mencocokkan fakta yang diketahui tentang pemilih. Tetapi mereka semua melakukannya sedikit berbeda. Jadi, bahkan dengan input data polling yang sama, mereka akan memberikan angka yang berbeda.

Siapa yang harus dipercaya? Nah, jika Anda melihat karya Nate Silver pada 538, ia memiliki peringkat seberapa akurat jajak pendapat dalam pemilihan sebelumnya. Tapi itu tidak berarti mereka akan sama akuratnya sekarang.

Ini termasuk dalam area sampling survei. Pada prinsipnya metode ini bekerja karena pengacakan digunakan. Berikut adalah hal-hal yang dapat berbeda dalam jajak pendapat berdasarkan keputusan subyektif.

1. Bingkai pengambilan sampel. Dari kelompok pemilih manakah saya harus mengambil sampel?

2. Bagaimana cara saya menangani volatilitas pemilih yang tidak dapat memutuskan yang dapat mengubah pendapatnya tentang Obama vs Romney berdasarkan jajak pendapat kemarin atau minggu-minggu mendatang?

3. Peter menyentuh bias. Jajak pendapat intisari sastra tahun 1936 adalah bencana. Ini memilih kandidat Republik dari FDR karena kerangka pengambilan sampel didasarkan pada pemilihan acak nomor telepon. Pada tahun 1936 hanya kelas menengah ke atas dan orang kaya yang memiliki telepon. Kelompok itu didominasi oleh Partai Republik yang cenderung memilih kandidat Partai Republik. Roosevelt dimenangkan oleh tanah longsor yang mendapatkan suaranya dari yang miskin dan kelas menengah yang cenderung sangat banyak dari kelompok Demokrat! Itu menggambarkan bias karena pilihan kerangka sampling yang buruk.

4. Survei pengambilan sampel berkaitan dengan populasi terbatas. Ukuran populasi adalah N. Katakanlah sampel acak sederhana diambil dari populasi itu dan memiliki ukuran n. Untuk kesederhanaan anggaplah hanya Obama dan Romney yang berjalan. Proporsi suara yang Obama dapatkan untuk kerangka pengambilan sampel ini adalah rata-rata variabel biner (katakan 1 jika responden memilih Obama dan 0 untuk Romney). Varian dari mean sampel untuk variabel ini adalah [p (1-p) / n] [Nn] / N di mana p adalah proporsi populasi sebenarnya yang akan memilih Obama. [Nn] / N adalah koreksi populasi terbatas. dalam kebanyakan jajak pendapat, N jauh lebih besar dari N dan yang benar dapat diabaikan. Melihat p (1-p) / n kita melihat varians turun dengan n. Jadi, jika n besar interval kepercayaan pada tingkat kepercayaan tertentu akan menjadi kecil.

Petugas survei sampler dan ahli statistik survei lainnya di Biro Sensus AS semuanya memiliki alat statistik ini dan mereka melakukan metode yang lebih kompleks dan akurat (sampel acak cluster dan stratified random sampling untuk menyebutkan beberapa metode).

Ketika asumsi pemodelan mereka valid, metode ini bekerja dengan sangat baik. Keluar dari polling adalah contoh utama. Pada hari pemilihan Anda akan melihat jaringan yang secara akurat memproyeksikan pemenang di hampir setiap negara jauh sebelum penghitungan akhir. Itu karena variabilitas hari pemilihan telah hilang. Mereka tahu secara historis bagaimana orang cenderung memilih dan mereka dapat menentukan daerah yang dipilih dengan cara yang menghindari bias. Jaringan kadang berbeda. Ini bisa disebabkan oleh kompetisi untuk memilih pemenang di depan mental orang lain. Dalam kasus yang jarang juga bisa terjadi karena pemungutan suara sangat dekat (misalnya Pemilihan Presiden 2000 di Florida).

Saya harap ini memberi Anda gambaran yang lebih jelas tentang apa yang terjadi. Kita tidak lagi melihat kesalahan besar seperti "Dewey mengalahkan Truman" pada tahun 1948 atau kegagalan Literary Digest tahun 1936. Tetapi statistik tidak sempurna dan ahli statistik tidak pernah bisa mengatakan bahwa mereka yakin.