Mengapa 600 dari 1000 lebih meyakinkan dari 6 dari 10?

Lihatlah kutipan ini dari "Buku pegangan keterampilan belajar", Palgrave, 2012, oleh Stella Cottrell, halaman 155:

Persentase Perhatikan kapan persentase diberikan.
Misalkan, pernyataan di atas berbunyi:

60% orang lebih suka jeruk; 40% mengatakan mereka lebih suka apel.

Ini terlihat meyakinkan: Jumlah numerik diberikan. Tetapi apakah perbedaan antara 60% dan 40% signifikan ? Di sini kita perlu tahu berapa banyak orang yang ditanya. Jika 1000 orang ditanya tentang 600 jeruk yang disukai, jumlahnya akan meyakinkan. Namun, jika hanya 10 orang yang ditanya, 60% berarti 6 orang lebih suka jeruk. "60%" terdengar meyakinkan dengan cara yang "6 dari 10" tidak. Sebagai pembaca yang kritis, Anda harus mencari persentase yang digunakan untuk membuat data yang tidak mencukupi terlihat mengesankan.

Apa yang disebut karakteristik ini dalam statistik? Saya ingin membaca lebih lanjut tentang itu.

Saya ingin mendaftar contoh intuitif lain.

Misalkan saya katakan, saya dapat memprediksi hasil dari setiap koin flip. Anda tidak percaya dan ingin menguji kemampuan saya.

Anda menguji 5 kali, dan saya benar semuanya. Apakah Anda percaya saya memiliki kemampuan khusus? Mungkin tidak. Karena saya bisa memperbaiki semuanya secara kebetulan. (Secara khusus, anggap koin itu koin yang adil, dan setiap percobaan independen, maka saya bisa mendapatkan semua hak dengan tanpa kekuatan super. Lihat tautan Shufflepants untuk lelucon tentang hal itu).$0.5^5\approx0.03$

Di sisi lain, jika Anda menguji saya dalam jumlah besar, maka sangat tidak mungkin saya bisa mendapatkannya secara kebetulan. Misalnya, jika Anda menguji kali, probabilitas saya untuk mendapatkan semuanya benar adalah 0,5 100 ≈ 0 .$100$$0.5^{100}\approx 0$

Konsep statistik disebut kekuatan statistik, dari Wikipeida

Kekuatan tes hipotesis biner adalah probabilitas bahwa tes tersebut dengan benar menolak hipotesis nol (H0) ketika hipotesis alternatif (H1) benar.

Kembali ke kekuatan super pada contoh flip koin, pada dasarnya Anda ingin menjalankan pengujian hipotesis.

• Hipotesis nol (H0): Saya tidak memiliki kekuatan super
• Hipotesis alternatif (H1): Saya memiliki kekuatan super

Sekarang seperti yang Anda lihat dalam contoh numerik (uji saya 5 kali vs uji saya 100 kali), kekuatan statistik telah dipengaruhi oleh ukuran sampel.

Lebih banyak untuk dibaca di sini . (lebih teknis dan berdasarkan uji-t).

Alat interaktif untuk memahami kekuatan statistik dapat ditemukan di sini . Catatan, kekuatan statistik berubah dengan ukuran sampel!

Pikirkan dalam hal proporsi. Katakanlah memilih jeruk itu sukses, sedangkan apel lebih suka gagal. Jadi, tingkat keberhasilan rata-rata Anda adalah keberhasilan$\mu = \frac{\text{# of sucesses}}{n}$

$\sqrt{\frac{\mu(1-\mu)}{n}}$$\approx .155$$\approx .0155$

Konsep ini merupakan konsekuensi dari hukum jumlah besar . Dari Wikipedia ,

Menurut hukum, rata-rata hasil yang diperoleh dari sejumlah besar uji coba harus dekat dengan nilai yang diharapkan, dan akan cenderung menjadi lebih dekat karena lebih banyak uji coba dilakukan.

Hasil dari sampel kecil mungkin lebih jauh dari nilai yang diharapkan daripada dari sampel yang lebih besar. Jadi, seperti yang dinyatakan dalam pertanyaan, seseorang harus berhati-hati terhadap hasil yang dihitung dari sampel kecil. Idenya juga dijelaskan dengan cukup baik di video YouTube ini .

Kami berada dalam situasi memperkirakan jumlah populasi dengan jumlah sampel. Dalam hal ini, kami menggunakan proporsi sampel untuk memperkirakan proporsi populasi, tetapi prinsipnya jauh lebih umum.

$1$$0$$1$$0$$1$

Ketika kita mengambil sampel yang lebih besar dan lebih besar (menggunakan random sampling), mean sampel akan cenderung menyatu dengan rata-rata populasi. (Ini adalah hukum jumlah besar.)

Namun apa yang kita benar-benar ingin tahu adalah seberapa jauh kita mungkin (seperti mungkin diwakili oleh lebar interval kepercayaan untuk proporsi, atau dengan margin kesalahan, yang biasanya setengah dari lebar seperti itu) .

$\frac{_1}{^{20}}$

$\frac{_1}{^\sqrt{n}}$

Sebagai hasilnya, kami lebih yakin tentang keakuratan estimasi kami ketika sampel besar - jika kami mengulangi percobaan kami lagi, cara lain seperti itu akan dekat dengan yang sekarang - mereka mengelompok bersama semakin erat, karena (dalam hal ini) perkiraan kami tidak bias, mereka mengelompokkan bersama di sekitar nilai yang kami coba perkirakan. Rata-rata sampel tunggal menjadi semakin informatif tentang di mana rata-rata populasi mungkin.

Aturan praktis untuk "menghitung" statistik, seperti menghitung jumlah orang yang suka jeruk, atau menghitung jumlah "klik" di penghitung Geiger karena peluruhan radioaktif, adalah bahwa margin kesalahan untuk penghitungan kira-kira sama dengan kuadrat -root dari nilai hitungan yang diharapkan. Statistik penghitungan yang diketahui adalah statistik Poisson.

Root kuadrat dari 6 adalah 2,4-ish, jadi margin of error adalah sekitar 40% (2.4 / 6). Root kuadrat dari 600 adalah 24-ish, jadi margin of error adalah sekitar 4% (24/600). Itu sebabnya setelah menghitung 600 lebih signifikan daripada menghitung 6. Kesalahan relatif adalah sepersepuluh.

Saya sedikit ceroboh tentang definisi margin of error. Ini benar-benar nilai 1-sigma, dan bukan cut-off yang sulit, tetapi itu adalah kisaran di mana Anda berharap sebagian besar (68%) pengukuran berada. Jadi jika Anda mengharapkan 6 pemakan oranye, Anda akan mengharapkan serangkaian jajak pendapat untuk memberi Anda sebagian besar angka dalam kisaran 4 hingga 8, seperti 6,6,5,6,7,2,4,6,3,5,6, 6,7,6,10,8,6,5,6,6,9,3,7,8.

Saya tidak memiliki nama yang Anda cari, tetapi masalahnya bukan statistik. Secara psikologis, cara manusia memproses angka dalam otak kita memberikan bobot (otoritas) yang lebih besar pada angka yang lebih besar daripada yang terjadi pada angka yang lebih kecil karena besarnya (ukuran fisik) secara visual sama pentingnya dengan nilai yang representatif. Dengan demikian, 600/1000 tampak lebih kredibel daripada 6/10. Inilah sebabnya mengapa pembeli lebih suka melihat "Diskon 10%!" untuk nilai kurang dari 100 dan "Hemat $ 10!" untuk nilai di atas 100 (disebut "Aturan 100"). Ini tentang bagaimana otak kita bereaksi terhadap persepsi.

Pandangan yang menakjubkan tentang fenomena serupa ini didiskusikan oleh Nick Kolenda dalam risalah online-nya, " Sebuah Panduan Besar untuk Psikologi Harga ".

Sementara margin of error yang sebenarnya adalah penting, alasan itu terdengar lebih meyakinkan adalah karena pengalaman yang lebih heuristik (aturan praktis) dengan orang-orang. Margin kesalahan aktual menegaskan heuristik ini pantas.

Jika sampel 6 untuk, dan 4 menentang, ini bisa menjadi 50/50 jika satu orang mengubah suara mereka, atau satu orang dicatat dalam kesalahan. Hanya ada dua orang lagi di sisi 6. Semua orang tahu dua serpihan, semua orang tahu sampel bisa dipilih: Anda hanya meminta pelayan dan tidak ada yang lain. Atau Anda hanya mengumpulkan 10 profesor perguruan tinggi di aula universitas. Atau Anda bertanya kepada 10 orang kaya di luar Saks Fifth Avenue.

Bahkan margin kesalahan matematika mengandaikan keacakan yang sebenarnya dan tidak memperhitungkan bias seleksi, atau bias seleksi sendiri, atau apa pun, orang secara intuitif dapat memahaminya.

Sebaliknya, hasil 600 vs 400 memiliki 200 lebih banyak orang di satu sisi daripada yang lain, dan 100 orang harus berubah pikiran. Angka-angka itu sangat sulit didapat (tetapi bukan tidak mungkin) oleh suatu kecelakaan di mana Anda memberikan suara, bagaimana Anda membuat orang setuju, bagaimana individu memahami atau menafsirkan pertanyaan, dll.

Ini lebih meyakinkan bukan karena bukti matematis yang seharusnya, tetapi karena kita tahu dari pengalaman bahwa kerumunan 1000 lebih cenderung beragam dalam pendapat mereka (pada apa pun) daripada kelompok 10. (kecuali Anda diam-diam melakukannya pemungutan suara Anda di konvensi partai politik atau rapat umum KKK atau yang lainnya akan menarik perhatian banyak pihak).

Matematika hanya secara tepat mengukur apa yang sudah kita ketahui dengan intuisi; bahwa lebih mudah untuk secara acak menemukan satu atau dua suara menyimpang dari 10, daripada secara acak menemukan 100 atau 200 suara menyimpang dari 1000.

Sesuatu yang belum disebutkan adalah untuk melihat masalah dari sudut pandang Bayesian.

$p$$p$

$\beta=\alpha$$\beta=\alpha=1$$p$$\mathrm{U}(0,1)$

$n$$n_o$$n_a=n-n_o$

$p$

$p$$n_o/(n_o+n_a)$$n$

$n_o=6$$n_a=4$

$n_o=600$$n_a=400$

$p=0.4$$p=0.8$

Harap dicatat bahwa meskipun plot ini terlihat mirip dengan david25272, plot ini mewakili sesuatu yang sangat berbeda .

$p$$n_o$

$n_o$$p$

Jawaban singkatnya:

Pada dasarnya itu lebih meyakinkan untuk memiliki 600 dari 1000 dari enam dari 10 karena, dengan preferensi yang sama itu jauh lebih mungkin untuk 6 dari 10 terjadi secara kebetulan.

Mari kita membuat asumsi - bahwa proporsi yang lebih suka jeruk dan apel sebenarnya sama (masing-masing, 50%). Sebut ini hipotesis nol. Dengan probabilitas yang sama ini, kemungkinan kedua hasil tersebut adalah:

• Diberikan sampel 10 orang, ada peluang 38% untuk secara acak mendapatkan sampel 6 orang atau lebih yang lebih suka jeruk (yang bukan tidak mungkin).
• Dengan sampel 1000 orang, ada kurang dari 1 dalam satu miliar peluang memiliki 600 atau lebih dari 1000 orang lebih suka jeruk.

(Untuk kesederhanaan saya mengasumsikan populasi yang tak terbatas dari mana untuk mengambil sampel dalam jumlah tak terbatas).

Derivasi sederhana

Salah satu cara untuk mendapatkan hasil ini adalah dengan hanya mendaftar cara-cara potensial di mana orang dapat menggabungkan dalam sampel kami:

Untuk sepuluh orang itu mudah:

Pertimbangkan untuk mengambil sampel 10 orang secara acak dari populasi orang tak terbatas dengan preferensi yang sama untuk apel atau jeruk. Dengan preferensi yang sama, mudah untuk mendaftar semua kombinasi potensial 10 orang:

Berikut daftar lengkapnya.

r   C (n=10)    p
10  1       0.09766%
9   10      0.97656%
8   45      4.39453%
7   120     11.71875%
6   210     20.50781%
5   252     24.60938%
4   210     20.50781%
3   120     11.71875%
2   45      4.39453%
1   10      0.97656%
0   1       0.09766%
    1024    100%

r adalah jumlah hasil (orang yang lebih suka jeruk), C adalah jumlah cara yang memungkinkan banyak orang lebih suka jeruk, dan p adalah probabilitas terpisah yang dihasilkan dari banyak orang lebih suka jeruk dalam sampel kami.

(p hanya C dibagi dengan jumlah total kombinasi. Perhatikan bahwa ada 1024 cara mengatur dua preferensi ini secara total (yaitu 2 pangkat 10).

• Misalnya hanya ada satu cara (satu sampel) untuk 10 orang (r = 10) untuk semua lebih suka jeruk. Hal yang sama berlaku untuk semua orang yang lebih suka apel (r = 0).
• Ada 10 kombinasi berbeda yang menghasilkan sembilan dari mereka lebih suka jeruk. (Satu orang berbeda lebih suka apel di setiap sampel).
• Ada 45 sampel (kombinasi) di mana 2 orang lebih suka apel, dll, dll.

(Dalam kita bicara umum tentang n C r kombinasi dari hasil r dari sampel n orang. Ada kalkulator online dapat Anda gunakan untuk memverifikasi nomor ini.)

Daftar ini memungkinkan kami memberi kami probabilitas di atas menggunakan pembagian yang adil. Ada kemungkinan 21% untuk mendapatkan 6 orang dalam sampel yang lebih suka jeruk (210 dari 1024 kombinasi). Peluang mendapatkan enam orang atau lebih dalam sampel kami adalah 38% (jumlah semua sampel dengan enam orang atau lebih, atau 386 dari 1024 kombinasi).

Secara grafis, probabilitasnya terlihat seperti ini:

Dengan jumlah yang lebih besar, jumlah kombinasi potensial tumbuh dengan cepat.

Untuk sampel hanya 20 orang ada 1.048.576 sampel yang mungkin, semua dengan kemungkinan yang sama. (Catatan: Saya hanya menunjukkan setiap kombinasi kedua di bawah).

r    C (n=20)   p
20   1          0.00010%
18   190        0.01812%
16   4,845      0.46206%
14   38,760     3.69644%
12   125,970    12.01344%
10   184,756    17.61971%
8    125,970    12.01344%
6    38,760     3.69644%
4    4,845      0.46206%
2    190        0.01812%
0    1          0.00010%
     1,048,576  100%

Masih ada satu sampel di mana semua 20 orang lebih suka jeruk. Kombinasi yang menampilkan hasil campuran jauh lebih mungkin, hanya karena ada banyak lagi cara orang-orang dalam sampel dapat digabungkan.

Sampel yang bias jauh lebih tidak mungkin, hanya karena ada lebih sedikit kombinasi orang yang dapat menghasilkan sampel tersebut:

Dengan hanya 20 orang di setiap sampel, probabilitas kumulatif untuk memiliki 60% atau lebih (12 atau lebih) orang dalam sampel kami lebih memilih jeruk turun menjadi hanya 25%.

Distribusi probabilitas dapat dilihat menjadi lebih tipis dan lebih tinggi:

Dengan 1000 orang jumlahnya sangat besar

Kita dapat memperluas contoh di atas untuk sampel yang lebih besar (tetapi jumlahnya tumbuh terlalu cepat untuk layak untuk mendaftar semua kombinasi), sebagai gantinya saya telah menghitung probabilitas dalam R:

r   p (n=1000)
1000    9.332636e-302
900     5.958936e-162
800     6.175551e-86
700     5.065988e-38
600     4.633908e-11
500     0.02522502
400     4.633908e-11
300     5.065988e-38
200     6.175551e-86
100     5.958936e-162
0       9.332636e-302

Peluang kumulatif untuk memiliki 600 orang atau lebih dari 1000 orang lebih suka jeruk hanya 1,364232e-10.

Distribusi probabilitas sekarang jauh lebih terkonsentrasi di sekitar pusat:

[

(Misalnya untuk menghitung probabilitas tepat 600 dari 1000 orang lebih memilih jeruk dalam penggunaan R dbinom(600, 1000, prob=0.5)yang sama dengan 4,633908e-11, dan probabilitas 600 atau lebih banyak orang 1-pbinom(599, 1000, prob=0.5), yang sama dengan 1,364232e-10 (kurang dari 1 dalam satu miliar).

Ini karena angka yang lebih tinggi memastikan akurasi yang lebih besar. Misalnya, jika Anda akan mengambil 1000 orang acak dari mana saja di planet ini dan 599 di antaranya adalah pria melawan 10 orang acak dengan 6 pria, yang pertama akan lebih akurat. Demikian pula, jika Anda mengasumsikan populasi 7 miliar dan menghitung jumlah laki-laki, Anda akan mendapatkan jumlah yang lebih tepat yang jelas akan lebih meyakinkan daripada hanya dengan 1000 orang.