Artikel tentang penyalahgunaan metode statistik di NYTimes

Saya merujuk pada artikel ini: http://www.nytimes.com/2011/01/11/science/11esp.html

Pertimbangkan eksperimen berikut. Misalkan ada alasan untuk percaya bahwa koin sedikit berbobot ke kepala. Dalam sebuah tes, koin muncul kepala 527 kali dari 1.000.

Apakah ini bukti penting bahwa koin itu tertimbang?

Analisis klasik mengatakan ya. Dengan koin yang adil, peluang mendapatkan 527 atau lebih head dalam 1.000 flips kurang dari 1 in 20, atau 5 persen, cutoff konvensional. Dengan kata lain: percobaan menemukan bukti koin tertimbang "dengan kepercayaan 95 persen."

Namun banyak ahli statistik tidak membelinya. Satu dari 20 adalah kemungkinan mendapatkan jumlah kepala di atas 526 dalam 1.000 lemparan. Artinya, itu adalah jumlah dari probabilitas membalik 527, probabilitas membalik 528, 529 dan seterusnya.

Tetapi percobaan tidak menemukan semua angka dalam rentang itu; hanya ditemukan satu - 527. Dengan demikian lebih akurat, kata para ahli ini, untuk menghitung probabilitas mendapatkan satu angka - 527 - jika koin ditimbang, dan membandingkannya dengan probabilitas mendapatkan nomor yang sama jika koin itu adil.

Ahli statistik dapat menunjukkan bahwa rasio ini tidak boleh lebih tinggi dari sekitar 4 banding 1, menurut Paul Speckman, seorang ahli statistik, yang, dengan Jeff Rouder, seorang psikolog, memberikan contoh.

Pertanyaan pertama: Ini baru bagi saya. Adakah yang punya referensi di mana saya dapat menemukan perhitungan yang tepat dan / atau dapatkah ANDA membantu saya dengan memberi saya perhitungan yang tepat sendiri dan / atau dapatkah Anda mengarahkan saya ke beberapa materi di mana saya dapat menemukan contoh serupa?

Bayes menemukan cara untuk memperbarui probabilitas untuk hipotesis ketika bukti baru masuk.

Jadi dalam mengevaluasi kekuatan dari temuan yang diberikan, analisis Bayesian (diucapkan BAYZ-ee-un) menggabungkan probabilitas yang diketahui, jika tersedia, dari luar penelitian.

Mungkin disebut efek "Ya, benar". Jika sebuah penelitian menemukan bahwa kumquat mengurangi risiko penyakit jantung hingga 90 persen, bahwa pengobatan menyembuhkan kecanduan alkohol dalam seminggu, bahwa orang tua yang sensitif dua kali lebih mungkin melahirkan anak perempuan daripada anak laki-laki, tanggapan Bayesian cocok dengan skeptis asli: Ya, benar. Temuan penelitian ditimbang terhadap apa yang dapat diamati di dunia.

Dalam setidaknya satu bidang kedokteran - tes skrining diagnostik - para peneliti sudah menggunakan probabilitas yang diketahui untuk mengevaluasi temuan baru. Misalnya, tes pendeteksi kebohongan baru mungkin 90 persen akurat, dengan benar menandai 9 dari 10 pembohong. Tetapi jika itu diberikan kepada populasi 100 orang yang sudah diketahui termasuk 10 pembohong, tes ini jauh kurang mengesankan.

Itu mengidentifikasi dengan benar 9 dari 10 pembohong dan meleset satu; tetapi salah mengidentifikasi 9 dari 90 lainnya sebagai kebohongan. Membagi apa yang disebut true positive (9) dengan jumlah total orang yang ditandai oleh tes (18) memberikan tingkat akurasi 50 persen. “Positif palsu” dan “negatif palsu” bergantung pada tingkat yang diketahui dalam populasi.

Pertanyaan kedua: Bagaimana Anda menilai secara tepat apakah temuan baru itu "nyata" atau tidak dengan metode ini? Dan: Bukankah ini sewenang-wenang seperti 5% -barrier karena penggunaan beberapa probabilitas yang telah ditetapkan sebelumnya?

Saya akan menjawab pertanyaan pertama secara rinci.

Dengan koin yang adil, peluang mendapatkan 527 atau lebih head dalam 1.000 flips kurang dari 1 dalam 20, atau 5 persen, cutoff konvensional.

$n=1000$$p=1/2$

$$P(B(1000,1/2)>=527)$$

Ini dapat dihitung dengan paket perangkat lunak statistik apa pun. R memberi kita

> pbinom(526,1000,1/2,lower.tail=FALSE)
   0.04684365

Jadi probabilitas bahwa dengan koin yang adil kita akan mendapatkan lebih dari 526 kepala adalah sekitar 0,047, yang mendekati cuttoff 5% yang disebutkan dalam artikel.

Pernyataan berikut

Dengan kata lain: percobaan menemukan bukti koin tertimbang "dengan kepercayaan 95 persen."

masih bisa diperdebatkan. Saya akan enggan mengatakannya, karena kepercayaan 95% dapat ditafsirkan dalam beberapa cara.

Selanjutnya kita beralih ke

Tetapi percobaan tidak menemukan semua angka dalam rentang itu; hanya ditemukan satu - 527. Dengan demikian lebih akurat, kata para ahli ini, untuk menghitung probabilitas mendapatkan satu angka - 527 - jika koin ditimbang, dan membandingkannya dengan probabilitas mendapatkan nomor yang sama jika koin itu adil.

$B(1000,1/2)=527$$B(1000,p)=527$

$$\frac{P(B(1000,p)=527)}{P(B(1000,1/2)=527)}=\frac{p^{527}(1-p)^{473}}{(1/2)^{1000}}.$$

$p$

Ahli statistik dapat menunjukkan bahwa rasio ini tidak boleh lebih tinggi dari sekitar 4 banding 1, menurut Paul Speckman, seorang ahli statistik, yang, dengan Jeff Rouder, seorang psikolog, memberikan contoh.

$p$

$$p=\frac{527}{1000}.$$

Kita dapat memeriksa apakah itu benar-benar maksimal menggunakan tes turunan kedua misalnya. Menggantinya dengan formula yang kita dapatkan

$$\frac{(527/1000)^{527}(473/1000)^{473}}{(1/2)^{1000}}\approx 4.3$$

Jadi rasionya adalah 4.3 banding 1, yang setuju dengan artikel tersebut.