Asal “5

Laporan berita mengatakan bahwa CERN akan mengumumkan besok bahwa boson Higgs telah secara eksperimental terdeteksi dengan 5 $\sigma$ bukti. Menurut artikel itu:

5 $\sigma$ setara dengan 99.99994% peluang bahwa data yang dilihat oleh detektor CMS dan ATLAS bukan hanya derau acak - dan peluang 0,00006% bahwa mereka telah ditipu; 5 $\sigma$ adalah kepastian yang diperlukan untuk sesuatu yang secara resmi diberi label "penemuan" ilmiah.

Ini tidak super ketat, tetapi tampaknya mengatakan bahwa fisikawan menggunakan metodologi statistik "pengujian hipotesis" standar, pengaturan $\alpha$ menjadi $0.0000006$ , yang sesuai dengan $z=5$ (dua sisi)? Atau adakah arti lain?

Dalam banyak ilmu pengetahuan, tentu saja, pengaturan alpha ke 0,05 dilakukan secara rutin. Ini akan setara dengan bukti "dua $\sigma$ ", meskipun saya belum pernah mendengarnya disebut demikian. Apakah ada bidang lain (selain fisika partikel) di mana definisi alfa yang jauh lebih ketat adalah standar? Adakah yang tahu referensi tentang bagaimana aturan lima $\sigma$ diterima oleh fisika partikel?

Pembaruan: Saya mengajukan pertanyaan ini karena alasan sederhana. Buku saya Intuitif Biostatistik (seperti kebanyakan buku statistik) memiliki bagian yang menjelaskan bagaimana sewenang-wenang aturan "P <0,05" yang biasa. Saya ingin menambahkan contoh bidang ilmiah ini di mana nilai jauh lebih kecil $\alpha$dianggap perlu. Tetapi jika contohnya sebenarnya lebih rumit, dengan menggunakan metode Bayesian (seperti beberapa komentar di bawah ini sarankan), maka itu tidak akan terlalu tepat atau akan membutuhkan banyak penjelasan lebih lanjut.

Di sebagian besar aplikasi statistik ada yang berangan tua tentang 'semua model salah, ada yang berguna'. Karena itu, kami hanya akan mengharapkan model untuk tampil pada tingkat tertentu karena kami menggambarkan beberapa proses yang sangat rumit menggunakan beberapa model sederhana.

Fisika sangat berbeda, jadi intuisi yang dikembangkan dari model statistik tidak begitu tepat. Dalam Fisika, khususnya fisika partikel yang berhubungan langsung dengan hukum-hukum fisika fundamental, model tersebut seharusnya merupakan deskripsi yang tepat dari kenyataan. Setiap penyimpangan dari apa yang diprediksi oleh model harus sepenuhnya dijelaskan oleh kebisingan eksperimental, bukan batasan dari model. Ini berarti bahwa jika modelnya baik dan benar dan peralatan eksperimental memahami signifikansi statistik harus sangat tinggi, maka bilah tinggi yang ditetapkan.

Alasan lainnya adalah historis, komunitas fisika partikel telah dibakar di masa lalu oleh 'penemuan' pada tingkat signifikansi yang lebih rendah yang kemudian ditarik, oleh karena itu mereka umumnya lebih berhati-hati sekarang.

Sejarah dan asal

Menurut Robert D Cousins 1 dan Tommaso Dorigo 2 , asal usul ambang 5 σ terletak pada pekerjaan fisika partikel awal tahun 60-an ketika banyak histogram percobaan hamburan diselidiki dan dicari puncak / benjolan yang mungkin mengindikasikan beberapa partikel yang baru ditemukan. . Ambang adalah aturan kasar untuk menjelaskan beberapa perbandingan yang sedang dibuat.$^{1}$$^{2}$$5\sigma$

Kedua penulis merujuk pada artikel tahun 1968 dari Rosenfeld 3 , yang membahas pertanyaan apakah ada meson dan baryon yang jauh atau tidak, dimana beberapa 4 σ$^3$$4 \sigma$ efek diukur. Artikel itu menjawab pertanyaan negatif dengan menyatakan bahwa jumlah klaim yang diterbitkan sesuai dengan jumlah fluktuasi yang diperkirakan secara statistik. Seiring dengan beberapa perhitungan yang mendukung argumen ini, artikel ini mempromosikan penggunaan level $5\sigma$ :

Rosenfeld: "Sebelum kita melanjutkan survei jauh-out spektrum massa di mana benjolan telah dilaporkan di $(K\pi\pi)_{3/2},(\pi \rho)^{--}$ kita harus terlebih dahulu memutuskan apa ambang signifikansi permintaan pada tahun 1968. Saya ingin menunjukkan bahwa meskipun eksperimentalis mungkin harus diperhatikan $3\sigma$ -effects, teori dan fenomenologis akan lebih baik untuk menunggu sampai efek mencapai $>4\sigma$ ."

dan kemudian di koran (penekanan adalah milikku)

Rosenfeld: "Maka untuk mengulangi peringatan saya di awal bagian ini; kami menghasilkan setidaknya 100 000 potensi gundukan per tahun, dan akan mengharapkan beberapa fluktuasi $4\sigma$ dan ratusan $3\sigma$ . Apa implikasinya? Untuk ahli teori atau fenomenologis moral sederhana, tunggu $5\sigma$ efek σ . "

Tommaso tampaknya berhati-hati dalam menyatakan bahwa itu dimulai dengan artikel Rosenfeld

Tommaso: "Namun, kita harus mencatat bahwa artikel itu ditulis pada tahun 1968, tetapi kriteria ketat dari lima standar deviasi untuk klaim penemuan tidak diadopsi pada tahun tujuh puluhan dan delapan puluhan. Misalnya, tidak ada yang namanya kriteria lima sigma yang digunakan. untuk penemuan bos W dan Z, yang menghasilkan Hadiah Nobel dalam bidang fisika untuk Rubbia dan Van der Meer pada tahun 1984. "

Tetapi pada tahun 80-an penggunaan $5\sigma$ tersebar. Misalnya, astronom Steve Schneider 4 menyebutkan pada 1989 bahwa itu adalah sesuatu yang diajarkan (tekankan saya dalam kutipan di bawah):$^4$

Schneider: "Seringkali, 'tingkat kepercayaan' dari 95% atau 99% dikutip untuk data yang tampaknya berbeda, tetapi ini hanya berjumlah dua atau tiga sigma statistik. Saya diajari untuk tidak mempercayai apa pun yang kurang dari lima sigma , yang jika Anda pikirkan tentang itu adalah persyaratan ketat yang tidak masuk akal --- sesuatu seperti tingkat kepercayaan 99,9999% Tapi tentu saja, batas seperti itu digunakan karena ukuran sebenarnya dari sigma hampir tidak pernah diketahui .. Ada terlalu banyak variabel bebas dalam astronomi yang kita dapat dapat mengontrol atau tidak tahu tentang. "

$4\sigma$$5\sigma$$^5$ )

Franklin: Pada tahun 2003 kriteria 5-standar-deviasi untuk "pengamatan" tampaknya telah berlaku

...

Seorang anggota kolaborasi BaBar mengenang bahwa kali ini kriteria 5-sigma dikeluarkan sebagai pedoman oleh para editor Physical Review Letters.

Penggunaan modern

$5\sigma$$^6$$^7$

$Z = 5$$5\sigma$$2.87 \times 10^{−7}$

$5\sigma$

• $5\sigma$$3\sigma$$4\sigma$

• $5\sigma$

• $\sigma$$\sigma$$\sigma$$6\sigma$

• $5\sigma$

$5\sigma$${^{8,}}$$^9$$^{1}$$^{2}$

Bidang Lainnya

Sangat menarik untuk dicatat bahwa banyak bidang ilmiah lainnya tidak memiliki ambang yang sama atau tidak, entah bagaimana, menangani masalah ini. Saya membayangkan ini masuk akal dalam kasus percobaan dengan manusia di mana sangat mahal (atau tidak mungkin) untuk memperluas percobaan yang memberikan signifikansi 0,05 atau 0,01.

$^{10}$$^{11}$

1. Cousins, RD (2017). Paradoks Jeffreys-Lindley dan kriteria penemuan dalam fisika energi tinggi. Synthese, 194 (2), 395-432. tautan arxiv

2. Dorigo, T. (2013) Demystifying The Five-Sigma Criterion, dari science20.com 2019-03-07

3. Rosenfeld, AH (1968). Apakah ada meson atau baryon yang jauh? web-source: escholarship

4. Burbidge, G., Roberts, M., Schneider, S., Sharp, N., & Tifft, W. (1990, November). Diskusi panel: Masalah terkait pergeseran merah. Dalam Publikasi Konferensi NASA (Vol. 3098, hlm. 462). tautan ke fotokopi di harvard.edu

5. Franklin, A. (2013). Pergeseran standar: Eksperimen dalam fisika partikel di abad kedua puluh. University of Pittsburgh Press.

6. Apa arti dari 5 sigma? dari physics.org 2019-03-07

7. Beringer, J., Arguin, JF, Barnett, RM, Copic, K., Dahl, O., Groom, DE, ... & Yao, WM (2012). Ulasan fisika partikel. Tinjauan Fisik Partikel-D, Bidang, Gravitasi dan Kosmologi, 86 (1), 010001. (bagian 36.2.2. Uji signifikansi, halaman 394, tautan aps.org )

8. Lyons, L. (2013). Menemukan Signifikansi 5 sigma. arXiv preprint arXiv: 1310.1284. tautan arxiv

9. Lyons, L. (2014). Masalah Statistik dalam Pencarian Fisika Baru. arXiv pracetak tautan arxiv

10. Baker, M. (2015). Lebih dari setengah studi psikologi gagal dalam tes reproduktifitas. Berita Alam. dari nature.com 2019-03-07

11. Horton, R. (2015). Offline: apa itu 5 sigma obat? The Lancet, 385 (9976), 1380. dari thelancet.com 2019-03-07

Untuk alasan yang sama sekali berbeda dari fisika, ada bidang lain dengan alfa yang jauh lebih ketat ketika mereka melakukan pengujian hipotesis. Epidemiologi Genetik ada di antara mereka, terutama ketika mereka menggunakan "GWAS" (Genome-Wide Association Study) untuk melihat berbagai penanda genetik untuk penyakit.

Karena studi GWAS adalah latihan besar - besaran dalam pengujian hipotesis berganda, teknik-teknik analisis mutakhir semuanya dibangun di sekitar alfa yang jauh lebih ketat daripada 0,05. Teknik studi "kandidat skrining" lainnya yang mengikuti studi genomik kemungkinan akan melakukan hal yang sama.

Levelnya sangat tinggi untuk menghindari pengumuman berita prematur yang kemudian ternyata palsu. Untuk diskusi lebih lanjut tentang ini, lihat

https://physics.stackexchange.com/questions/8752/standard-deviation-in-particle-physics?rq=1

https://physics.stackexchange.com/questions/31126/how-many-sigma-did-the-discovery-of-the-w-boson-have