Dapatkah seseorang tolong berikan penjelasan singkat yang bagus mengapa itu bukan ide yang baik untuk mengajar siswa bahwa nilai-p adalah masalahnya (temuan mereka adalah karena kesempatan [acak]). Pemahaman saya adalah bahwa nilai-p adalah masalahnya (mendapatkan data yang lebih ekstrim | hipotesis nol adalah benar).
Ketertarikan saya yang sebenarnya adalah apa salahnya mengatakan pada mereka bahwa itu adalah yang pertama (selain dari kenyataannya tidak begitu).
p-value
randomness
teaching
Patrick
sumber
sumber
Jawaban:
Saya memiliki interpretasi yang berbeda tentang arti pernyataan yang salah dari @Karl. Saya pikir itu adalah pernyataan tentang data, bukan tentang nol. Saya memahaminya sebagai menanyakan kemungkinan mendapatkan estimasi Anda karena kebetulan. Saya tidak tahu apa artinya itu --- itu bukan klaim yang ditentukan dengan baik.
Tapi saya mengerti apa yang dimaksud dengan kemungkinan mendapatkan estimasi saya secara kebetulan mengingat bahwa estimasi sebenarnya sama dengan nilai tertentu. Sebagai contoh, saya bisa mengerti apa artinya mendapatkan perbedaan yang sangat besar dalam ketinggian rata-rata antara pria dan wanita mengingat bahwa ketinggian rata-rata mereka sebenarnya sama. Itu ditentukan dengan baik. Dan itulah yang memberi nilai-p. Apa yang hilang dalam pernyataan yang salah adalah syarat bahwa nol itu benar.
Sekarang, kita mungkin keberatan bahwa ini bukan pernyataan sempurna (peluang untuk mendapatkan nilai tepat untuk penaksir adalah 0, misalnya). Tapi itu jauh lebih baik daripada cara kebanyakan orang akan menafsirkan nilai-p.
Poin kunci yang saya katakan berulang kali ketika saya mengajar pengujian hipotesis adalah "Langkah pertama adalah berasumsi bahwa hipotesis nol itu benar. Semuanya dihitung dengan asumsi ini." Jika orang ingat itu, itu cukup bagus.
sumber
Ilustrasi paling sederhana: misalkan prior, cukup kecil, tetapi orang memiliki sedikit data, sehingga nilai-p lebih besar (katakanlah, 0,3), tetapi posterior, , masih cukup kecil. [Tapi mungkin contoh ini tidak begitu menarik.]Pr ( H0) Pr ( H0| data)
sumber
Saya akan menambahkan jawaban terlambat dari perspektif (ex) siswa: IMHO kerusakannya tidak dapat dipisahkan dari kesalahannya.
Jenis "pendekatan / jalan pintas" yang salah seperti ini dapat menciptakan banyak kebingungan bagi siswa yang menyadari bahwa mereka tidak dapat secara logis memahami pernyataan itu, tetapi dengan asumsi bahwa apa yang diajarkan kepada mereka benar, mereka tidak menyadari bahwa mereka tidak dapat memahaminya. karena itu tidak benar.
Ini tidak memengaruhi siswa yang hanya menghafal aturan yang diberikan kepada mereka. Tetapi itu menuntut siswa yang belajar dengan memahami untuk menjadi cukup baik
Saya tidak mengatakan bahwa tidak ada pintasan didaktik yang valid. Tapi IMHO ketika diambil jalan pintas, ini harus disebutkan (misalnya sebagai "untuk kemudahan argumen, kami menganggap / memperkirakan bahwa ...").
Namun dalam kasus khusus ini, saya pikir itu terlalu menyesatkan untuk digunakan.
sumber
Mengacu langsung ke pertanyaan: Di mana salahnya?
Menurut pendapat saya, jawaban untuk pertanyaan ini terletak pada kebalikan dari pernyataan, "Nilai-p adalah probabilitas bahwa temuan itu karena kebetulan acak." Jika seseorang mempercayai hal ini, maka ia mungkin juga meyakini hal berikut: "[1- (p-value)] adalah probabilitas bahwa temuan BUKAN karena kebetulan acak."
Kerugiannya terletak pada pernyataan kedua, karena, mengingat cara otak kebanyakan orang bekerja, pernyataan ini terlalu melebih-lebihkan seberapa yakin kita terhadap nilai spesifik dari parameter yang diestimasi.
sumber
Berikut adalah contoh sederhana yang saya gunakan:
Misalkan hipotesis nol kami adalah bahwa kami membalik koin berkepala 2 (jadi prob (kepala) = 1). Sekarang kita membalik koin satu kali dan mendapatkan kepala, nilai-p untuk ini adalah 1, jadi apakah itu berarti bahwa kita memiliki peluang 100% untuk memiliki koin berkepala 2?
Yang sulit adalah jika kita membalikkan ekor maka nilai-p akan menjadi 0 dan kemungkinan memiliki koin berkepala 2 adalah 0, jadi mereka cocok dalam kasus ini, tetapi tidak di atas. Nilai p 1 di atas hanya berarti bahwa apa yang telah kita amati sangat konsisten dengan hipotesis koin berkepala 2, tetapi itu tidak membuktikan bahwa koin berkepala 2.
Lebih lanjut, jika kita melakukan statistik frequentist maka hipotesis nol adalah Benar atau Salah (kita tidak tahu yang mana) dan membuat pernyataan probabilitas (frequentist) tentang hipotesis nol tidak ada artinya. Jika Anda ingin berbicara tentang probabilitas hipotesis, maka lakukan statistik Bayesian yang tepat, gunakan definisi probabilitas Bayesian, mulailah dengan prior dan hitung probabilitas posterior bahwa hipotesis itu benar. Hanya saja, jangan mengacaukan nilai-p dengan posterior Bayesian.
sumber
OK, pandangan lain yang sedikit berbeda:
Masalah dasar pertama adalah frasa "karena kebetulan [acak]". Gagasan 'kesempatan' yang tidak ditentukan datang secara alami kepada siswa tetapi berbahaya untuk berpikir jernih tentang ketidakpastian dan bencana untuk melakukan statistik yang masuk akal. Dengan sesuatu seperti urutan membalik koin, mudah untuk mengasumsikan bahwa 'peluang' dijelaskan oleh pengaturan Binomial dengan probabilitas 0,5. Ada kealamian tertentu untuk itu pasti, tetapi dari sudut pandang statistik itu tidak lebih alami daripada asumsi 0,6 atau yang lain. Dan untuk contoh-contoh lain yang kurang 'jelas', misalnya melibatkan parameter nyata, sama sekali tidak membantu untuk memikirkan seperti apa 'peluang' itu nantinya.
Sehubungan dengan pertanyaan, ide kunci adalah memahami apa semacam dari 'kesempatan' digambarkan oleh H0, yaitu apa kemungkinan yang sebenarnya / nama DGP H0. Begitu konsep itu ada, siswa akhirnya berhenti berbicara tentang hal-hal yang terjadi 'secara kebetulan', dan mulai bertanya apa sebenarnya H0 itu. (Mereka juga menemukan bahwa hal-hal dapat konsisten dengan variasi Hs yang agak luas sehingga mereka memulai dengan interval kepercayaan diri, melalui tes terbalik).
Masalah kedua adalah bahwa jika Anda sedang menuju definisi Fisher tentang nilai-p, Anda harus (imho) selalu menjelaskannya terlebih dahulu dalam hal konsistensi data dengan H0 karena titik p adalah untuk melihat itu, bukan untuk menafsirkan area ekor sebagai semacam aktivitas 'kebetulan', (atau terus terang menafsirkannya sama sekali). Ini murni masalah penekanan retoris, jelas, tetapi tampaknya membantu.
Singkatnya, bahayanya adalah bahwa cara menggambarkan hal-hal ini tidak akan digeneralisasi ke model non-sepele yang kemudian mereka coba pikirkan. Paling buruk itu hanya dapat menambah rasa misteri bahwa studi statistik sudah menghasilkan dalam jenis orang seperti deskripsi bowdlerised ditujukan.
sumber
Jika saya pisahkan, "nilai-p adalah probabilitas bahwa suatu efek disebabkan oleh kebetulan," tampaknya menyiratkan bahwa efek tersebut disebabkan oleh kebetulan. Tetapi setiap efek sebagian disebabkan oleh kebetulan. Dalam pelajaran statistik di mana seseorang menjelaskan kebutuhan untuk mencoba melihat melalui variabilitas acak ini adalah pernyataan yang cukup ajaib dan melampaui batas. Ini menanamkan nilai-p dengan kekuatan yang tidak mereka miliki.
Jika Anda mendefinisikan peluang dalam kasus tertentu sebagai hipotesis nol maka Anda menyatakan bahwa nilai-p menghasilkan probabilitas bahwa efek yang diamati disebabkan oleh hipotesis nol. Itu kelihatannya sangat dekat dengan pernyataan yang benar tetapi mengklaim bahwa suatu kondisi tentang probabilitas adalah penyebab probabilitas itu lagi-lagi menjangkau secara berlebihan. Pernyataan yang benar, bahwa nilai-p adalah probabilitas dari efek yang diberikan hipotesis nol adalah benar, tidak mengaitkan penyebab dengan efek nol. Penyebabnya beragam termasuk efek sebenarnya, variabilitas di sekitar efek, dan kesempatan acak. Nilai-p tidak mengukur probabilitas semua itu.
sumber