Tes apa yang saya gunakan untuk mengonfirmasi bahwa residu terdistribusi normal?

Saya punya beberapa data yang terlihat dari merencanakan grafik residu vs waktu hampir normal tetapi saya ingin memastikan. Bagaimana saya bisa menguji normalitas residu kesalahan?

hypothesis-testing normal-distribution assumptions pb1
sumber

Terkait erat: uji normalitas-normal-sesuai-untuk-sampel kecil . Berikut adalah beberapa pertanyaan lain yang mungkin menarik: apakah-normalitas-pengujian-pada dasarnya-tidak berguna , untuk diskusi tentang nilai pengujian normalitas, & bagaimana-jika-residual-biasanya-didistribusikan-tetapi-y-adalah- tidak , untuk diskusi / klarifikasi pengertian di mana normalitas adalah asumsi model linier.

gung - Reinstate Monica

Di sana dapat dilihat suatu kesalahpahaman yang sangat umum dari inti tes Shapiro Wilk! Makna yang benar dalam mendukung H0 adalah, H0 tidak dapat ditolak, tetapi WASPADALAH! Itu tidak secara otomatis berarti "data terdistribusi normal" !!! Hasil alternatif adalah "Data tidak terdistribusi secara normal".

Joe Hallenbeck

Jawaban:

Tidak ada tes yang akan memberitahu Anda bahwa residu Anda terdistribusi secara normal. Bahkan, Anda dapat bertaruh andal bahwa itu tidak benar .
Tes hipotesis pada umumnya bukan ide yang bagus untuk memeriksa asumsi Anda. Efek non-normalitas pada inferensi Anda umumnya bukan fungsi dari ukuran sampel *, tetapi hasil uji signifikansi adalah . Penyimpangan kecil dari normalitas akan terlihat jelas pada ukuran sampel yang besar meskipun jawaban untuk pertanyaan yang menarik ('sejauh mana hal ini memengaruhi kesimpulan saya?') Mungkin 'hampir tidak sama sekali'. Sejalan dengan itu, penyimpangan besar dari normalitas pada ukuran sampel kecil mungkin tidak mendekati signifikansi.

* (ditambahkan dalam edit) - sebenarnya itu pernyataan yang terlalu lemah. Dampak ketidaknormalan sebenarnya menurun dengan ukuran sampel cukup banyak setiap kali CLT dan teorema Slutsky akan bertahan, sementara kemampuan untuk menolak normalitas (dan mungkin menghindari prosedur teori normal) meningkat dengan ukuran sampel ... jadi tepat ketika Anda paling mampu mengidentifikasi ketidaknormalan cenderung ketika itu tidak masalah pokoknya ... dan tes tidak membantu ketika itu benar-benar penting, dalam sampel kecil. $^\dagger$

$\dagger$ well, setidaknya sejauh tingkat signifikansi berjalan. Kekuatan masih bisa menjadi masalah meskipun jika kita mempertimbangkan sampel besar seperti di sini, itu mungkin kurang dari masalah juga.
Apa yang mendekati pengukuran ukuran efek adalah beberapa diagnostik (baik tampilan atau statistik) yang mengukur tingkat ketidaknormalan dalam beberapa cara. Plot QQ adalah tampilan yang jelas, dan plot QQ dari populasi yang sama pada satu ukuran sampel dan pada ukuran sampel yang berbeda setidaknya merupakan perkiraan berisik dari kurva yang sama - menunjukkan 'non-normalitas' yang sama; setidaknya harus kira-kira berhubungan secara monoton dengan jawaban yang diinginkan untuk pertanyaan yang menarik.

Jika Anda harus menggunakan tes, Shapiro-Wilk mungkin sama baiknya dengan yang lain (tes Chen-Shapiro biasanya sedikit lebih baik pada alternatif yang memiliki kepentingan bersama, tetapi lebih sulit untuk menemukan implementasi) - tetapi itu menjawab pertanyaan yang Anda sudah tahu jawabannya; setiap kali Anda gagal menolak, itu memberikan jawaban yang Anda yakin salah.

Glen_b -Reinstate Monica
sumber

+1 Glen_b karena Anda membuat beberapa poin bagus. Namun saya tidak akan begitu negatif tentang penggunaan tes goodness of fit. Ketika ukuran sampel kecil atau sedang, tes tidak akan memiliki daya yang cukup untuk mendeteksi sedikit penyimpangan dari distribusi normal. Perbedaan yang sangat besar dapat menghasilkan nilai-p yang sangat kecil (mis. 0,0001 atau lebih rendah). Ini mungkin indikasi yang lebih formal daripada pengamatan visual dari plot qq tetapi masih sangat berguna. Kita juga bisa melihat perkiraan skewness dan kurtosis. Dalam sampel yang sangat besar bahwa uji kelayakan yang baik bermasalah.

Michael R. Chernick

Dalam kasus tersebut keberangkatan kecil akan terdeteksi. Selama analis mengakui bahwa dalam praktiknya distribusi populasi tidak akan sepenuhnya normal dan menolak hipotesis nol hanya mengatakan kepadanya bahwa distribusinya sedikit tidak normal, ia tidak akan tersesat. Penyelidik kemudian harus menilai untuk dirinya sendiri apakah asumsi normalitas menjadi perhatian atau tidak mengingat sedikit perbedaan yang terdeteksi oleh tes. Shapiro-Wilk sebenarnya adalah salah satu tes yang lebih kuat terhadap hipotesis normalitas.

Michael R. Chernick

+1, saya terutama suka poin # 2; sepanjang garis itu, perlu dicatat bahwa meskipun kemiringan atau kurtosis cukup buruk, dengan N besar, Teorema Batas Pusat akan melindungi Anda, jadi itulah saat Anda paling tidak membutuhkan normalitas.

gung - Reinstate Monica

@ung ada beberapa kondisi ketika perkiraan yang baik untuk normalitas akan penting. Misalnya, ketika membuat interval prediksi menggunakan asumsi normal. Tapi saya masih akan lebih bergantung pada diagnostik (yang menunjukkan betapa tidak normal itu) daripada tes

Glen_b -Reinstate Monica

Poin Anda tentang interval prediksi adalah bagus.

gung - Reinstate Monica

Tes Shapiro-Wilk adalah satu kemungkinan.

Tes Shapiro-Wilk

Tes ini diterapkan di hampir semua paket perangkat lunak statistik. Hipotesis nol adalah residu terdistribusi normal, sehingga nilai p kecil menunjukkan Anda harus menolak nol dan menyimpulkan residu tidak terdistribusi normal.

Perhatikan bahwa jika ukuran sampel Anda besar, Anda hampir selalu akan menolak, jadi visualisasi residu lebih penting.

Lembah kecil
sumber

Itu "Wilk" bukan "Wilks".

Michael R. Chernick

Dari wikipedia:

Tes normalitas univariat termasuk uji K-kuadrat D'Agostino, tes Jarque-Bera, tes Anderson-Darling, kriteria Cramér-von Mises, tes Lilliefors untuk normalitas (itu sendiri merupakan adaptasi dari tes Kolmogorov-Smirnov), Tes Shapiro-Wilk, uji chi-squared Pearson, dan tes Shapiro-Francia. Sebuah makalah 2011 dari Journal of Statistical Modeling and Analytics [1] menyimpulkan bahwa Shapiro-Wilk memiliki kekuatan terbaik untuk signifikansi yang diberikan, diikuti oleh Anderson-Darling ketika membandingkan Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors, dan Anderson- Tes sayang.

Taylor
sumber

-1: Anda mungkin ingin memasukkan tautan ke halaman Wikipedia, menghapus catatan kaki ("[1]") dan menggunakan fungsi blokquote.

Bernd Weiss

Peringatan yang diberikan Glen_b penting untuk diingat setiap kali ada uji kelayakan ini digunakan. Saya pikir hasil yang Anda harapkan dari Shapiro-Wilk tidak umum seperti yang Anda bayangkan. Saya tidak percaya ada tes global yang paling kuat untuk normalitas.

Michael R. Chernick

n \geq 1

$n \ge 1$

@ GregSnow Sekarang saya tidak punya waktu untuk memeriksa paket Anda dengan saksama dan saya mungkin tidak cukup mahir dengan R untuk mengikuti semuanya. Apakah Anda mengatakan bahwa ada tes global yang paling kuat untuk normalitas atau Anda mengatakan bahwa Anda memberikan contoh untuk menunjukkan ketika berbagai tes paling kuat dan oleh karena itu tes global tidak ada. Saya ragu bahwa ada satu dan saya tidak berpikir Shapiro-Wilk akan menjadi seperti itu. Jika Anda mengklaim bahwa ada, saya ingin melihat bukti matematis atau referensi ke satu.

Michael R. Chernick

@MichaelChernick, klaim saya adalah bahwa pengujian saya akan memiliki kekuatan atau lebih banyak (menjadi atau lebih mungkin untuk menolak hipotesis nol dari data yang berasal dari normal yang tepat) seperti halnya tes normalitas lainnya. Kode R tidak sulit untuk diikuti, kode inti untuk menghitung nilai-p adalah "tmp.p <- if (any (is.rational (x))) {0", bukti kekuatannya harus jelas ( Saya hanya mengklaim bahwa itu kuat dan dokumentasi mungkin berguna, bukan bahwa tes itu sendiri berguna, google for "Cochrane's aphorism").

Greg Snow