Apa perbedaan antara uji normalitas Shapiro-Wilk dan uji normalitas Kolmogorov-Smirnov?

Jawaban:

23

Anda bahkan tidak dapat membandingkan keduanya karena Kolmogorov-Smirnov adalah untuk distribusi yang ditentukan secara lengkap (jadi jika Anda menguji normalitas, Anda harus menentukan rata-rata dan varians; mereka tidak dapat diperkirakan dari data *), sementara Shapiro-Wilk adalah untuk normalitas, dengan mean dan varian yang tidak ditentukan.

* Anda juga tidak dapat melakukan standarisasi dengan menggunakan estimasi parameter dan menguji normal normal; itu sebenarnya hal yang sama.

Salah satu cara untuk membandingkan akan melengkapi Shapiro-Wilk dengan tes untuk rata-rata yang ditentukan dan varians dalam normal (menggabungkan tes dalam beberapa cara), atau dengan memiliki tabel KS disesuaikan untuk estimasi parameter (tapi kemudian tidak lagi distribusi -bebas).

Ada tes seperti itu (setara dengan Kolmogorov-Smirnov dengan perkiraan parameter) - tes Lilliefors; versi uji normalitas dapat secara valid dibandingkan dengan Shapiro-Wilk (dan umumnya akan memiliki daya yang lebih rendah). Yang lebih kompetitif adalah uji Anderson-Darling (yang juga harus disesuaikan untuk estimasi parameter agar perbandingan menjadi valid).


Adapun apa yang mereka uji - tes KS (dan Lilliefors) melihat perbedaan terbesar antara CDF empiris dan distribusi yang ditentukan, sedangkan Shapiro Wilk secara efektif membandingkan dua perkiraan varian; Shapiro-Francia yang terkait erat dapat dianggap sebagai fungsi monotonik dari korelasi kuadrat dalam plot QQ; jika saya ingat dengan benar, Shapiro-Wilk juga memperhitungkan kovarian antara statistik pesanan.

Diedit untuk menambahkan: Sementara Shapiro-Wilk hampir selalu mengalahkan tes Lilliefors pada alternatif yang menarik, contoh di mana itu tidak t30 dalam sampel menengah-besar ( n>60 -ish). Di sana para Lilliefors memiliki kekuatan yang lebih tinggi.

[Harus diingat bahwa ada lebih banyak tes untuk normalitas yang tersedia daripada ini.]

Glen_b -Reinstate Monica
sumber
Ini adalah jawaban yang menarik, tetapi saya mengalami sedikit kesulitan untuk memahami bagaimana cara menyesuaikannya dengan latihan. Mungkin ini seharusnya pertanyaan yang berbeda, tetapi apa konsekuensi dari mengabaikan estimasi parameter dalam tes KS? Apakah ini menyiratkan bahwa tes Lillefors memiliki kekuatan lebih kecil daripada KS yang dilakukan secara salah di mana parameter diperkirakan dari data?
Russelpierce
@ rpierce - Dampak utama memperlakukan parameter yang diperkirakan seperti diketahui adalah secara dramatis menurunkan tingkat signifikansi aktual (dan karenanya kurva daya) dari apa yang seharusnya jika Anda memperhitungkannya (seperti yang dilakukan Lilliefors). Yaitu, Lilliefors adalah KS 'yang dilakukan dengan benar' untuk estimasi parameter dan memiliki kekuatan yang jauh lebih baik daripada KS. Di sisi lain, Lilliefors memiliki kekuatan yang jauh lebih buruk daripada tes Shapiro-Wilk. Singkatnya, KS bukanlah tes yang sangat kuat untuk memulai, dan kami membuatnya lebih buruk dengan mengabaikan bahwa kami melakukan estimasi parameter.
Glen_b -Reinstate Monica
... mengingat ketika kita mengatakan 'kekuatan yang lebih baik' dan 'kekuatan yang lebih buruk' bahwa kita umumnya merujuk pada kekuatan terhadap apa yang orang umumnya anggap sebagai jenis alternatif yang menarik.
Glen_b -Reinstate Monica
1
Saya telah melihat kurva kekuatan; Saya hanya tidak memikirkan apa artinya menurunkan atau menaikkannya dan sebaliknya Tuhan terjebak pada komentar kedua Anda mulai: "mengingat". Entah bagaimana saya berputar dan berpikir Anda mengatakan bahwa kekuatan 'lebih baik' berarti memiliki kurva kekuatan di mana seharusnya 'seharusnya'. Bahwa mungkin kita curang dan mendapatkan kekuatan yang tidak realistis di KS karena kita memberikan parameter yang seharusnya dihukum karena memperkirakan (karena itulah yang biasa saya lakukan sebagai konsekuensi karena tidak mengakui bahwa parameter berasal dari perkiraan) .
russellpierce
1
Tidak yakin bagaimana saya melewatkan komentar ini sebelumnya, tapi ya, nilai-p yang dihitung dari menggunakan tes KS dengan parameter yang diperkirakan seolah-olah mereka diketahui / ditentukan akan cenderung terlalu tinggi. Cobalah di R: hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))- jika nilai-p seperti yang seharusnya, itu akan terlihat seragam!
Glen_b -Reinstate Monica
24

Secara singkat dinyatakan, uji Shapiro-Wilk adalah tes khusus untuk normalitas, sedangkan metode yang digunakan oleh uji Kolmogorov-Smirnov lebih umum, tetapi kurang kuat (artinya lebih sering menolak hipotesis nol tentang normalitas). Kedua statistik mengambil normalitas sebagai nol dan menetapkan statistik uji berdasarkan sampel, tetapi bagaimana mereka melakukannya berbeda satu sama lain dengan cara yang membuat mereka lebih atau kurang peka terhadap fitur distribusi normal.

Bagaimana tepatnya W (statistik uji untuk Shapiro-Wilk) dihitung agak terlibat , tetapi secara konseptual, itu melibatkan menyusun nilai-nilai sampel dengan ukuran dan mengukur kesesuaian terhadap rata-rata yang diharapkan, varian dan kovariansi. Beberapa perbandingan ini terhadap normalitas, seperti yang saya pahami, memberikan tes lebih banyak kekuatan daripada tes Kolmogorov-Smirnov, yang merupakan salah satu cara di mana mereka mungkin berbeda.

Sebaliknya, uji Kolmogorov-Smirnov untuk normalitas berasal dari pendekatan umum untuk menilai goodness of fit dengan membandingkan distribusi kumulatif yang diharapkan dengan distribusi kumulatif empiris, vis:

teks alternatif

Karena itu, ia sensitif di pusat distribusi, dan bukan bagian ekor. Namun, KS adalah tes yang konvergen, dalam arti bahwa karena n cenderung tak terhingga, tes menyatu dengan jawaban yang benar dalam probabilitas (saya percaya bahwa Teorema Glivenko-Cantelli berlaku di sini, tetapi seseorang dapat mengoreksi saya). Ini adalah dua cara lagi di mana kedua tes ini mungkin berbeda dalam evaluasi normalitasnya.

John L. Taylor
sumber
3
Selain itu ... Tes Shapiro-Wilk sering digunakan ketika memperkirakan keberangkatan dari normalitas dalam sampel kecil. Jawaban yang bagus, John! Terima kasih.
aL3xa
+1, dua catatan lain tentang KS: dapat digunakan untuk menguji terhadap distribusi utama (sedangkan SW hanya untuk normalitas), & daya yang lebih rendah bisa menjadi hal yang baik dengan sampel yang lebih besar.
gung - Reinstate Monica
Bagaimana kekuatan rendah itu hal yang baik? Selama Tipe I tetap sama, bukankah daya yang lebih tinggi selalu lebih baik? Selain itu, KS umumnya tidak terlalu kuat, hanya mungkin untuk leptokurtosis? Misalnya, KS jauh lebih kuat untuk condong tanpa peningkatan kesalahan Tipe 1 yang sepadan.
John
Kolmogorov-Smirnov adalah untuk distribusi yang ditentukan sepenuhnya. Shapiro Wilk tidak. Mereka tidak dapat dibandingkan ... karena begitu Anda membuat penyesuaian yang diperlukan untuk membuatnya sebanding, Anda tidak lagi memiliki satu atau tes lainnya .
Glen_b -Reinstate Monica
Ditemukan studi simulasi ini, dalam kasus yang menambahkan sesuatu yang berguna dalam detail. Kesimpulan umum yang sama seperti di atas: tes Shapiro-Wilk lebih sensitif. ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf
Nick Stauner