Saya pernah mendengar (maaf tidak dapat memberikan tautan ke teks, sesuatu yang telah saya ceritakan) bahwa kurtosis positif residu yang tinggi dapat menjadi masalah untuk pengujian hipotesis dan interval kepercayaan yang akurat (dan karena itu masalah dengan inferensi statistik). Apakah ini benar dan, jika ya, mengapa? Akankah kurtosis positif yang tinggi dari residu tidak menunjukkan bahwa mayoritas residu berada di dekat rata-rata residual dari 0 dan oleh karena itu residual yang kurang besar ada? (Jika Anda memiliki jawaban, cobalah untuk memberikan jawaban dengan tidak banyak matematika mendalam karena saya tidak cenderung secara matematis).
13
Jawaban:
Untuk beberapa jenis tes hipotesis, itu benar.
Tidak.
Sepertinya Anda menggabungkan konsep varians dengan konsep kurtosis. Jika varians lebih kecil, maka kecenderungan untuk residual lebih kecil dan residual besar lebih sedikit akan datang bersama-sama. Bayangkan kita memegang standar deviasi konstan sementara kita mengubah kurtosis (jadi kita jelas berbicara tentang perubahan ke kurtosis daripada varians).
Bandingkan varian yang berbeda (tetapi kurtosis yang sama):
dengan kurtosis berbeda tetapi varians yang sama:
(gambar dari pos ini )
Kurtosis tinggi dalam banyak kasus dikaitkan dengan penyimpangan yang lebih kecil dari rata-rata - residual yang lebih kecil daripada yang Anda temukan dengan distribusi normal .. tetapi untuk menjaga standar deviasi pada nilai yang sama, kita juga harus memiliki lebih banyak residu besar (karena memiliki residu lebih kecil akan membuat jarak tipikal dari rata-rata lebih kecil). Untuk mendapatkan lebih banyak residu besar dan residu kecil, Anda akan memiliki lebih sedikit residu "tipikal" - yaitu sekitar satu standar deviasi dari mean.‡
Kurtosis yang lebih tinggi cenderung terjadi dengan residu yang lebih besar, bahkan ketika Anda memegang varians konstan.
[Lebih lanjut, dalam beberapa kasus, konsentrasi residu kecil sebenarnya dapat menyebabkan lebih banyak masalah daripada fraksi tambahan residu terbesar - tergantung pada hal-hal yang Anda lihat.]
Bagaimanapun, mari kita lihat sebuah contoh. Pertimbangkan uji-satu sampel dan ukuran sampel 10.
Jika kita menolak hipotesis nol ketika nilai absolut t-statistik lebih besar dari 2.262, maka ketika pengamatan independen, terdistribusi secara identik dari distribusi normal, dan rata-rata yang dihipotesiskan adalah rata-rata populasi sebenarnya, kami akan menolak nol hipotesis 5% dari waktu.
Pertimbangkan distribusi tertentu dengan kurtosis yang jauh lebih tinggi daripada yang normal: 75% populasi kami diambil nilainya dari distribusi normal dan 25% sisanya diambil nilainya dari distribusi normal dengan standar deviasi 50 kali lebih besar.
Jika saya menghitung dengan benar, ini sesuai dengan kurtosis 12 (kelebihan kurtosis 9). Distribusi yang dihasilkan jauh lebih memuncak daripada normal dan memiliki ekor yang berat. Kepadatan dibandingkan dengan kepadatan normal di bawah ini - Anda dapat melihat puncak yang lebih tinggi, tetapi Anda tidak dapat benar-benar melihat ekor yang lebih berat di gambar kiri, jadi saya juga memplot logaritma densitas, yang merentangkan bagian bawah dari gambar dan kompres bagian atas, membuatnya lebih mudah untuk melihat puncak dan ekor.
Tingkat signifikansi aktual untuk distribusi ini jika Anda melakukan uji-t satu sampel "5%" dengan bawah 0,9%. Ini sangat dramatis, dan menarik kurva daya cukup besar.n = 10
(Anda juga akan melihat efek substantif pada cakupan interval kepercayaan.)
Perhatikan bahwa distribusi yang berbeda dengan kurtosis yang sama dengan itu akan memiliki dampak yang berbeda pada tingkat signifikansi.
Jadi mengapa tingkat penolakan turun? Itu karena ekor yang lebih berat mengarah ke beberapa outlier besar, yang memiliki dampak sedikit lebih besar pada standar deviasi daripada pada rata-rata; ini berdampak pada t-statistik karena ini mengarah pada lebih banyak nilai-t antara -1 dan 1, dalam proses mengurangi proporsi nilai di wilayah kritis.
Jika Anda mengambil sampel yang terlihat cukup konsisten dengan berasal dari distribusi normal yang rata-rata cukup jauh di atas hipotesis berarti bahwa itu signifikan, dan kemudian Anda mengambil pengamatan terjauh di atas rata-rata dan menariknya lebih jauh lagi (yaitu, buat mean lebih besar daripada di bawah ), Anda benar-benar membuat t-statistik lebih kecil .H0
Mari ku tunjukkan. Berikut contoh ukuran 10:
Bayangkan kita ingin mengujinya terhadap (uji-satu sampel). Ternyata mean sampel di sini adalah 2,68 dan standar deviasi sampel adalah 0,9424. Anda mendapatkan t-statistik 2,282 - hanya di wilayah penolakan untuk tes 5% (nilai p 0,0484).H0: μ = 2
Sekarang buat nilai terbesar 50:
Jelas kita menarik rata-rata, jadi itu seharusnya menunjukkan perbedaan bahkan lebih daripada sebelumnya, kan? Yah, tidak, tidak. Statistik t turun . Sekarang 1,106, dan nilai-p cukup besar (hampir 30%). Apa yang terjadi? Kami memang menarik rata-rata (ke 7.257), tetapi standar deviasi melonjak lebih dari 15.
Standar deviasi sedikit lebih sensitif terhadap outlier daripada artinya - ketika Anda memasukkan outlier, Anda cenderung mendorong statistik t satu sampel ke arah 1 atau -1.
Jika ada kemungkinan beberapa outlier, banyak hal yang sama terjadi hanya mereka kadang-kadang dapat berada di sisi yang berlawanan (dalam hal ini deviasi standar bahkan lebih meningkat sementara dampak pada rata-rata berkurang dibandingkan dengan satu outlier), sehingga t-statistik cenderung bergerak lebih dekat ke 0.
Hal serupa terjadi dengan sejumlah tes umum lainnya yang mengasumsikan normalitas - kurtosis yang lebih tinggi cenderung dikaitkan dengan ekor yang lebih berat, yang berarti lebih banyak pencilan, yang berarti bahwa standar deviasi meningkat relatif terhadap rata-rata sehingga perbedaan yang ingin Anda ambil cenderung untuk mendapatkan "kebanjiran" oleh dampak outlier pada tes. Artinya, daya rendah.
sumber
Kurtosis mengukur outlier. Pencilan adalah masalah untuk kesimpulan standar (misalnya, uji-t, interval-t) yang didasarkan pada distribusi normal. Itulah akhir dari cerita! Dan itu benar-benar cerita yang sangat sederhana.
Alasan mengapa kisah ini tidak dihargai adalah karena mitos kuno bahwa kurtosis mengukur "puncaknya" masih ada.
Berikut adalah penjelasan sederhana yang menunjukkan mengapa kurtosis mengukur outlier dan bukan "peakedness".
Pertimbangkan kumpulan data berikut.
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1
Kurtosis adalah nilai yang diharapkan dari (nilai-z) ^ 4. Inilah (nilai-z) ^ 4:
6.51, 0.30, 5.33, 0.45, 0.00, 0.30, 6.51, 0.00, 0.45, 0.30, 0.00, 6.51, 0.00, 0.00, 0.30, 0.00, 27.90, 0.00, 0.30, 0.45
Rata-rata adalah 2,78, dan itu adalah perkiraan kurtosis. (Kurangi 3 jika Anda menginginkan kelebihan kurtosis.)
Sekarang, ganti nilai data terakhir dengan 999 sehingga menjadi pencilan:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999
Sekarang, inilah (nilai-z) ^ 4:
0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98
Rata-rata adalah 18,05, dan itu adalah perkiraan kurtosis. (Kurangi 3 jika Anda menginginkan kelebihan kurtosis.)
Jelas, hanya pencilan yang berpengaruh. Tidak ada tentang "puncak" atau data di dekat hal-hal tengah.
Jika Anda melakukan analisis statistik standar dengan kumpulan data kedua, Anda akan mengalami masalah. Kurtosis besar memberi tahu Anda tentang masalahnya.
Berikut ini makalah yang menguraikan:
Westfall, PH (2014). Kurtosis as Peakedness, 1905 - 2014. RIP The American Statistician, 68, 191–195.
sumber
Kurtosis juga menunjukkan ekor asimetris. Dalam tes hipotesis dua sisi, satu ekor akan menjadi ekor panjang, dan yang lainnya akan menjadi ekor pendek. Salah satu ekornya mungkin> alfa, tetapi <beta. Satu ekor akan melewati nilai p, tetapi yang lain tidak.
Pada dasarnya, inferensi statistik mengasumsikan standar normal. Ketika itu bukan standar normal, Anda mungkin bertahan dengan inferensi berdasarkan beberapa mekanisme inferensi yang lebih canggih. Anda mungkin dapat menggunakan inferensi Poisson, tetapi dengan distribusi yang tidak normal, Anda tidak dapat menggunakan inferensi yang didasarkan pada normals.
Skew dan kurtosis adalah ukuran non-normalitas. Kita belajar mengambil cara dan menggunakan distribusi normal sebelum kita tahu bahwa kita harus menguji normalitas. Normal membutuhkan 36 atau lebih titik data dari setiap dimensi. Anda dapat memperkirakan pada 20 titik data, tetapi Anda masih memiliki kecenderungan dan kurtosis. Ketika distribusi mendekati normal, kemiringan dan distribusi menghilang.
Salah satu penjelasan mendefinisikan kurtosis sebagai puncaknya. Yang lain tidak. Ini adalah pertarungan yang tidak menentu saat ini. Kurtosis adalah momen keempat, suatu area. Saya sedang tidak memuncak masalah.
Gagasan lain yang ada di sana adalah bahwa dengan kemiringan, median condong ke mode membentuk segitiga. Nikmati.
sumber