Yang mana yang harus dipercaya: Tes Kolmogorov-Smirnov atau plot QQ?

16

Saya mencoba menentukan apakah dataset data kontinu saya mengikuti distribusi gamma dengan parameter shape 1.7 dan rate 0.000063.==

Masalahnya adalah ketika saya menggunakan R untuk membuat plot QQ dari dataset saya terhadap gamma distribusi teoritis (1,7, 0,000063), saya mendapatkan plot yang menunjukkan bahwa data empiris secara kasar setuju dengan distribusi gamma. Hal yang sama terjadi dengan plot ECDF.x

Namun ketika saya menjalankan tes Kolmogorov-Smirnov, itu memberi saya nilai kecil yang tidak masuk akal dari .< 1 %p<1%

Mana yang harus saya pilih untuk percaya? Output grafis atau hasil dari KS-test?

Plot QQplot dan ECDF

pengguna22119
sumber
dapatkah Anda juga menyediakan plot distribusi kepadatan yang Anda dapatkan?
Gores
13
Tes dan plot diagnostik tidak konsisten. Distribusi ini mirip dengan yang teoretis, seperti yang ditunjukkan plot QQ. Ukuran sampel cukup besar sehingga Anda cenderung mengambil perbedaan kecil bahkan dari yang teoritis.
Glen_b -Reinstate Monica

Jawaban:

18

Saya tidak melihat akal untuk tidak "mempercayai" plot QQ (jika Anda sudah memproduksinya dengan benar); itu hanya representasi grafis dari realitas data Anda, disandingkan dengan distribusi definisi. Jelas itu bukan pasangan yang sempurna, tetapi jika itu cukup baik untuk tujuan Anda, itu mungkin lebih atau kurang akhir cerita. Anda mungkin ingin memeriksa pertanyaan terkait ini: Apakah pengujian normal 'pada dasarnya tidak berguna'?

hal

Apakah data Anda terlalu berbeda dari distribusi gamma untuk tujuan yang Anda tuju adalah pertanyaan lain. Tes KS sendiri tidak dapat menjawabnya untuk Anda (karena hasilnya akan tergantung pada ukuran sampel Anda, di antara alasan lain), tetapi plot QQ mungkin membantu Anda memutuskan. Anda mungkin juga ingin melihat ke dalam alternatif yang kuat untuk analisis lain yang Anda rencanakan untuk dijalankan, dan jika Anda sangat serius tentang kepekaan dari setiap analisis selanjutnya terhadap penyimpangan dari distribusi gamma, Anda mungkin ingin mempertimbangkan untuk melakukan beberapa pengujian simulasi juga .

Nick Stauner
sumber
15

Apa yang bisa Anda lakukan adalah membuat beberapa sampel dari distribusi teoretis Anda dan plotkan itu di latar belakang plot-QQ Anda. Itu akan memberi Anda gambaran tentang variabilitas seperti apa yang dapat Anda harapkan secara wajar dari hanya pengambilan sampel.

Anda dapat memperluas gagasan itu untuk membuat amplop di sekitar garis teoretis, menggunakan contoh dari halaman 86-89 dari:

Venables, WN dan Ripley, BD 2002. Statistik terapan modern dengan S. New York: Springer.

Ini akan menjadi amplop poin-bijaksana. Anda dapat memperluas gagasan itu lebih jauh untuk membuat amplop keseluruhan menggunakan ide-ide dari halaman 151-154 dari:

Davison, AC dan Hinkley, DV 1997. Metode bootstrap dan aplikasinya. Cambridge: Cambridge University Press.

Namun, untuk eksplorasi dasar saya pikir hanya memplot beberapa sampel referensi di latar belakang QQ-plot Anda akan lebih dari cukup.

Maarten Buis
sumber
Ide bagus! Ingatkan saya untuk membatalkan ini dalam 11 jam (menghabiskan semua suara saya di kartun ) ... Saya terutama suka bootstrap ECDF sebagai cara untuk memperkaya plot semacam itu.
Nick Stauner
1
Juga lihat paket CRAN sfsmisc, yang memiliki fungsi ecdf.ksCI membuat band kepercayaan pada plot ecdf. Gagasan yang sama dapat digunakan untuk menggambar pita kepercayaan pada plot QQ ...
kjetil b halvorsen
2

Tes KS mengasumsikan parameter tertentu dari distribusi Anda. Ini menguji hipotesis "data didistribusikan sesuai dengan distribusi khusus ini". Anda mungkin telah menentukan parameter ini di suatu tempat. Jika tidak, beberapa default yang tidak cocok mungkin telah digunakan. Perhatikan bahwa uji KS akan menjadi konservatif jika parameter yang diperkirakan dicolokkan ke hipotesis.

Namun, sebagian besar tes good-of-fit digunakan dengan cara yang salah. Jika tes KS tidak menunjukkan signifikansi, ini tidak berarti bahwa model yang ingin Anda buktikan sesuai. Itulah yang dikatakan @Nick Stauner tentang ukuran sampel yang terlalu kecil. Masalah ini mirip dengan tes hipotesis titik dan tes kesetaraan.

Jadi pada akhirnya: Hanya pertimbangkan plot-QQ.

Horst Grünbusch
sumber
-1

QQ Plot adalah teknik analisis data eksplorasi dan harus diperlakukan seperti itu - demikian juga semua plot EDA lainnya. Mereka hanya dimaksudkan untuk memberi Anda wawasan awal tentang data yang ada. Anda tidak boleh memutuskan atau menghentikan analisis Anda berdasarkan plot EDA seperti plot QQ. Ini adalah saran yang salah untuk mempertimbangkan plot QQ saja. Anda pasti harus menggunakan teknik kuantitatif seperti Tes KS. Misalkan Anda memiliki plot QQ lain untuk kumpulan data yang serupa, bagaimana Anda membandingkan keduanya tanpa alat kuantitatif? Langkah selanjutnya yang tepat bagi Anda, setelah tes EDA dan KS adalah untuk mencari tahu mengapa tes KS memberikan nilai-p rendah (dalam kasus Anda, itu bahkan bisa disebabkan oleh beberapa kesalahan).

Teknik EDA TIDAK dimaksudkan untuk berfungsi sebagai alat pengambilan keputusan. Bahkan, saya akan mengatakan bahkan statistik inferensial hanya dimaksudkan untuk eksplorasi. Mereka memberi Anda petunjuk ke arah mana analisis statistik Anda harus dilanjutkan. Misalnya, uji-t pada sampel hanya akan memberi Anda tingkat kepercayaan bahwa sampel tersebut mungkin (atau mungkin tidak) milik populasi, Anda masih dapat melanjutkan lebih lanjut berdasarkan wawasan tersebut mengenai distribusi data milik Anda dan apa adalah parameternya dll. Bahkan, ketika beberapa negara bahkan menerapkan teknik sebagai bagian dari perpustakaan pembelajaran mesin juga bersifat eksplorasi !!! Saya harap mereka bersungguh-sungguh dalam hal ini ...!

Untuk menyimpulkan keputusan statistik berdasarkan plot atau teknik visualisasi adalah mengejek kemajuan yang dibuat dalam ilmu statistik. Jika Anda bertanya kepada saya, Anda harus menggunakan plot ini sebagai alat untuk mengkomunikasikan kesimpulan akhir berdasarkan analisis statistik kuantitatif Anda.

Murugesan Narayanaswamy
sumber
Ini melarang saya untuk melakukan sesuatu yang sering saya lakukan dan menganggapnya masuk akal, membuat keputusan dengan plot eksplorasi dan berhenti sebelum tes signifikansi yang lebih formal. Tidak ada ejekan yang disyaratkan. Ini adalah komentar yang berulang dan dogmatis yang tidak menambahkan sesuatu yang berguna untuk jawaban yang sudah ada dan lebih bernuansa. Sangat mudah untuk membandingkan plot QQ ...
Nick Cox
Saya belum membaca jawaban lain tetapi jika mereka juga mendorong metode kuantitatif, saya baik-baik saja. Untuk pertanyaan yang diajukan, saya telah memberikan jawaban saya. Tapi, saya ingin tahu, tidak perlu banyak waktu untuk melakukan tes kuant formal (hanya beberapa menit lagi untuk melakukan tes KS) dengan paket yang sekarang tersedia seperti R, jadi mengapa ada yang berhenti di plot EDA? Tepat setelah memvalidasi hasil uji KS dari R dengan bootstrap, saya perhatikan di beberapa tempat di mana disebutkan tidak disukai untuk menggunakan dll, .. Apakah itu karena kecurigaan umum tentang metode stat tradisional? Ini adalah alasan di balik komentar saya yang
kuat..tidak
Anda benar-benar harus membaca jawaban lain sebelum memposting. Implikasi dari posting adalah bahwa Anda memiliki sesuatu yang berbeda (dan juga dapat dipertahankan) untuk dikatakan. Komentar Anda membingungkan karena menyiratkan bahwa plot QQ bukan "metode kuantitatif". Plot QQ pada prinsipnya menunjukkan semua informasi kuantitatif yang relevan dalam menilai kesesuaian distribusi. Sebaliknya, tes seperti Kolmogorov-Smirnov memberikan pengurangan satu dimensi dan tidak banyak membantu apa yang harus dilakukan selanjutnya.
Nick Cox
Plot QQ membandingkan distribusi teoritis dengan data uji yang diberikan dan memberikan representasi visual tetapi uji KS melakukan hal yang sama dengan cara yang jauh lebih ketat menggunakan konsep statistik dan akhirnya memberikan nilai probabilitas. Anda tidak dapat membandingkan dua plot QQ tetapi Anda akan mendapatkan perbedaan kuantitatif ketika Anda menggunakan tes KS. Adalah keliru bahwa nilai p tes KS salah. Juga salah bahwa kumpulan data empiris tidak dapat digunakan untuk mengekstrak parameter distribusi. Saya pribadi telah melakukan bootstrap dan diverifikasi dengan nilai p dengan kedua tabel dan distribusi kolomogrov yang dihitung secara manual.
Murugesan Narayanaswamy
Ada banyak shadow boxing dalam komentar Anda, Siapa yang berdebat di mana Anda tidak dapat menggunakan data empiris untuk mendapatkan estimasi parameter? Itulah yang harus kita semua sepakati sedang dilakukan di sini. Anda harus memaafkan saya karena tidak ingin melanjutkan diskusi. Saya mendukung reaksi saya terhadap jawaban Anda.
Nick Cox