Kolmogorov Smirnov Z vs Mann Whitney U ukuran sampel kecil n = 15?

8

Saya memiliki ukuran sampel kecil 15. Saya ingin melihat apakah ada perbedaan dalam asupan nutrisi antara dua variabel independen, grup 1 n = 11, grup 2 n = 4. Data tidak terdistribusi secara normal. Tes mana yang lebih tepat, tes Mann Whitney U atau Kolmogorov-Smirnov Z? Statistik Penemuan Andy Field menggunakan SPSS menyatakan bahwa KS Z harus digunakan untuk ukuran sampel kecil:

Kolmogorov-Smirnov Z: Dalam Bab 5 kami bertemu dengan tes Kolmogorov-Smirnov yang menguji apakah sampel berasal dari populasi yang berdistribusi normal. Ini tes yang berbeda! Bahkan, ia menguji apakah dua kelompok telah diambil dari populasi yang sama (terlepas dari apa populasi itu mungkin). Efeknya, ini artinya sama dengan tes Mann-Whitney! Namun, tes ini cenderung memiliki kekuatan yang lebih baik daripada tes Mann-Whitney ketika ukuran sampel kurang dari sekitar 25 per kelompok, dan karenanya layak dipilih jika itu yang terjadi.

Juga ketika melaporkan asupan bersama dengan nilai p, haruskah saya menggunakan mean dan standar deviasi atau median dan IQR karena data non-parametrik?

Saran apa pun akan sangat dihargai.

AMH40
sumber
3
Data adalah apa adanya; itu prosedur bukan data yang non-parametrik atau parametrik. Dalam hal ini, silakan kirim data. Non-normalitas ringan tidak berakibat fatal pada banyak prosedur.
Nick Cox
2
Pada teks oleh Field, lihat @whuber di stats.stackexchange.com/questions/157217/... "beberapa pertanyaan yang sangat membingungkan yang kita dapatkan di situs ini ... harus berasal dari pembaca buku itu. Penuh dengan kesalahan, informasi yang salah, dan perundingan langsung. "
Nick Cox
2
Saya juga akan sangat berhati-hati dengan buku itu. Akan lebih baik untuk mencari tahu apakah ada bukti bahwa beberapa klaim yang Anda kutip adalah benar daripada hanya menganggap mereka benar.
Glen_b -Reinstate Monica
Saya membaca pertanyaan ini karena Anda memiliki respons atau variabel hasil dan satu prediktor yang mendefinisikan dua kelompok. Variabel dependen dan variabel independen sering terbalik secara tidak sengaja, salah satu dari beberapa argumen untuk menghindari istilah-istilah tersebut, betapapun akrabnya mereka.
Nick Cox
Jawaban luar biasa dari @Glen_b secara alami tidak menjelaskan data spesifik Anda. Masih terbuka bagi Anda untuk mempostingnya dan membiarkan orang lain bermain dengan rekomendasi.
Nick Cox

Jawaban:

13

Jika pernyataan asli tidak membatasi kondisi yang berlaku secara substansial, Field salah dalam hal ini.

Menanggapi bagian yang dikutip:

Efeknya, ini artinya sama dengan tes Mann-Whitney!

Tidak, sebenarnya tidak. Mereka benar-benar menguji berbagai hal. Sebagai satu contoh, jika dua distribusi yang hampir simetris berbeda dalam penyebaran tetapi tidak berbeda lokasinya, Kolmogorov-Smirnov dapat mengidentifikasi perbedaan semacam itu (dalam sampel yang cukup besar relatif terhadap efeknya) tetapi Wilcoxon-Mann-Whitney tidak bisa.

Ini karena mereka dirancang untuk tujuan yang berbeda.

"Namun, tes ini cenderung memiliki kekuatan yang lebih baik daripada tes Mann-Whitney ketika ukuran sampel kurang dari sekitar 25 per kelompok, dan karenanya layak dipilih jika itu masalahnya."

Sebagai klaim umum, ini omong kosong. Terhadap hal-hal yang tidak diuji oleh Mann-Whitney memiliki kekuatan yang lebih baik, tetapi hal-hal yang dimaksudkan oleh Mann-Whitney tidak berlaku. Ini tidak berubah ketika .n<25

[Mungkin ada beberapa situasi di mana klaim itu benar; jika Field tidak menjelaskan dalam konteks apa klaimnya berlaku, saya tidak akan bisa menebaknya.]

Ini kurva daya untuk n = 20 per grup. Tingkat signifikansi sedikit di atas 3% untuk setiap tes (pada kenyataannya tingkat signifikansi yang dapat dicapai untuk KS sedikit lebih tinggi dan saya belum mencoba menggunakan tes acak untuk menyesuaikan perbedaan itu sehingga telah diberikan keuntungan kecil dalam perbandingan ini. ):

Plot daya pada berbagai shift untuk sampel normal di bawah shift alternatif pada n = 20 di setiap kelompok

Seperti yang kita lihat, dalam kasus ini (yang pertama saya coba) Wilcoxon-Mann-Whitney jelas lebih kuat.

Pada n = 5, Kolmogorov-Smirnov tetap kurang kuat untuk situasi ini. [Jadi, apa yang dia bicarakan? Apakah dia membandingkan kekuatan untuk beberapa situasi yang tidak disebutkan dalam kutipan? Saya tidak tahu, tetapi hanya mengenai apa yang dikutip di sini, kita tidak boleh menerima klaim itu begitu saja. Itu salah pada hal pertama yang saya periksa, dan - berdasarkan keakraban yang lebih luas dengan dua tes, saya siap bertaruh itu salah untuk banyak situasi lain.]

Pada ukuran sampel 4 dan 11 untuk alternatif shift (dan populasi normal), sekali lagi, Wilcoxon-Mann-Whitney lebih baik.

Dengan variabel yang Anda lihat, alternatif yang cocok mungkin lebih mirip perubahan skala; tetapi jika beberapa kekuatan (seperti akar kuadrat atau akar kata kubus atau lebih baik masih log) dari data Anda tidak terlalu tidak normal mencari hasil ini saya sebutkan harus relevan. Jika Anda memiliki data diskrit atau nol-inflasi yang mungkin membuat beberapa perbedaan, tetapi taruhan saya adalah bahwa Kolmogorov-Smirnov tidak mengambil alih Wilcoxon-Mann-Whitney maka baik. [Aku tidak akan mengejar ini saat ini karena tidak jelas apakah itu relevan dengan situasimu.]

Selain itu, tingkat signifikansi yang dapat dicapai dengan Kolmogorov-Smirnov sangat pas dengan ukuran sampel yang kecil. Anda seringkali tidak bisa mendapatkan tes yang mendekati tingkat signifikansi biasa yang mungkin Anda inginkan. (WMW melakukan jauh lebih baik daripada KS dalam kaitannya dengan ukuran tes yang tersedia. Ada cara yang rapi untuk secara dramatis meningkatkan gappiness situasi level ini tanpa kehilangan baik nonparametrik atau sifat berdasarkan peringkat tes seperti ini - yang juga tidak melibatkan pengujian acak - tetapi tampaknya sangat jarang digunakan karena beberapa alasan.)

Perhatikan bahwa saya dengan hati-hati memilih contoh yang membuat tingkat kedua tes hampir sebanding. Jika Anda hanya memilih setiap kali tanpa memperhatikan tingkat yang tersedia dan membandingkan nilai-p dengan itu, maka kegembiraan tingkat yang dapat dicapai Kolmogorov-Smirnov akan membuat kekuatannya jauh lebih buruk secara umum (meskipun akan sangat jarang membantu sedikit seperti di sini - keuntungan ini umumnya tidak banyak dan mungkin tidak cukup untuk membantu mengalahkan WMW pada tugas yang cocok untuknya).α=0.05

Jika Anda berada dalam situasi di mana Wilcoxon-Mann-Whitney menguji apa yang ingin Anda uji, saya pasti tidak akan merekomendasikan menggunakan Kolmogorov-Smirnov sebagai gantinya. Saya akan menggunakan setiap tes untuk apa yang mereka dirancang untuk menguji, di mana mereka cenderung melakukannya dengan cukup baik.

Cara terbaik untuk mengetahui yang terbaik adalah dengan mencoba beberapa simulasi dalam situasi yang realistis untuk jenis data yang akan Anda miliki. Maka Anda dapat melihat kapan itu melakukan apa.

Juga ketika melaporkan asupan bersama dengan nilai p, haruskah saya menggunakan mean dan standar deviasi atau median dan IQR karena data non-parametrik?

Data hanyalah data. Mereka bukan parametrik atau nonparametrik - itu adalah properti model dan prosedur inferensial yang kami gunakan yang bergantung pada mereka (estimasi, pengujian, interval). Parametrik berarti "didefinisikan hingga sejumlah parameter tetap," yang bukan merupakan atribut data tetapi model. Jika Anda tidak bisa hanya memberikan kedua set nilai (yang akan menjadi preferensi saya) dan sebaliknya harus memilih satu atau yang lain, yang lebih relevan secara ilmiah atau dalam kaitannya dengan pertanyaan yang Anda minati?

[Perhatikan bahwa Wilcoxon-Mann-Whitney tidak membandingkan cara atau median (kecuali Anda menambahkan beberapa asumsi saya yakin tidak mendekati penerapan dalam kasus ini). Kolmogorov-Smirnov juga tidak.]

Glen_b -Reinstate Monica
sumber