Menghapus faktor dari tabel ANOVA 3 arah

14

Dalam makalah baru-baru ini, saya memasang model efek tetap tiga arah. Karena salah satu faktor tidak signifikan (p> 0,1), saya menghapusnya dan memasang kembali model dengan dua efek tetap dan interaksi.

Saya baru saja mendapat komentar wasit kembali, mengutip:

Waktu itu bukan merupakan faktor yang signifikan dalam ANOVA 3-arah itu sendiri bukan kriteria yang cukup untuk mengumpulkan faktor waktu: teks standar tentang masalah ini, Underwood 1997, berpendapat bahwa nilai p untuk efek yang tidak signifikan harus lebih besar dari 0,25 sebelum tingkat pengobatan faktor dapat dikumpulkan. Para penulis harus memberikan nilai-p yang relevan di sini, dan membenarkan penyatuan mereka dengan mengacu pada Underwood 1997.

Pertanyaan saya adalah:

  1. Saya belum pernah mendengar tentang aturan 0.25. Apakah ada orang lain? Saya bisa mengerti tidak menghapus faktor jika p-value dekat dengan cut-off, tetapi memiliki "aturan" tampaknya agak ekstrem.
  2. Wasit ini menyatakan bahwa Underwood 1997 adalah teks standar. Benarkah itu? Saya tidak pernah mendengarnya. Apa yang akan menjadi teks standar (apakah ada hal seperti itu)? Sayangnya, saya tidak memiliki akses ke Underwood ini, 1997.
  3. Setiap saran saat menanggapi wasit.

Latar belakang: makalah ini diserahkan ke jurnal non-statistik. Ketika memasang model tiga arah saya memeriksa efek interaksi.

anova fixed-effects-model csgillespie
sumber
p≥.25
2
p≥somethingppp
5
Itu akan menjadi respons yang menarik bagi seorang wasit: "Kami berterima kasih kepada wasit atas komentar mereka, tetapi berpikir mereka agak tolol";) Tapi komentar yang bagus.
csgillespie

Jawaban:

15

Saya menduga Underwood yang dimaksud adalah Experiments in Ecology (Cambridge Press 1991). Ini referensi standar yang kurang lebih dalam ilmu ekologi, mungkin ketiga di belakang Zar dan Sohkol dan Rohlf (dan menurut saya yang paling 'dapat dibaca' dari ketiganya)

Jika Anda dapat menemukan salinannya, bagian yang relevan yang dikutip oleh wasit Anda ada di 9,7 pada hal.273. Di sana Underwood menyarankan prosedur pengumpulan yang disarankan (jadi bukan 'aturan' per se ) untuk faktor-faktor yang tidak signifikan. Ini adalah prosedur 2 langkah yang terus terang saya tidak begitu mengerti, tetapi hasilnya adalah p = 0,25 disarankan untuk mengurangi kemungkinan kesalahan Tipe I ketika mengumpulkan faktor yang tidak signifikan (jadi tidak ada hubungannya dengan 'waktu' di contoh Anda, bisa jadi ada faktor non-sig).

Prosedur itu sebenarnya tidak tampak seperti Underwood's, ia sendiri mengutip Winer et al 1991 ( Prosedur Statistik dalam Desain Eksperimental McGraw-Hill). Anda dapat mencoba di sana jika Anda tidak dapat menemukan salinan Underwood.

Chris
sumber
4
+1 Jawaban yang bagus: jelas, to the point, berwawasan luas, dan berwibawa.
Whuber
@ Chris, maksud Anda "mengurangi probabilitas kesalahan Tipe II" (bukan tipe I) di atas? Motivasi untuk tidak menghilangkan faktor dari model adalah untuk mencegah studi berdaya rendah yang memungkinkan penghapusan penyebab asli (yaitu, Tipe II menyimpulkan variabel tidak berpengaruh), sementara juga menggembungkan efek nyata dari parameter yang tersisa dalam model jika mereka dikorelasikan dengan variabel yang sekarang dihapus. Karena efek samping akan menghasilkan kesalahan Tipe-I, mungkin Underwood menyarankan untuk meninggalkan efek untuk mengontrol kesalahan Tipe 1 dan Tipe II, yaitu, memaksimalkan validitas model?
tim
10

Saya benci aturan semacam ini. Saya pikir itu tergantung pada desain dan apa hipotesis dan harapan a priori Anda . Jika Anda mengharapkan hasil bervariasi dengan waktu maka saya akan mengatakan Anda harus menjaga waktu, seperti yang Anda lakukan untuk faktor 'memblokir' lainnya. Di sisi lain, jika Anda mereplikasi percobaan yang sama di waktu yang berbeda dan tidak punya alasan untuk berpikir hasilnya akan berbeda dengan waktu tetapi ingin memeriksa ini masalahnya, maka setelah melakukannya dan menemukan sedikit atau tidak ada bukti untuk itu bervariasi dengan waktu, saya akan mengatakan itu cukup masuk akal untuk kemudian menjatuhkan waktu.

Saya belum pernah mendengar tentang Underwood sebelumnya. Ini mungkin sebuah teks standar untuk 'Eksperimen di Ekologi' (judul buku), tetapi tidak ada alasan yang jelas bahwa eksperimen dalam ekologi harus diperlakukan secara berbeda dari setiap percobaan lain dalam hal ini, sehingga untuk melihatnya sebagai " the teks standar pada masalah ini "sepertinya tidak bisa dibenarkan.

onestop
sumber
1
Sebelum percobaan, diyakini bahwa faktornya akan signifikan. Namun, itu dibanjiri oleh dua efek lainnya. Saya menghapus faktor karena menyimpannya tidak mengubah kesimpulan dan hanya membuat penjelasan lebih sulit.
csgillespie
2
Hmm, dalam hal ini saya pikir saya akan menyimpannya. Saya tidak bisa melihat mengapa itu membuat penjelasan lebih sulit, dan karena Anda telah menemukan mungkin lebih sulit untuk menjelaskan mengapa Anda menjatuhkannya daripada mengapa Anda menyimpannya!
onestop
Saya mengambil poin Anda, meskipun saya tidak 100% setuju dengan itu. Saya dapat dengan mudah melihat wasit lain yang menyarankan agar Anda menghapus faktornya (itulah yang direkomendasikan oleh bio-ahli statistik yang saya ucapkan juga). Seperti yang Anda sebutkan, ketika itu adalah area abu-abu, aturan yang arbitrer bukanlah jalan yang harus ditempuh. Jika kita ingin menyesatkan kita tidak akan pernah menyebutkan bahwa faktor lain pernah terlibat! Benar-benar tidak etis, tetapi saya curiga itu terjadi.
csgillespie
1

silakan baca teks Underwood dan referensi di dalamnya, itu bukan aturan, silakan baca. Sebenarnya pendekatan ini adalah untuk mengontrol kesalahan tipe II ketika menghapus (atau mengumpulkan) istilah "tidak signifikan" dalam model. Bagaimana jika istilah yang Anda hapus memiliki tingkat signifikansi 0,06? Apakah Anda benar-benar yakin bahwa MS yang diharapkan tidak menyertakan efek tambahan karena faktor tersebut ?. Jika Anda menghapus istilah itu, Anda mengasumsikan bahwa MS yang diharapkan tidak termasuk efek tambahan karena pengobatan itu TETAPI ANDA HARUS agak terlindungi dari kesalahan tipe II !. tolong permisi miskin saya dan buru-buru bahasa Inggris !.

AnastD
sumber