Haruskah saya menyertakan argumen untuk meminta jumlah kuadrat tipe-III di ezANOVA?

16

Saya mengembangkan paket ez untuk R sebagai sarana untuk membantu transisi orang dari paket statistik seperti SPSS ke R. Ini (mudah-mudahan) dicapai dengan menyederhanakan spesifikasi berbagai rasa ANOVA, dan memberikan keluaran seperti SPSS (termasuk ukuran efek dan asumsi tes), di antara fitur-fitur lainnya. The ezANOVA()Fungsi sebagian besar berfungsi sebagai pembungkus untuk car::Anova(), tetapi versi saat ini ezANOVA()alat hanya tipe-II jumlah kuadrat, sedangkan car::Anova()izin spesifikasi dari kedua jenis-II atau -III jumlah kuadrat. Seperti yang seharusnya saya perkirakan, beberapa pengguna meminta saya memberikan argumenezANOVA()yang memungkinkan permintaan pengguna tipe-II atau tipe-III. Saya telah segan untuk melakukannya dan menguraikan alasan saya di bawah ini, tetapi saya akan menghargai masukan masyarakat pada alasan saya atau lainnya yang mendukung masalah ini.

Alasan untuk tidak menyertakan argumen "SS_type" di ezANOVA():

  1. Perbedaan antara kuadrat tipe I, II, dan III hanya muncul ketika data tidak seimbang, dalam hal ini saya akan mengatakan bahwa lebih banyak manfaat diperoleh dari memperbaiki ketidakseimbangan dengan pengumpulan data lebih lanjut daripada mengotak-atik perhitungan ANOVA.
  2. Perbedaan antara tipe II dan III berlaku untuk efek tingkat rendah yang memenuhi syarat oleh efek tingkat tinggi, dalam hal ini saya menganggap efek tingkat rendah secara ilmiah tidak menarik. (Tetapi lihat di bawah untuk kemungkinan komplikasi dari argumen)
  3. Untuk keadaan yang jarang terjadi ketika (1) dan (2) tidak berlaku (ketika pengumpulan data lebih lanjut tidak mungkin dan peneliti memiliki minat ilmiah yang valid dalam efek utama yang memenuhi syarat yang saat ini tidak dapat saya bayangkan), orang relatif dapat dengan mudah memodifikasi yang ezANOVA()sumber atau mempekerjakan car::Anova()dirinya untuk mencapai jenis tes III. Dengan cara ini, saya melihat upaya / pemahaman ekstra yang diperlukan untuk mendapatkan tes tipe III sebagai sarana yang saya dapat memastikan bahwa hanya mereka yang benar-benar tahu apa yang mereka lakukan untuk menempuh rute itu.

Sekarang, pemohon tipe-III terbaru menunjukkan bahwa argumen (2) dirusak oleh pertimbangan keadaan di mana efek orde tinggi yang "tidak signifikan" dapat membiaskan perhitungan jumlah kuadrat untuk efek orde rendah. Dalam kasus seperti itu dapat dibayangkan bahwa seorang peneliti akan melihat efek tingkat tinggi, dan melihat bahwa itu "tidak signifikan", beralih ke upaya interpretasi efek tingkat rendah yang, tanpa diketahui oleh peneliti, telah dikompromikan. Reaksi awal saya adalah bahwa ini bukan masalah dengan jumlah kuadrat, tetapi dengan nilai-p dan tradisi pengujian hipotesis nol. Saya menduga bahwa ukuran bukti yang lebih eksplisit, seperti rasio kemungkinan, mungkin lebih mungkin untuk menghasilkan gambaran yang kurang ambigu dari model yang didukung konsisten dengan data. Namun, saya berlindung

Mike Lawrence
sumber
2
Segera - ya. Cukup untuk memungkinkan konsistensi dengan paket lain (bahkan jika hasilnya "salah" dalam beberapa cara - dalam hal ini pijat peringatan akan baik-baik saja). Dan terima kasih atas paket luar biasa Anda!
Tal Galili
Ketika saya menulis "paket", saya maksudkan paket statistik lainnya (seperti SPSS dan SAS) - Saya senang orang lain telah mengarahkan poin lebih jauh ke rumah kemudian saya lakukan :)
Tal Galili
2
Seperti yang sudah banyak diketahui, paket ez saat ini (versi 3) telah memperbarui ezANOVA, yang memiliki argumen untuk Tipe SS dan mengembalikan model aov.
jiggysoo

Jawaban:

9

Hanya untuk memperkuat - saya adalah pemohon terbaru, saya percaya.

Dalam komentar spesifik tentang poin Mike:

  1. Jelas benar bahwa perbedaan I / II / III hanya berlaku dengan prediktor berkorelasi (di mana desain yang tidak seimbang adalah contoh paling umum, tentu saja dalam ANOVA faktorial) - tetapi bagi saya ini tampaknya merupakan argumen yang menolak analisis situasi yang tidak seimbang. (dan karenanya setiap debat Tipe I / II / III). Ini mungkin tidak sempurna, tetapi itulah yang terjadi (dan dalam banyak konteks, biaya pengumpulan data lebih besar daripada masalah statistik, meskipun peringatan).

  2. Ini benar-benar adil dan mewakili daging sebagian besar argumen "II lawan III, mendukung II" yang saya temui. Ringkasan terbaik yang saya temui adalah Langsrud (2003) "ANOVA untuk data yang tidak seimbang: Gunakan Tipe II sebagai ganti jumlah kuadrat Tipe III", Statistik dan Komputasi 13: 163-167 (Saya memiliki PDF jika dokumen asli sulit ditemukan ). Dia berpendapat (mengambil kasus dua faktor sebagai contoh dasar) bahwa jika ada interaksi, ada interaksi, jadi pertimbangan efek utama biasanya tidak berarti (titik yang jelas adil) - dan jika tidak ada interaksi, analisis Tipe II dari efek utama lebih kuat daripada Tipe III (tidak diragukan lagi), jadi Anda harus selalu menggunakan Tipe II. Saya telah melihat argumen lain (misalnya Venables,

  3. Dan saya setuju dengan ini: jika Anda memiliki interaksi tetapi memiliki beberapa pertanyaan tentang efek utama juga, maka Anda mungkin ke wilayah do-it-yourself.

Jelas ada orang-orang yang hanya ingin Tipe III karena SPSS melakukannya, atau referensi lain untuk otoritas yang lebih tinggi secara statistik. Saya tidak sepenuhnya menentang pandangan ini, jika menyangkut pilihan banyak orang yang bertahan dengan SPSS (yang saya hadapi beberapa hal, yaitu waktu, uang, dan kondisi kadaluwarsa lisensi) dan Tipe III SS, atau banyak orang yang beralih ke R dan Tipe III SS. Namun, argumen ini jelas lemah secara statistik.

Namun, argumen yang saya temukan lebih substansial dalam mendukung Tipe III adalah yang dibuat secara independen oleh Myers & Well (2003, "Desain Penelitian dan Analisis Statistik", hal. 323, 626-629) dan Maxwell & Delaney (2004, " Merancang Eksperimen dan Menganalisis Data: Perspektif Perbandingan Model ", hlm. 324-328, 332-335). Itu adalah sebagai berikut:

  • jika ada interaksi, semua metode memberikan hasil yang sama untuk jumlah interaksi kuadrat
  • Tipe II mengasumsikan bahwa tidak ada interaksi untuk pengujian efek utamanya; tipe III tidak
  • Beberapa (misalnya Langsrud) berpendapat bahwa jika interaksi tidak signifikan, maka Anda dibenarkan dengan asumsi bahwa tidak ada, dan melihat efek utama Tipe II yang lebih kuat.
  • Tetapi jika tes interaksi kurang bertenaga, namun ada interaksi, interaksi mungkin keluar "tidak signifikan" namun masih mengarah pada pelanggaran asumsi uji efek utama Tipe II, yang bias tes tersebut menjadi terlalu liberal .
  • Myers & Well mengutip Appelbaum / Cramer sebagai pendukung utama pendekatan Tipe II, dan lanjutkan [p323]: "... Kriteria yang lebih konservatif untuk tidak signifikannya interaksi dapat digunakan, seperti mensyaratkan bahwa interaksi tidak signifikan pada tingkat 0,25, tetapi ada pemahaman yang tidak memadai tentang konsekuensi dari bahkan pendekatan ini.Sebagai aturan umum, jumlah Tipe II dari sqaures tidak boleh dihitung kecuali ada alasan apriori yang kuat untuk menganggap tidak ada efek interaksi, dan interaksi yang jelas tidak signifikan jumlah kotak. " Mereka mengutip [p629] Secara keseluruhan, Lee & Hornick 1981 sebagai demonstrasi bahwa interaksi yang tidak mendekati signifikansi dapat membiaskan pengujian efek utama. Maxwell & Delaney [p334] menganjurkan pendekatan Tipe II jika interaksi populasi adalah nol, untuk kekuasaan, dan pendekatan Tipe III jika tidak [untuk interpretabilitas cara yang berasal dari pendekatan ini]. Mereka juga menganjurkan penggunaan Tipe III dalam situasi kehidupan nyata (ketika Anda membuat kesimpulan tentang keberadaan interaksi dari data) karena masalah membuat kesalahan tipe 2 [kurang bertenaga] dalam tes interaksi dan dengan demikian secara tidak sengaja melanggar asumsi pendekatan Tipe II SS; mereka kemudian membuat poin lebih lanjut yang serupa dengan Myers & Well, dan perhatikan debat panjang tentang masalah ini! membuat kesimpulan tentang adanya interaksi dari data) karena masalah membuat kesalahan tipe 2 [kurang bertenaga] dalam tes interaksi dan dengan demikian secara tidak sengaja melanggar asumsi pendekatan SS Tipe II; mereka kemudian membuat poin lebih lanjut yang serupa dengan Myers & Well, dan perhatikan debat panjang tentang masalah ini! membuat kesimpulan tentang adanya interaksi dari data) karena masalah membuat kesalahan tipe 2 [kurang bertenaga] dalam tes interaksi dan dengan demikian secara tidak sengaja melanggar asumsi pendekatan SS Tipe II; mereka kemudian membuat poin lebih lanjut yang serupa dengan Myers & Well, dan perhatikan debat panjang tentang masalah ini!

Jadi interpretasi saya (dan saya bukan ahli!) Adalah bahwa ada banyak Otoritas Statistik Tinggi di kedua sisi argumen; bahwa argumen yang biasa diajukan bukan tentang situasi biasa yang akan menimbulkan masalah (situasi itu menjadi yang biasa menafsirkan efek utama dengan interaksi yang tidak signifikan); dan bahwa ada alasan-alasan yang wajar untuk khawatir tentang pendekatan Tipe II dalam situasi itu (dan itu mengarah pada kekuatan versus potensi over-liberalisme).

Bagi saya, itu sudah cukup untuk mengharapkan opsi Tipe III di ezANOVA, dan juga Tipe II, karena (untuk uang saya) itu adalah antarmuka yang luar biasa untuk sistem ANOVA R. R adalah beberapa cara dari menjadi mudah digunakan untuk pemula, dalam pandangan saya, dan paket "ez", dengan ezANOVA dan fungsi merencanakan efek yang agak indah, berjalan jauh menuju membuat R dapat diakses oleh khalayak penelitian yang lebih umum. Beberapa pemikiran saya sedang dalam proses (dan hack jahat untuk ezANOVA) ada di http://www.psychol.cam.ac.uk/statistics/R/anova.html .

Akan tertarik mendengar pikiran semua orang!

Rudolf Cardinal
sumber
Ah, saya tidak menyadari bahwa perbedaan tipe II / III muncul setiap kali prediktor berkorelasi, di mana desain yang tidak seimbang hanya satu contoh. Ini tentu saja semakin menggerogoti argumen "hanya mengumpulkan data" pertama saya.
Mike Lawrence
2
Saya agak yakin dengan argumen Anda bahwa R akan mendapatkan lebih banyak SPSS yang dikonversi jika mereka dilengkapi dengan cara yang mudah untuk mencapai analisis yang akrab, bahkan jika analisis ini membutuhkan pertimbangan yang lebih bernuansa daripada yang biasanya diterapkan. Kemudian, setelah kita mengaitkannya dengan R, kita dapat mencoba meyakinkan mereka bahwa pendekatan yang akrab tidak selalu selalu pendekatan yang tepat. Saya pikir saya masih akan menempatkan default sebagai type = 2 dengan peringatan besar dalam dokumentasi bahwa default ini dapat menghasilkan hasil yang berbeda dari SPSS dan tautan melakukan dokumentasi pada perbedaan tipe II / III.
Mike Lawrence
Variasi lain pada prediktor berkorelasi biasanya dengan prediktor kontinu, tapi ya, itulah masalah umum. // Itu kedengarannya bagus untukku! Terkadang pergeseran ini lambat; penggunaan koreksi kebulatan (daripada mengabaikan masalah) adalah salah satu yang saya pikir telah terjadi kemajuan dalam ilmu saraf. Ada saat-saat ketika penyebutan itu (terutama jika Anda melaporkan df yang sudah diperbaiki, non-integer) membuat wasit berpikir Anda menggonggong.
Rudolf Cardinal
Saya ingin menambahkan bahwa argumen Tipe III semuanya tentang tes hipotesis konservatif atau liberal tetapi tidak tentang makna komponen. Efek utama pada Tipe III tidak masuk akal karena termasuk interaksi dengan efek utama yang hilang. Terlepas dari masalah pengujian konservatif atau liberal, koherensi model dasar memerlukan Tipe II karena efek utama Tipe II masuk akal. Yang mengatakan, ezANOVA harus memiliki Tipe III karena alasan lain.
John
7

Peringatan: jawaban murni non-statistik. Saya lebih suka bekerja dengan satu fungsi (atau setidaknya satu paket) ketika melakukan jenis analisis yang sama (misalnya, ANOVA). Hingga sekarang, saya secara konsisten menggunakan Anova()karena saya lebih suka sintaksnya untuk menentukan model dengan tindakan berulang - dibandingkan dengan aov(), dan kehilangan sedikit (SS tipe I) dengan langkah-langkah non-berulang. ezANOVA()bagus untuk manfaat tambahan ukuran efek. Tapi Yang paling tidak saya sukai adalah harus berurusan dengan 3 fungsi yang berbeda untuk melakukan dasarnya jenis analisis yang sama, hanya karena salah satu dari mereka mengimplementasikan fitur X (tapi bukan Y), dan yang lain Y (tetapi bukan X).

Untuk ANOVA, saya bisa memilih antara oneway(), lm(), aov(), Anova(), ezANOVA(), dan mungkin orang lain. Ketika mengajar R, sudah merupakan hal yang menyakitkan untuk menjelaskan berbagai pilihan, bagaimana mereka berhubungan satu sama lain ( aov()adalah pembungkus untuk lm()), dan fungsi mana yang melakukan apa:

  • oneway()hanya untuk desain faktor tunggal tetapi dengan opsi var.equal=FALSE. Tidak ada opsi seperti itu di dalam aov()dan lainnya, tetapi fungsi-fungsi itu juga untuk desain multifaktorial.
  • sintaks untuk tindakan berulang agak rumit dalam aov(), lebih baik masukAnova()
  • tipe SS nyaman I hanya di aov(), bukan diAnova()
  • SS tipe II dan III yang nyaman hanya di Anova(), bukan diaov()
  • ukuran efek nyaman dalam ezANOVA(), bukan pada orang lain

Akan rapi untuk hanya mengajarkan satu fungsi dengan satu sintaks yang konsisten yang melakukan semuanya. Tanpa SS tipe III yang mudah digunakan, ezANOVA()tidak dapat berfungsi seperti itu bagi saya karena saya tahu bahwa siswa akan diminta untuk menggunakannya di beberapa titik ("cukup periksa ulang hasil-hasil ini yang diperoleh John Doe dengan SPSS"). Saya merasa lebih baik memiliki pilihan untuk membuat pilihan sendiri tanpa harus mempelajari sintaks lain untuk menentukan model. Sikap "Aku tahu yang terbaik untukmu" mungkin memiliki kelebihan, tetapi bisa menjadi terlalu protektif.

caracal
sumber
1
Untuk menambahkan satu persyaratan lebih lanjut: Ini akan sangat luar biasa jika fungsinya juga dapat menjalankan semua jenis kontras dari ANOVA ini, misalnya, menggunakan multcomppaket (yang, sejauh yang saya ingat, memerlukan aovobjek). Kalau tidak, saya setuju sepenuhnya dan biasanya digunakan ezuntuk tugas sehari-hari saya, karena itu sangat mudah ...
Henrik
1
menambahkan argumen "metode" (dengan nilai yang mungkin sebagai "oneway", "aov", dan "Anova", dan dengan argumen "..." untuk meneruskan var.eq = FALSE ke oneway dan ketik = 2 ke Anova) adalah sebuah ide yang menarik, dan tampaknya cukup mudah untuk diintegrasikan. Terima kasih untuk sarannya.
Mike Lawrence
@ Henrik: Saya harus jujur ​​bahwa pemahaman saya tentang kontras sangat terbatas, dan saya tidak pernah menggunakannya dalam penelitian saya, jadi saya belum memprioritaskan penggabungan kontras ke dalam misalnya.
Mike Lawrence
@ Mike Jika Anda dapat menambahkan argumen metode dan fungsi Anda akan dapat mengembalikan aovelemen yang akan menjadi hebat. Sejauh ini saya biasanya malas untuk membuat aovelemen saya sendiri dan menggunakan Anda ezANOVAsebagai gantinya dengan t.tests ...
Henrik
@ Mike saya tidak berani menyarankan sesuatu seperti itu karena itu pekerjaan Anda yang Anda masukkan. Terima kasih untuk itu! The ezpaket memiliki beberapa potensi besar: dalam psikologi, itu sudah direkomendasikan cukup sering (lih buku Jerman "R für Einsteiger" oleh Luhmann). Membuatnya lebih fleksibel tentu akan dihargai.
caracal
2

Dunia R tidak terlalu suka Tipe 3 SS.

Salah satu referensi yang sering dikutip adalah "Exegeses on Linear Models" oleh Bill Venables (2000) .

Saya harap saya tidak salah menilai dia, tetapi saya pikir argumen utamanya adalah bahwa Tipe 3 SS melanggar prinsip marginalitas model linier dan karenanya tidak masuk akal.

Henrik
sumber
0

Ini telah menjadi perdebatan yang membuka mata tentang masalah tipe-II / III bagi saya. Terima kasih atas upaya semua orang dalam memberikan diskusi. Saya datang ke pandangan mempromosikan tipe-II secara konsisten di atas tipe-III, tetapi memiliki pemahaman yang lemah pada argumen - saya hanya mengandalkan saran dalam buku regresi (mobil) John fox yang menyarankan tes tipe-III jarang. dapat ditafsirkan (well, saya pikir dia mengatakan itu ...).

Bagaimanapun- ezANOVA benar-benar berguna untuk mengizinkan akses ke fungsionalitas R yang sebaliknya tidak mungkin dilakukan untuk mahasiswa sarjana yang saya ajar dalam psikologi. Saya menyediakan modul R online, yang menampilkan ezANOVA untuk mendemonstrasikan desain campuran ANOVA (walaupun tampaknya versi pra 3 mungkin sulit untuk ini ... doh!)

Cobalah di sini:

http://www.wessa.net/rwasp_Mixed%20Model%20ANOVA.wasp

setelah modul dimuat (~ 10s) temukan tombol hitung (setengah jalan di bawah halaman) dan itu akan menjalankan ezANOVA serta tabel dan plot yang terkait.

Ian


sumber
Ketika Anda mengatakan bahwa ez bermasalah untuk desain campuran ANOVA, apakah Anda mendasarkan ini pada pengumuman saya yang terbaru tentang versi 3.0 di mana saya perhatikan bahwa ada bug dalam kode ezMixed ()? Jika demikian, saya pikir Anda salah menafsirkan catatan itu. ezMixed () tidak terkait dengan ezANOVA (). ezMixed () berfungsi untuk membantu menilai pengaruh efek tetap dalam konteks pemodelan efek campuran.
Mike Lawrence
HI Mike - Anda benar - itu catatan Anda di ezMixed () Saya membaca dan salah mengartikan ini untuk ezANOVA ().