Apakah ANOVA mengandalkan metode momen dan bukan pada kemungkinan maksimum?

13

Saya melihat disebutkan di berbagai tempat bahwa ANOVA melakukan estimasi menggunakan metode momen.

Saya bingung dengan pernyataan itu karena, meskipun saya tidak terbiasa dengan metode momen, pemahaman saya adalah bahwa itu adalah sesuatu yang berbeda dan tidak setara dengan metode kemungkinan maksimum; di sisi lain, ANOVA dapat dilihat sebagai regresi linier dengan prediktor kategoris dan estimasi OLS untuk parameter regresi adalah kemungkinan maksimum.

Begitu:

  1. Apa yang memenuhi syarat prosedur ANOVA sebagai metode momen?

  2. Mengingat bahwa ANOVA setara dengan OLS dengan prediktor kategorikal, bukankah itu kemungkinan maksimum?

  3. Jika kedua metode ini ternyata setara dalam kasus khusus ANOVA biasa, apakah ada beberapa situasi ANOVA khusus ketika perbedaannya menjadi penting? Desain tidak seimbang? Tindakan berulang? Desain campuran (antara-subyek + dalam-subyek)?

amuba kata Reinstate Monica
sumber
4
Dalam pengaturan yang sederhana, dan secara sederhana yang saya maksud adalah ANOVA satu dan dua arah, ANOVA berasal dari LRT di bawah distribusi normal dengan varian yang sama sehingga kemungkinan maksimum yang digunakan. Tentu saja untuk kasus normal, mle dan estimator ibu bertepatan sehingga perbedaannya tidak terlalu penting. Namun, dalam pengaturan yang lebih kompleks, daripada menurunkan LRT, kami mengandalkan regresi OLS. OLS hanya mle di bawah distribusi normal dan merupakan penaksir ibu dalam pengaturan yang lebih umum, jika kita memaksakan ortogonalitas dengan residu yang ada.
JohnK
1
@ JohnK, terima kasih banyak atas komentar Anda tetapi saya kesulitan memahami beberapa bagiannya, khususnya bagian kedua: apa "pengaturan yang lebih kompleks" di mana ANOVA bergantung pada OLS daripada LRT (dan mengapa)? Mengapa OLS bukan MLE dalam "pengaturan yang lebih umum" ini - saya pikir kesalahan normal selalu diasumsikan dalam skenario ANOVA? Apa yang harus dilakukan orthogonality dengan residu? Saya akan sangat menghargai jika Anda memperluas komentar Anda menjadi sebuah jawaban.
Amoeba berkata Reinstate Monica
2
@amuba. Saya mengedit jawaban saya untuk membahas poin pertama Anda tentang ANOVA sebagai metode penaksir momen. Itu hanya berlaku untuk efek acak.
Placidia

Jawaban:

12

Saya pertama kali menemukan ANOVA ketika saya menjadi mahasiswa Master di Oxford pada tahun 1978. Pendekatan modern, dengan mengajarkan variabel kontinu dan kategoris bersama-sama dalam model regresi berganda, mempersulit para ahli statistik muda untuk memahami apa yang sedang terjadi. Jadi dapat membantu untuk kembali ke masa yang lebih sederhana.

Dalam bentuk aslinya, ANOVA adalah latihan aritmatika di mana Anda memecah jumlah total kuadrat menjadi potongan-potongan yang terkait dengan perawatan, blok, interaksi, apa pun. Dalam pengaturan yang seimbang, jumlah kuadrat dengan makna intuitif (seperti SSB dan SST) menambah hingga jumlah total kuadrat yang disesuaikan. Semua ini bekerja berkat Teorema Cochran . Menggunakan Cochran, Anda dapat menghitung nilai yang diharapkan dari istilah-istilah ini di bawah hipotesis nol yang biasa, dan statistik F mengalir dari sana.

Sebagai bonus, setelah Anda mulai berpikir tentang Cochran dan jumlah kuadrat, masuk akal untuk terus mengiris dan mencelupkan jumlah pengobatan kuadrat menggunakan kontras ortogonal. Setiap entri dalam tabel ANOVA harus memiliki interpretasi yang menarik bagi ahli statistik dan menghasilkan hipotesis yang dapat diuji.

Baru-baru ini saya menulis jawaban di mana perbedaan antara metode MOM dan ML muncul. Pertanyaan itu muncul pada estimasi model efek acak. Pada titik ini, pendekatan ANOVA tradisional benar-benar memisahkan perusahaan dengan estimasi kemungkinan maksimum, dan perkiraan dampaknya tidak lagi sama. Ketika desain tidak seimbang, Anda tidak mendapatkan statistik F yang sama juga.

σp2σ2σ2+nσp2nσb2^. ANOVA menghasilkan metode estimator momen untuk varians efek acak. Sekarang, kita cenderung menyelesaikan masalah seperti itu dengan model efek campuran dan komponen varians diperoleh melalui estimasi kemungkinan maksimum atau REML.

ANOVA bukan merupakan metode prosedur momen. Ini berubah dengan memecah jumlah kuadrat (atau lebih umum, bentuk kuadrat dari respons) menjadi komponen yang menghasilkan hipotesis yang bermakna. Ini sangat tergantung pada normalitas karena kami ingin jumlah kuadrat untuk memiliki distribusi chi-kuadrat untuk tes F untuk bekerja.

Kerangka kerja kemungkinan maksimum lebih umum dan berlaku untuk situasi seperti model linier umum di mana jumlah kuadrat tidak berlaku. Beberapa perangkat lunak (seperti R) mengundang kebingungan dengan menentukan metode anova untuk uji rasio kemungkinan dengan distribusi chi-squared asimptotik. Orang dapat membenarkan penggunaan istilah "anova", tetapi secara tegas, teori di baliknya berbeda.

Placidia
sumber
2
Uji F dari ANOVA satu arah dan dua arah adalah tes rasio kemungkinan dan Anda dapat berkonsultasi dengan Hogg dan Craig, Intrduction to Mathematical Statistics, bab 9 jika Anda tidak percaya kepada saya. Selain itu, uji-F yang digunakan dalam regresi normal juga merupakan LRT, banyak referensi untuk itu di luar sana.
JohnK
1
Aku akan memeriksa. Untuk saat ini, saya telah menghapus paragraf.
Placidia
1
+1, terima kasih banyak atas jawabannya. Justru jawaban tertaut Anda yang memicu pertanyaan saya. Ada banyak hal yang saya tidak mengerti dengan apa yang Anda tulis. Saya akan bepergian selama Tahun Baru dan tidak memiliki waktu untuk memikirkannya, tetapi saya akan kembali ke utas ini setelah kembali pada Januari. Sementara itu, saya ingin sekali lagi mendorong @JohnK untuk mengirim jawaban yang meluas pada poin-poin yang dia buat dalam komentar. Saya sangat menghargai penjelasan yang lebih teknis, mungkin dengan contoh spesifik. Selamat Natal dan Tahun Baru untuk kalian semua!
Amoeba berkata Reinstate Monica
1
Selamat Natal juga untuk Anda. Dalam posting saya yang tertaut, saya hanya memikirkan estimasi varians efek acak, yang merupakan MOM dalam pendekatan tradisional. Maaf jika komentar saya terdengar lebih umum yang saya maksudkan.
Placidia
2
Setelah 1,5 tahun saya membaca kembali jawaban Anda dan menyadari bahwa itu cukup jelas, jadi saya akhirnya menandainya diterima :-) Ceria.
Amuba kata Reinstate Monica