Bagaimana mereka semua versi dari metode statistik dasar yang sama?
regression
self-study
anova
generalized-linear-model
t-test
Amahabirsingh
sumber
sumber
Jawaban:
Pertimbangkan bahwa semuanya dapat ditulis sebagai persamaan regresi (mungkin dengan interpretasi yang sedikit berbeda dari bentuk tradisional mereka).
Regresi:
uji-t:
ANOVA:
Regresi prototipikal dikonseptualisasikan dengan sebagai variabel kontinu. Namun, satu-satunya asumsi yang benar-benar dibuat tentang X adalah bahwa ia adalah vektor konstanta yang diketahui. Ini bisa berupa variabel kontinu, tetapi bisa juga berupa kode dummy (yaitu, vektor 0 's & 1 's yang menunjukkan apakah pengamatan adalah anggota dari kelompok yang ditunjukkan - misalnya, kelompok perlakuan). Jadi, dalam persamaan kedua, X bisa berupa kode dummy, dan nilai-p akan sama dengan yang dari uji-t dalam bentuk yang lebih tradisional.X X 0 1 X
Namun, makna dari beta akan berbeda di sini. Dalam hal ini, akan menjadi rata-rata dari kelompok kontrol (yang entri dalam variabel dummy adalah 0 's), dan β 1β0 0 β1 akan menjadi perbedaan antara rata-rata dari kelompok perlakuan dan rata-rata dari kontrol kelompok.
Sekarang, ingatlah bahwa sangat masuk akal untuk memiliki / menjalankan ANOVA dengan hanya dua kelompok (walaupun uji-t lebih umum), dan Anda memiliki ketiganya terhubung. Jika Anda lebih suka melihat cara kerjanya jika Anda memiliki ANOVA dengan 3 kelompok; itu akan menjadi: Perhatikan bahwa ketika Anda memilikigrup g , Anda memilikikode tiruan g - 1 untuk mewakilinya. Grup referensi (biasanya grup kontrol) ditandai dengan memiliki 0 untuksemuakode dummy (dalam hal ini, baik kode dummy 1 & kode dummy 2). Dalam hal ini, Anda tidak ingin menafsirkan nilai-p dari uji-t untuk beta-beta ini yang datang dengan output statistik standar - mereka hanya menunjukkan apakah grup yang ditunjukkan berbeda dari grup kontrol.
Sehubungan dengan komentar @ whuber di bawah ini, ini juga dapat direpresentasikan melalui persamaan matriks:
Diwakili dengan cara ini, Y & ε adalah vektor dengan panjang N , dan β adalah vektor dengan panjang p + 1 . X sekarang menjadi matriks dengan N rows dan ( p + 1 ) kolom. Dalam regresi prototipikal Anda memiliki p variabel X kontinu dan intersep. Jadi, X Anda
Jika Anda mewakili ANOVA dengan grup dengan cara ini, ingatlah bahwa Anda akan memiliki variabel dummy g - 1 yang menunjukkan grup, dengan grup referensi ditunjukkan oleh pengamatan yang memiliki 0 's di setiap variabel dummy. Seperti di atas, Anda masih memiliki intersep. Jadi, p = g - 1 .g g- 1 0 p = g- 1
sumber
Mereka semua dapat ditulis sebagai kasus-kasus tertentu dari model linear umum.
Uji-t adalah kasus ANOVA dua sampel. Jika Anda kuadratkan statistik uji-t Anda mendapatkan sesuai di ANOVA.F
Model ANOVA pada dasarnya hanyalah model regresi di mana tingkat faktor diwakili oleh variabel dummy (atau indikator ) .
Jadi jika model untuk uji-t adalah bagian dari model ANOVA dan ANOVA adalah bagian dari model regresi berganda, regresi itu sendiri (dan hal-hal lain selain regresi) adalah bagian dari model linear umum , yang memperluas regresi ke spesifikasi yang lebih umum dari istilah kesalahan dari kasus regresi biasa (yang 'independen' dan 'sama-varian'), dan multivariat .Y
Berikut ini adalah contoh yang menunjukkan kesetaraan biasa (sama-variance) dua sample- analisis dan uji hipotesis dalam model regresi, dilakukan dalam R (data penampilan yang sebenarnya untuk dipasangkan, jadi ini tidak benar-benar analisis yang sesuai) :t
Perhatikan nilai p 0,079 di atas. Inilah anova satu arah:
Sekarang untuk regresi:
(beberapa output dihapus)
Bandingkan nilai p di baris 'group2', dan juga nilai p untuk uji-F di baris terakhir. Untuk tes dua sisi, ini adalah sama dan keduanya cocok dengan hasil uji-t.
Selanjutnya, koefisien untuk 'group2' mewakili perbedaan rata-rata untuk kedua kelompok.
sumber
Jawaban yang saya posting sebelumnya agak relevan, tetapi pertanyaan ini agak berbeda.
Anda mungkin ingin memikirkan perbedaan dan persamaan antara model linier berikut:
sumber
Anova mirip dengan uji-t untuk persamaan rata-rata dengan asumsi varians yang tidak diketahui tetapi sama di antara perawatan. Ini karena dalam ANOVA MSE identik dengan pooled-variance yang digunakan dalam uji-t. Ada versi lain dari uji-t seperti satu untuk varian yang tidak sama dan uji-t berpasangan. Dari pandangan ini, uji-t dapat lebih fleksibel.
sumber