Casting model linear multivariat sebagai regresi berganda

20

Apakah menyusun kembali model regresi linier multivariat sebagai regresi linier berganda sepenuhnya setara? Saya tidak mengacu hanya menjalankan t regresi terpisah.

Saya telah membaca ini di beberapa tempat (Bayesian Data Analysis - Gelman et al., Dan Multivariate Old School - Marden) bahwa model linier multivariat dapat dengan mudah dikalibrasi ulang sebagai regresi berganda. Namun, tidak ada sumber yang menjelaskan hal ini sama sekali. Mereka pada dasarnya hanya menyebutkannya, lalu terus menggunakan model multivariat. Secara matematis, saya akan menulis versi multivariat terlebih dahulu,

Yn×t=Xn×kBk×t+Rn×t,
mana variabel tebal adalah matriks dengan ukurannya di bawahnya. Seperti biasa,Yadalah data,adalah matriks desain,adalah residu yang terdistribusi secara normal, danadalah apa yang kami tertarik untuk membuat kesimpulan.XRB

Untuk reparameterize ini sebagai regresi linier berganda, satu hanya menulis ulang variabel sebagai:

ynt×1=Dnt×nkβnk×1+rnt×1,

di mana reparameterisasi yang digunakan adalah y=row(Y) , β=row(B) , dan D=XIn . row() berarti baris-baris matriks disusun dari ujung ke ujung menjadi vektor yang panjang, dan adalah kronecker, atau produk luar,.

Jadi, jika ini sangat mudah, mengapa repot-repot menulis buku tentang model multivariat, menguji statistik untuk mereka dll? Yang paling efektif adalah mengubah variabel terlebih dahulu dan menggunakan teknik univariat yang umum. Saya yakin ada alasan bagus, saya hanya kesulitan memikirkan satu, paling tidak dalam kasus model linier. Apakah ada situasi dengan model linear multivariat dan kesalahan acak yang terdistribusi normal di mana reparameterisasi ini tidak berlaku, atau membatasi kemungkinan analisis yang dapat Anda lakukan?

Sumber Saya telah melihat ini: Marden - Statistik Multivariat: Sekolah Tua. Lihat bagian 5.3 - 5.5. Buku ini tersedia gratis dari: http://istics.net/stat/

Gelman et al. - Analisis Data Bayesian. Saya memiliki edisi kedua, dan dalam versi ini ada paragraf kecil di Ch. 19 'Model Regresi Multivariat' berjudul: "Model regresi univariat setara"

Pada dasarnya, dapatkah Anda melakukan segalanya dengan model regresi univariat linier yang setara dengan model multivariat? Jika demikian, mengapa mengembangkan metode untuk model linier multivariat sama sekali?

Bagaimana dengan pendekatan Bayesian?

bill_e
sumber
Itu pertanyaan yang bagus. Mungkin Anda bisa meminta lebih banyak dalam hal fondasi daripada struktur.
Subhash C. Davar
1
Apa yang Anda maksud dengan fondasi daripada struktur? Bisakah Anda menguraikan?
bill_e
Perlu dicatat bahwa saya hanya belajar dua makalah sebagai bagian dari gelar pertama dan pascasarjana lama saya, saya tidak memiliki perawatan dalam deskripsi teknis. Saya mengerti bahwa analisis Multivariat memiliki asumsi yang berbeda jika dibandingkan dengan regresi linier berganda atau model regresi linier sederhana. Asumsi untuk analisis Multivariat berbeda yaitu ekspektasi matematis berlaku. regresi linier berganda membuat asumsi tertentu lainnya yang menghasilkan heteroscedatisticity. Struktur di sini yang saya maksud mengacu pada persamaan Anda.
Subhash C. Davar
Anda harus mengatakannya dengan jelas dalam judul atau awal apakah Anda berbicara tentang model linear multivariat (umum) atau tentang regresi multivariat bayesian .
ttnphns
1
Ok, jadi .. itu bukan pendekatan saya , saya tunjukkan dua tempat saya telah melihat ini. Pendekatannya adalah inti dari masalah ini. Apa perbedaan antara versi multivarian dan versi univariat yang dikalibrasi ulang?
bill_e

Jawaban:

5

Pada dasarnya, dapatkah Anda melakukan segalanya dengan model regresi univariat linier yang setara dengan model multivariat?

Saya yakin jawabannya tidak.

Jika tujuan Anda hanyalah memperkirakan efek (parameter dalam ) atau untuk membuat prediksi lebih lanjut berdasarkan model, maka ya tidak masalah untuk mengadopsi formulasi model mana di antara keduanya.B

Namun, untuk membuat kesimpulan statistik terutama untuk melakukan pengujian signifikansi klasik, formulasi multivariat tampaknya praktis tidak tergantikan. Lebih khusus lagi izinkan saya menggunakan analisis data khas dalam psikologi sebagai contoh. Data dari subjek dinyatakan sebagain

Yn×t=Xn×kBk×t+Rn×t,

k1XtY

Dengan formulasi di atas, hipotesis linear umum dapat dengan mudah dinyatakan sebagai

LBM=C,

LLC0

Keindahan sistem multivariat terletak pada pemisahannya antara dua jenis variabel, antara dan dalam subjek. Pemisahan inilah yang memungkinkan formulasi yang mudah untuk tiga jenis pengujian signifikansi di bawah kerangka kerja multivariat: pengujian multivariat klasik, pengujian multivariat tindakan berulang, dan pengujian berulang-ulang pengujian univariat. Selain itu, pengujian Mauchly untuk pelanggaran kebulatan dan metode koreksi yang sesuai (Greenhouse-Geisser dan Huynh-Feldt) juga menjadi alami untuk pengujian univariat dalam sistem multivarian. Ini adalah persis bagaimana paket statistik mengimplementasikan tes-tes seperti mobil di R, GLM di IBM SPSS Statistics, dan pernyataan DIulangi dalam PROC GLM dari SAS.

Saya tidak begitu yakin apakah formulasi penting dalam analisis data Bayesian, tetapi saya ragu kemampuan pengujian di atas dapat dirumuskan dan diimplementasikan di bawah platform univariat.

bluepole
sumber
Begitu ya, ini masuk akal. Terima kasih atas jawabannya. Saya juga ingin mendengar perspektif Bayesian.
bill_e
@PeterRabbit Jika Anda menyukai jawabannya, harap sampaikan terima kasih Anda kepada bluepole dengan menerima jawabannya. Dia akan mendapatkan poin.
pteetor
Saya akan, saya hanya mengulurkan sedikit untuk melihat apakah ada yang akan menawarkan perspektif Bayesians sekalipun.
bill_e
4

Kedua model sama jika Anda cocok dengan struktur varians-kovarians yang sesuai. Dalam model linear yang ditransformasikan, kita perlu menyesuaikan matriks varians-kovarian komponen kesalahan dengan produk kronecker yang memiliki ketersediaan terbatas dalam perangkat lunak komputasi yang tersedia. Teori Model Linier-Univariat, Multivariat, dan Model Campuran adalah referensi yang sangat baik untuk topik ini.

Diedit

Berikut ini adalah referensi bagus yang tersedia secara gratis.

MYaseen208
sumber
2
Oh ok, jadi dalam model univariat normal, tidak ada jenis struktur kovarians "dalam" DV. Oleh karena itu tes hipotesis yang berkaitan dengan itu tidak ada. Terima kasih! Saya akan melihat apakah saya dapat mengambil buku itu.
bill_e