Casting model linear multivariat sebagai regresi berganda

Apakah menyusun kembali model regresi linier multivariat sebagai regresi linier berganda sepenuhnya setara? Saya tidak mengacu hanya menjalankan $t$ regresi terpisah.

Saya telah membaca ini di beberapa tempat (Bayesian Data Analysis - Gelman et al., Dan Multivariate Old School - Marden) bahwa model linier multivariat dapat dengan mudah dikalibrasi ulang sebagai regresi berganda. Namun, tidak ada sumber yang menjelaskan hal ini sama sekali. Mereka pada dasarnya hanya menyebutkannya, lalu terus menggunakan model multivariat. Secara matematis, saya akan menulis versi multivariat terlebih dahulu,

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$ mana variabel tebal adalah matriks dengan ukurannya di bawahnya. Seperti biasa,$\mathbf{Y}$adalah data,adalah matriks desain,adalah residu yang terdistribusi secara normal, danadalah apa yang kami tertarik untuk membuat kesimpulan.$\mathbf{X}$$\mathbf{R}$$\mathbf{B}$

Untuk reparameterize ini sebagai regresi linier berganda, satu hanya menulis ulang variabel sebagai:

$$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$$

di mana reparameterisasi yang digunakan adalah $\mathbf{y} = row(\mathbf{Y})$ , $\boldsymbol\beta = row(\mathbf{B})$ , dan $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ . $row()$ berarti baris-baris matriks disusun dari ujung ke ujung menjadi vektor yang panjang, dan $\otimes$ adalah kronecker, atau produk luar,.

Jadi, jika ini sangat mudah, mengapa repot-repot menulis buku tentang model multivariat, menguji statistik untuk mereka dll? Yang paling efektif adalah mengubah variabel terlebih dahulu dan menggunakan teknik univariat yang umum. Saya yakin ada alasan bagus, saya hanya kesulitan memikirkan satu, paling tidak dalam kasus model linier. Apakah ada situasi dengan model linear multivariat dan kesalahan acak yang terdistribusi normal di mana reparameterisasi ini tidak berlaku, atau membatasi kemungkinan analisis yang dapat Anda lakukan?

Sumber Saya telah melihat ini: Marden - Statistik Multivariat: Sekolah Tua. Lihat bagian 5.3 - 5.5. Buku ini tersedia gratis dari: http://istics.net/stat/

Gelman et al. - Analisis Data Bayesian. Saya memiliki edisi kedua, dan dalam versi ini ada paragraf kecil di Ch. 19 'Model Regresi Multivariat' berjudul: "Model regresi univariat setara"

Pada dasarnya, dapatkah Anda melakukan segalanya dengan model regresi univariat linier yang setara dengan model multivariat? Jika demikian, mengapa mengembangkan metode untuk model linier multivariat sama sekali?

Bagaimana dengan pendekatan Bayesian?

Pada dasarnya, dapatkah Anda melakukan segalanya dengan model regresi univariat linier yang setara dengan model multivariat?

Saya yakin jawabannya tidak.

Jika tujuan Anda hanyalah memperkirakan efek (parameter dalam ) atau untuk membuat prediksi lebih lanjut berdasarkan model, maka ya tidak masalah untuk mengadopsi formulasi model mana di antara keduanya.$\mathbf{B}$

Namun, untuk membuat kesimpulan statistik terutama untuk melakukan pengujian signifikansi klasik, formulasi multivariat tampaknya praktis tidak tergantikan. Lebih khusus lagi izinkan saya menggunakan analisis data khas dalam psikologi sebagai contoh. Data dari subjek dinyatakan sebagai$n$

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$

$k-1$$\mathbf{X}$$t$$\mathbf{Y}$

Dengan formulasi di atas, hipotesis linear umum dapat dengan mudah dinyatakan sebagai

$$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$$

$\mathbf{L}$$\mathbf{L}$$\mathbf{C}$$\mathbf{0}$

Keindahan sistem multivariat terletak pada pemisahannya antara dua jenis variabel, antara dan dalam subjek. Pemisahan inilah yang memungkinkan formulasi yang mudah untuk tiga jenis pengujian signifikansi di bawah kerangka kerja multivariat: pengujian multivariat klasik, pengujian multivariat tindakan berulang, dan pengujian berulang-ulang pengujian univariat. Selain itu, pengujian Mauchly untuk pelanggaran kebulatan dan metode koreksi yang sesuai (Greenhouse-Geisser dan Huynh-Feldt) juga menjadi alami untuk pengujian univariat dalam sistem multivarian. Ini adalah persis bagaimana paket statistik mengimplementasikan tes-tes seperti mobil di R, GLM di IBM SPSS Statistics, dan pernyataan DIulangi dalam PROC GLM dari SAS.

Saya tidak begitu yakin apakah formulasi penting dalam analisis data Bayesian, tetapi saya ragu kemampuan pengujian di atas dapat dirumuskan dan diimplementasikan di bawah platform univariat.

Kedua model sama jika Anda cocok dengan struktur varians-kovarians yang sesuai. Dalam model linear yang ditransformasikan, kita perlu menyesuaikan matriks varians-kovarian komponen kesalahan dengan produk kronecker yang memiliki ketersediaan terbatas dalam perangkat lunak komputasi yang tersedia. Teori Model Linier-Univariat, Multivariat, dan Model Campuran adalah referensi yang sangat baik untuk topik ini.

Diedit

Berikut ini adalah referensi bagus yang tersedia secara gratis.