Intuisi di belakang

10

Bentuk tertutup w dalam regresi Linear dapat ditulis sebagai

$\hat{w}=(X^TX)^{-1}X^Ty$

Bagaimana kita bisa secara intuitif menjelaskan peran dalam persamaan ini? $(X^TX)^{-1}$

regression least-squares matrix intuition matrix-inverse Darshak
sumber

2

Bisakah Anda menguraikan apa yang Anda maksud dengan "secara intuitif"? Misalnya, ada penjelasan yang sangat intuitif tentang ruang-ruang produk dalam yang disajikan dalam Jawaban Plane untuk Pertanyaan Kompleks Christensen , tetapi tidak semua orang akan menghargai pendekatan itu. Sebagai contoh lain, ada penjelasan geometris dalam jawaban saya di stats.stackexchange.com/a/62147/919 , tetapi tidak semua orang memandang hubungan geometris sebagai "intuitif."

whuber

Secara intuitif seperti apa arti $ (X ^ TX) ^ {- 1}? Apakah ini semacam perhitungan jarak atau sesuatu, saya tidak memahaminya.

Darshak

1

Itu sepenuhnya dijelaskan dalam jawaban yang saya tautkan.

whuber

Pertanyaan ini sudah ada di sini meskipun mungkin tidak dengan jawaban yang memuaskan math.stackexchange.com/questions/2624986/…

Sextus Empiricus

5

Saya menemukan posting ini sangat membantu:

Bagaimana cara mendapatkan estimator kuadrat terkecil untuk regresi linier berganda?

Hubungan antara SVD dan PCA. Bagaimana cara menggunakan SVD untuk melakukan PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Jika adalah matriks maka matriks mendefinisikan proyeksi ke ruang kolom dari . Secara intuitif, Anda memiliki sistem overdetermined persamaan, namun tetap ingin menggunakannya untuk menentukan peta linear yang akan memetakan baris dari untuk sesuatu yang dekat dengan nilai-nilai , $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ . Jadi kami setuju untuk mengirim ke hal terdekat ke yang dapat dinyatakan sebagai kombinasi linear dari fitur Anda (kolom ). $X$ $y$ $X$

Sejauh interpretasi , saya tidak punya jawaban yang menakjubkan belum. Saya tahu Anda dapat menganggap sebagai dasarnya adalah matriks kovarian dari dataset. $(X^TX)^{-1}$ $(X^TX)$

James McKeown
sumber

kadang-kadang disebut sebagai "sebar matriks" dan hanya versi yang ditingkatkan dari matriks kovarians

(X^{T} X)

$(X^T X)$

JacKeown

4

Sudut pandang geometris

Sebuah sudut pandang geometris dapat menjadi seperti n-dimensi vektor dan menjadi poin dalam n-dimensi-ruang . Dimana juga dalam subruang direntang oleh vektor-vektor . $y$ $X\beta$ $V$ $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

Dua jenis koordinat

Untuk subruang kita dapat membayangkan dua jenis koordinat yang berbeda : $W$

The $\boldsymbol{\beta}$ seperti koordinat untuk ruang biasa koordinat. Vektor dalam ruang adalah kombinasi linear dari vektor $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
The $\boldsymbol{\alpha}$ tidak koordinat dalam arti biasa, tetapi mereka menentukan titik di ruang bagian . Setiap berhubungan dengan proyeksi tegak lurus ke vektor . Jika kita menggunakan vektor satuan (untuk kesederhanaan) maka "koordinat" untuk vektor dapat dinyatakan sebagai: $W$ $\alpha_i$ $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
dan himpunan semua koordinat sebagai:

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

Pemetaan antara koordinat dan $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

untuk ekspresi "koordinat" $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ menjadi konversi dari koordinat ke "koordinat" $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

Anda bisa melihat sebagai menyatakan berapa banyak masing-masing $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ diproyeksikan ke yang lain $x_j$

Kemudian interpretasi geometris dapat dilihat sebagai peta dari proyeksi vektor "koordinat" ke koordinat linear . $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

Ekspresi memberikan proyeksi "koordinat" dari dan bergantian mereka ke . $\mathbf{X^Ty}$ $\mathbf{y}$ $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

Catatan : proyeksi "koordinat" dari adalah sama seperti proyeksi "koordinat" dari sejak . $\mathbf{y}$ $\mathbf{\hat{y}}$ $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Sextus Empiricus
sumber

Akun yang sangat mirip dengan stat topik.stackexchange.com/a/124892/3277 .

ttnphns

Memang sangat mirip. Bagi saya pandangan ini sangat baru dan saya harus menghabiskan malam untuk memikirkannya. Saya memang selalu melihat regresi kuadrat paling sedikit dalam hal proyeksi tetapi dalam sudut pandang ini saya tidak pernah mencoba untuk merealisasikan makna intuitif pada bagian

atau saya selalu melihatnya dalam ekspresi yang lebih tidak langsung

.

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$

Sextus Empiricus

3

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

$X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

Aksakal
sumber

Tetapi analogi itu sendiri tidak memberi tahu Anda apakah sebelum atau sesudah masa kadaluwarsa dengan kebalikannya.

kjetil b halvorsen

@kjetilbhalvorsen, saya menempatkan urutan operasi

Aksakal

Intuisi di belakang

Jawaban:

Sudut pandang geometris

Dua jenis koordinat

Pemetaan antara koordinat dan βαα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

Pemetaan antara koordinat dan $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$