Solusi analitik untuk estimasi koefisien regresi-linier

Saya mencoba memahami notasi matriks, dan bekerja dengan vektor dan matriks.

Saat ini saya ingin memahami bagaimana vektor estimasi koefisien dalam regresi berganda dihitung.$\hat{\beta}$

Persamaan dasarnya tampaknya

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Sekarang bagaimana saya menyelesaikan vektor $\beta$ sini?

Sunting : Tunggu, saya mandek. Saya di sini sekarang dan tidak tahu bagaimana melanjutkan:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Dengan untuk semua menjadi intersep:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Bisakah Anda mengarahkan saya ke arah yang benar?

Kita punya

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Ini dapat ditunjukkan dengan menulis persamaan secara eksplisit dengan komponen. Misalnya, tulis alih-alih . Kemudian ambil turunan sehubungan dengan , , ..., dan susun semuanya untuk mendapatkan jawabannya. Untuk ilustrasi yang cepat dan mudah, Anda dapat mulai dengan . β β 1 β 2 β p p = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Dengan pengalaman seseorang mengembangkan aturan umum, beberapa di antaranya diberikan, misalnya dalam dokumen itu .

Edit untuk memandu bagian tambahan dari pertanyaan

Dengan , kita punya$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Turunan sehubungan dengan adalah$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Demikian pula, turunan sehubungan dengan adalah$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Karenanya, turunan sehubungan dengan adalah$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Sekarang, perhatikan Anda dapat menulis ulang ekspresi terakhir sebagai

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Tentu saja, semuanya dilakukan dengan cara yang sama untuk lebih besar .$p$

Anda juga dapat menggunakan formula dari buku masak Matrix . Kita punya

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Sekarang ambil turunan dari setiap istilah. Anda mungkin ingin memperhatikan bahwa . Turunan dari istilah sehubungan dengan adalah nol. Istilah yang tersisay ′ y $\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

adalah bentuk fungsi

$$f(x)=x'Ax+b'x,$$

dalam rumus (88) dalam buku di halaman 11, dengan , dan . Turunannya diberikan dalam rumus (89):A = X ′ X b = - 2 X ′$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

begitu

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Sekarang karena kami mendapatkan solusi yang diinginkan:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Berikut adalah teknik untuk meminimalkan jumlah kuadrat dalam regresi yang sebenarnya memiliki aplikasi ke pengaturan yang lebih umum dan yang menurut saya berguna.

Mari kita coba hindari kalkulus vektor-matriks sekaligus.

Misalkan kita tertarik untuk meminimalkan mana , dan . Kami berasumsi untuk kesederhanaan bahwa dan .y ∈ R n X ∈ R n × p β ∈ R p p ≤ n r a n k ( X ) =

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Untuk setiap , kita mendapatkan E=‖y-X β +X β -Xβ‖ 2 2 =‖y-X β ‖ 2 2 +‖X(β - β )‖ 2 2 -2(β- β )TXT(y-$\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Jika kita dapat memilih (menemukan!) Vektor sehingga istilah terakhir di sisi kanan adalah nol untuk setiap , maka kita akan selesai, karena itu akan menyiratkan bahwa . βminβE≥‖y-X β ‖ 2 $\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Tapi, untuk semua jika dan hanya jika dan persamaan terakhir ini benar jika dan hanya jika . Jadi diminimalkan dengan mengambil .β X T ( y - X β ) = 0 X T X β = X T y E β = ( X T X ) - 1 X T $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Meskipun ini mungkin tampak seperti "trik" untuk menghindari kalkulus, sebenarnya memiliki aplikasi yang lebih luas dan ada beberapa geometri yang menarik.

Salah satu contoh di mana teknik ini membuat derivasi jauh lebih sederhana daripada pendekatan kalkulus matriks-vektor adalah ketika kita menggeneralisasi ke kasus matriks. Biarkan , dan . Misalkan kita ingin meminimalkan di seluruh matriks parameter . Di sini adalah matriks kovarians.$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Pendekatan yang sepenuhnya analog dengan hal di atas dengan cepat menetapkan bahwa minimum diperoleh dengan mengambil Yaitu, dalam pengaturan regresi di mana respons adalah vektor dengan kovarians dan pengamatan independen, maka estimasi OLS diperoleh dengan melakukan regresi linier terpisah pada komponen respons.$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Salah satu cara yang dapat membantu Anda memahami adalah dengan tidak menggunakan aljabar matriks, dan membedakan dengan masing-masing sehubungan dengan masing-masing komponen, dan kemudian "menyimpan" hasilnya dalam vektor kolom. Jadi kita punya:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Sekarang Anda memiliki dari persamaan ini, satu untuk setiap beta. Ini adalah aplikasi sederhana dari aturan rantai:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Sekarang kita dapat menulis kembali jumlah di dalam braket sebagai Jadi Anda mendapatkan:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Sekarang kita memiliki dari persamaan ini, dan kita akan "menumpuknya" dalam vektor kolom. Perhatikan bagaimana adalah satu-satunya istilah yang bergantung pada , jadi kita dapat menumpuknya ke vektor dan kita mendapatkan:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Sekarang kita dapat mengambil beta di luar jumlah (tetapi harus tetap pada RHS jumlah), dan kemudian mengambil invervse:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$