Pertanyaan tentang bukti persamaan normal

Bagaimana Anda dapat membuktikan bahwa persamaan normal: memiliki satu atau lebih solusi tanpa asumsi bahwa X tidak dapat dibalik?$(X^TX)\beta = X^TY$

Satu-satunya tebakan saya adalah bahwa itu ada hubungannya dengan invers umum, tetapi saya benar-benar tersesat.

Seseorang tergoda untuk menjadi fasih dan menunjukkan bahwa karena bentuk kuadrat

$$\beta \to (Y - X\beta)'(Y - X\beta)$$

adalah semi-pasti positif, terdapat yang minimum dan minimum ditemukan (dengan mengatur gradien terhadap β ke nol) dengan persamaan normal$\beta$$\beta$

$$X'X(Y - X\beta) = 0,$$

mana harus ada setidaknya satu solusi terlepas dari pangkat $X'X$ . Namun, argumen ini tampaknya tidak dalam semangat pertanyaan, yang tampaknya merupakan pernyataan aljabar murni. Mungkin menarik untuk memahami mengapa persamaan seperti itu harus memiliki solusi dan dalam kondisi apa tepatnya. Jadi mari kita mulai dan berpura-pura kita tidak tahu hubungannya dengan kuadrat terkecil.

---

Ini semua bermuara pada makna , transpos dari X . Ini akan berubah menjadi masalah definisi sederhana, notasi yang sesuai, dan konsep bentuk sesquilinear negegenerasi. Ingatlah bahwa X adalah "matriks desain" dari n baris (satu untuk setiap pengamatan) dan kolom p (satu untuk setiap variabel, termasuk konstanta jika ada). Oleh karena itu merupakan transformasi linear dari ruang vektor V = R p ke W = R n .$X'$$X$$X$$n$$p$$\mathbb V = \mathbb{R}^p$$\mathbb W = \mathbb{R}^n$

Transpos , dianggap sebagai transformasi linear , adalah transformasi linear dari ruang ganda X ′ : W ∗ → V ∗ . Dalam rangka untuk memahami komposisi seperti X ' X , maka, perlu untuk mengidentifikasi W * dengan W . Itulah apa produk dalam standar (jumlah kuadrat) pada W tidak.$X$ $X': \mathbb{W}^* \to \mathbb{V}^*$$X'X$$\mathbb{W}^*$$\mathbb{W}$$\mathbb{W}$

Sebenarnya ada dua produk dalam dan g W didefinisikan pada V dan W masing-masing. Ini adalah fungsi simetris bilinear bernilai nyata yang tidak merosot . Yang terakhir berarti itu$g_V$$g_W$$\mathbb V$$\mathbb W$

$$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$$

dengan pernyataan analog untuk . Secara geometris, produk dalam ini memungkinkan kita untuk mengukur panjang dan sudut. Kondisi g ( u , v ) = 0 dapat dianggap sebagai u "tegak lurus" terhadap v . Nondegenerasi berarti bahwa hanya vektor nol yang tegak lurus terhadap seluruh ruang vektor. (Berarti umum ini bahwa hasil yang diperoleh di sini akan berlaku untuk kuadrat umum pengaturan, yang g W belum tentu biasa produk dalam yang diberikan sebagai jumlah dari produk komponen, tetapi beberapa bentuk nondegenerate sewenang-wenang. Kita bisa membuang $g_V$$g(u,v)=0$$u$$v$$g_W$ sama sekali, mendefinisikan X ′ : W → V ∗ , tetapi saya berharap banyak pembaca menjadi tidak terbiasa atau tidak nyaman dengan spasi ganda dan karenanya memilih untuk menghindari formulasi ini.)$g_V$$X':\mathbb W\to\mathbb V^*$

Dengan produk dalam ini di tangan, transpos setiap transformasi linear didefinisikan oleh X ′ : W → V via$X: \mathbb V \to \mathbb W$$X': \mathbb W \to \mathbb V$

$$g_V(X'(w), v) = g_W(w, X(v))$$

untuk semua dan v ∈ V . Bahwa sebenarnya ada vektor X ′ ( w ) ∈ V dengan properti ini dapat dibuat dengan menuliskan sesuatu dengan basis untuk V dan W ; bahwa vektor ini unik mengikuti dari non-degenerasi produk dalam. Karena jika v 1 dan v 2 adalah dua vektor yang g V ( v 1 , v ) = g V ( v 2 , $w\in \mathbb W$$v\in \mathbb V$$X'(w) \in \mathbb V$$\mathbb V$$\mathbb W$$v_1$$v_2$ untuk semua v ∈ V , kemudian (dari linieritas dalam komponen pertama) g V ( v 1 - v 2 , v ) = 0 untuk semua v yang menyiratkan v 1 - v 2 = 0 .$g_V(v_1,v)=g_V(v_2,v)$$v\in\mathbb V$$g_V(v_1-v_2,v)=0$$v$$v_1-v_2=0$

$\mathbb U \subset \mathbb W,$$\mathbb{U}^\perp$$\mathbb U$$X(\mathbb V)$$X$$\{X(v) | v \in \mathbb V\} \subset \mathbb W$$X$$X'$

$$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$$

$w$$X'$$w$$X$

1. $X'(w) = 0$$g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$$v\in\mathbb V$$w$$X(V)$

2. $w$$X(\mathbb V)$$g_W(w, X(v)) = 0$$v\in\mathbb V$$g_V(X'(w), v) = 0$$g_V$$X'(w)=0$

$\mathbb W$$\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$$y = y_0 + y^\perp$$y_0\in X(\mathbb V)$$y^\perp \in X(\mathbb V)^\perp$$y_0$$X(\beta)$$\beta\in\mathbb V$

$$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$$

$X'$

$$X'(y - X\beta) = 0,$$

$\beta$$X'X\beta = X'y.$

---

$n$$y\in\mathbb W$$y_0$$X$$y^\perp$$y_0$$y_0$$p$$\beta\in\mathbb V$$X(\mathbb V)$$X$$X$$\mathbb V$$\mathbb W$

$\mathbb V$$\mathbb U = X(\mathbb V)\subset\mathbb W$$X$$\mathbb U$

---

Salah satu hasil menarik dari demonstrasi aljabar abstrak ini adalah bahwa kita dapat menyelesaikan persamaan normal dalam ruang vektor sewenang-wenang. Hasilnya berlaku, misalnya, untuk ruang kompleks, untuk ruang di atas bidang terbatas (di mana meminimalkan jumlah kuadrat tidak masuk akal), dan bahkan lebih dari ruang dimensi tak terbatas yang mendukung bentuk berurutan yang sesuai.

$n$$X^T X$$x$$x_i=x$$y$$\overline{y}$

Dalam regresi tipikal, X adalah kurus dan oleh karena itu jelas tidak dapat dibalik (walaupun mungkin dibiarkan tidak dapat dibalik.) Sangat mudah untuk membuktikan (tanyakan apakah Anda perlu bantuan) bahwa jika X kurus dan dibiarkan tidak dapat dibalik maka X ^ T * X tidak dapat dibalik. Dalam hal ini, maka akan ada tepat satu solusi. Dan jika X tidak memiliki peringkat kolom penuh, maka X ^ T * X tidak akan menjadi peringkat penuh, dan karena itu Anda akan memiliki sistem yang tidak ditentukan.