Ketika kita ingin memperkirakan parameter regresi linier, kita membuat persamaan normal sebanyak model linier mengandung jumlah yang tidak diketahui. Mengapa persamaan ini disebut persamaan normal?
regression
least-squares
terminology
linear
Rashid Munir
sumber
sumber
Jawaban:
Saya akan memberikan apa yang mungkin merupakan pemahaman paling umum, kemudian beberapa detail tambahan.
Normal adalah istilah dalam geometri (Wikipedia):
yang pada gilirannya tampaknya berasal dari istilah untuk kotak tukang kayu atau tukang batu [1]
dan dari geometri istilah tersebut bergerak ke ruang vektor.
Jawaban langsung untuk "persamaan normal" diberikan di sini: http://mathworld.wolfram.com/NormalEquation.html
(Dalam notasi regresi biasa itu 'y- Xb normal ke kisaran X ')
Secara harfiah, residu kuadrat terkecil adalah tegak lurus (pada sudut kanan) ke ruang yang terbentang olehX .
Ituy -Vektor terletak di n ukuran. Rentang X-matrixhal dari mereka (atau p + 1 tergantung pada bagaimana notasi Anda diatur; jikaX adalah peringkat penuh, ini adalah jumlah kolom X). Solusi kuadrat terkecilXβ^ adalah titik terdekat dalam ruang yang direntang oleh X untuk itu y -Vektor (memang, secara harfiah proyeksi y ke ruang yang terbentang oleh X ). Ini harus menjadi kasus bahwa dengan meminimalkan jumlah kuadrat, perbedaannyay- Xβ^ adalah ortogonal ke ruang yang direntang oleh X . (Jika tidak, akan ada solusi yang lebih kecil.)
Namun, seperti yang dikemukakan Whuber dalam komentar, tidak begitu jelas.
Melihat [1] lagi:
Namun, metode persamaan normal sering dikreditkan ke Legendre, 1805.
[1] Miller, J. (ed) "Penggunaan awal dari beberapa kata matematika, N" dalam penggunaan awal dari beberapa kata matematika.
sumber