Mengapa kita menyebut persamaan estimasi kuadrat terkecil dalam regresi linier sebagai * persamaan normal *?

11

Ketika kita ingin memperkirakan parameter regresi linier, kita membuat persamaan normal sebanyak model linier mengandung jumlah yang tidak diketahui. Mengapa persamaan ini disebut persamaan normal?

Rashid Munir
sumber
7
Mengapa membatalkan ini? Itu lebih baik daripada seseorang memposting pekerjaan rumah atau masalah tes mereka.
Mark L. Stone

Jawaban:

11

Saya akan memberikan apa yang mungkin merupakan pemahaman paling umum, kemudian beberapa detail tambahan.

Normal adalah istilah dalam geometri (Wikipedia):

Dalam geometri, normal adalah objek seperti garis atau vektor yang tegak lurus terhadap objek tertentu.

yang pada gilirannya tampaknya berasal dari istilah untuk kotak tukang kayu atau tukang batu [1]

NORM dan NORMAL. Menurut OED, dalam norma Latin bisa berarti kotak yang digunakan oleh tukang kayu, tukang batu, dll., Untuk mendapatkan sudut kanan, sudut kanan atau standar atau pola praktik atau perilaku. Makna ini tercermin dalam istilah matematika berdasarkan norma dan normal.

dan dari geometri istilah tersebut bergerak ke ruang vektor.

Jawaban langsung untuk "persamaan normal" diberikan di sini: http://mathworld.wolfram.com/NormalEquation.html

Ini disebut persamaan normal karena b-SEBUAHx normal ke kisaran SEBUAH.

(Dalam notasi regresi biasa itu 'y-Xb normal ke kisaran X')

Secara harfiah, residu kuadrat terkecil adalah tegak lurus (pada sudut kanan) ke ruang yang terbentang oleh X.

Gambar geometri kuadrat terkecil

Itu y-Vektor terletak di nukuran. Rentang X-matrixhal dari mereka (atau hal+1tergantung pada bagaimana notasi Anda diatur; jikaXadalah peringkat penuh, ini adalah jumlah kolom X). Solusi kuadrat terkecilXβ^ adalah titik terdekat dalam ruang yang direntang oleh X untuk itu y-Vektor (memang, secara harfiah proyeksi y ke ruang yang terbentang oleh X). Ini harus menjadi kasus bahwa dengan meminimalkan jumlah kuadrat, perbedaannyay-Xβ^ adalah ortogonal ke ruang yang direntang oleh X. (Jika tidak, akan ada solusi yang lebih kecil.)

Namun, seperti yang dikemukakan Whuber dalam komentar, tidak begitu jelas.

Melihat [1] lagi:

Istilah PERSAMAAN NORMAL dalam kuadrat terkecil diperkenalkan oleh Gauss pada tahun 1822 [James A. Landau]. Kruskal & Stigler's "Normative Terminology" (dalam Stigler (1999)) mempertimbangkan berbagai hipotesis tentang dari mana istilah itu berasal tetapi tidak menemukan yang sangat memuaskan.

Namun, metode persamaan normal sering dikreditkan ke Legendre, 1805.

[1] Miller, J. (ed) "Penggunaan awal dari beberapa kata matematika, N" dalam penggunaan awal dari beberapa kata matematika.

Glen_b -Reinstate Monica
sumber
3
Saya selalu menganggap ini alasannya, tetapi ada alasan masuk akal lainnya juga. Situs Wolfram tidak memberikan referensi apa pun untuk pernyataannya. Apakah Anda mengetahui adanya dokumentasi historis tentang asal usul istilah ini?
whuber
Hmm. Anda mungkin benar. Saya akan mengedit beberapa informasi tambahan
Glen_b -Reinstate Monica