Apa notasi klasik dalam statistik, aljabar linier, dan pembelajaran mesin? Dan apa hubungan antara notasi ini?

Ketika kita membaca buku, memahami notasi memainkan peran yang sangat penting dalam memahami konten. Sayangnya, komunitas yang berbeda memiliki konvensi notasi yang berbeda untuk perumusan model dan masalah optimisasi. Bisakah seseorang meringkas beberapa notasi formulasi di sini dan memberikan kemungkinan alasan?

Saya akan memberikan contoh di sini: Dalam literatur aljabar linier, buku klasik adalah pengantar Strang untuk aljabar linier . Notasi yang paling banyak digunakan dalam buku ini adalah

Di mana $A$ adalah matriks koefisien , $x$ adalah variabel yang harus dipecahkan dan $b$ adalah vektor di sisi kanan persamaan . The Alasan buku memilih notasi ini adalah tujuan utama dari aljabar linier memecahkan sistem linear dan mencari tahu apa yang vektor $x$ . Mengingat formulasi seperti itu masalah optimasi OLS adalah

Dalam melek statistik atau pembelajaran mesin (dari buku Elemen Pembelajaran Statistik ) orang menggunakan notasi yang berbeda untuk mewakili hal yang sama:

Di mana $X$ adalah matriks data , $\beta$ adalah koefisien atau bobot yang harus dipelajari , $y$ adalah jawabannya. The alasan orang menggunakan ini karena orang-orang dalam statistik atau komunitas pembelajaran mesin adalah data driven , sehingga data yang dan respon adalah hal yang paling menarik bagi mereka, di mana mereka menggunakan $X$ dan $y$ untuk mewakili.

Sekarang kita dapat melihat semua kebingungan yang mungkin ada di sana: $A$ dalam persamaan pertama sama dengan $X$ dalam persamaan kedua. Dan dalam persamaan kedua $X$ bukanlah sesuatu yang perlu dipecahkan. Juga untuk istilah: $A$ adalah matriks koefisien dalam aljabar linier, tetapi ini adalah data dalam statistik. $\beta$ juga disebut "koefisien".

Selain itu, saya sebutkan $X \beta=y$ bukan apa yang banyak digunakan orang dalam pembelajaran mesin, orang menggunakan versi setengah vektor yang meringkas semua poin data. Seperti

Saya pikir alasan untuk ini adalah bahwa itu baik ketika berbicara tentang penurunan gradien stokastik dan fungsi kerugian yang berbeda lainnya. Juga, notasi matriks ringkas menghilang untuk masalah selain regresi linier.

Notasi matriks untuk regresi logistik

Adakah yang bisa memberikan lebih banyak rangkuman tentang notasi yang melintasi berbagai literatur? Saya berharap jawaban cerdas untuk pertanyaan ini dapat digunakan sebagai referensi yang baik untuk orang yang membaca buku-buku lintas literatur yang berbeda.

tolong jangan dibatasi oleh contoh saya dan . Ada banyak lainnya. Seperti$A x=b$$X \beta=y$

Mengapa ada dua formulasi / notasi kerugian logistik yang berbeda?

Mungkin pertanyaan yang terkait adalah, "Apa kata yang digunakan dalam berbagai bahasa, dan apa hubungan antara kata-kata ini?"

Notasi dalam beberapa hal seperti bahasa:

• Beberapa kata memiliki arti khusus wilayah; beberapa kata dipahami secara luas.
• Seperti negara-negara yang kuat menyebarkan bahasa mereka, bidang-bidang yang sukses dan para peneliti berpengaruh menyebarkan notasi mereka.
• Bahasa berkembang dari waktu ke waktu: bahasa memiliki perpaduan antara asal-usul historis dan pengaruh modern.

Pertanyaan spesifik Anda ...

• Saya tidak setuju dengan pendapat Anda bahwa keduanya mengikuti "notasi yang sama sekali berbeda." Kedua dan menggunakan huruf kapital untuk menunjukkan matriks. Mereka bukan yang berbeda.A x = $X\boldsymbol{\beta} = \boldsymbol{y}$$A\mathbf{x} = \mathbf{b}$
• Pembelajaran mesin sangat terkait dengan statistik, bidang yang besar dan matang. Menggunakan untuk merepresentasikan matriks data hampir pasti merupakan konvensi yang paling mudah dibaca, paling standar untuk diikuti. SementaraA x = $X$$A\mathbf{x} = \mathbf{b}$ adalah standar untuk menyelesaikan sistem linear, itu bukanlah cara orang melakukan statistik menulis persamaan normal. Anda akan menemukan audiens Anda lebih bingung jika Anda mencoba melakukan itu. Ketika di Roma...
• Dalam beberapa hal, inti dari pertanyaan Anda yang telah direvisi adalah, "Apa asal historis statistik menggunakan huruf$x$ untuk mewakili data dan huruf untuk mewakili variabel yang tidak diketahui untuk dipecahkan?" $\beta$
  • Ini adalah pertanyaan untuk para sejarawan statistik! Pencarian singkat, saya melihat statistik Inggris yang berpengaruh dan akademisi Cambridge Udny Yule digunakan untuk mewakili data dalam Pengantar Teori Statistik (1911). Dia menulis persamaan regresi sebagai , dengan tujuan kuadrat terkecil sebagai meminimalkanx 1 = a + b x 2 ∑ ( x 1 - a - b x 2 ) 2 b 12 = ∑ x 1 x $x$$x_1 = a + bx_2$$\sum\left( x_1 - a - bx_2\right)^2$ , dan dengan solusi . Setidaknya kembali ke saat itu ...$b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
  • RA Fisher yang bahkan lebih berpengaruh digunakan untuk variabel dependen dan untuk variabel independen dalam bukunya 1925 Metode Statistik untuk Pekerja Penelitian . (Kiat ujung ke @Nick Cox untuk memberikan tautan dengan info.)$y$$x$

Notasi yang baik seperti bahasa yang baik. Hindari jargon khusus bidang bila memungkinkan. Tulis dalam matematika yang setara dengan Bahasa Inggris BBC tinggi, bahasa yang dapat dimengerti oleh kebanyakan orang yang berbicara bahasa Inggris. Seseorang harus menulis, jika memungkinkan, menggunakan notasi yang jelas dan yang dipahami secara luas.