Apa arti dari bilah ganda dan 2 di bagian bawah dalam kuadrat terkecil biasa?

10

Saya melihat notasi ini untuk kuadrat terkecil di sini .

minwXwy22

Saya belum pernah melihat bilah ganda dan 2 di bagian bawah. Apakah arti simbol ini? Apakah mereka memiliki terminologi khusus untuk mereka?

Aseem Bansal
sumber
5
Penggunaan bilah ganda hanya menunjukkan bahwa kita menggunakan norma L2.
Michael R. Chernick
@MichaelChernick dan 2? Apakah itu bagian dari "norma L2"?
Aseem Bansal
1
Ya, seperti L2, ada juga L1.
Jon
Saya pikir Xw harus Xw karena w adalah vektor
ilanman
@ilanman Ya itu yang ada di notasi sebelum edit. Saya mengubahnya kembali
Aseem Bansal

Jawaban:

29

Anda sedang berbicara tentang -norm (norma Euclidean) dari vektor ( ). Jika ini asing bagi Anda, secara singkat, -norm vektor , adalah: X w - y p u R n2XwypuRn

up=(i=1n|ui|p)1p

Jadi dalam kasus Anda yang konsisten dengan jumlah residu kuadrat untuk regresi linier. Dalam konteks masalah regresi, Anda juga akan melihat ini banyak dalam perhitungan mean squared error (MSE), dan dalam regresi ridge .u22=((i=1n|ui|2)12)2=i=1nui2

Ini adalah norma umum (di antara alasan lain, ini nyaman secara matematis), jadi ketika jelas dari konteksnya, Anda akan melihat lebih rendah dihilangkan, dan hanya .u 22u2

Seperti disebutkan dalam komentar, Anda juga dapat melihat -norm:1

u1=i=1n|ui|

Yang sesuai dengan nilai absolut. Sekali lagi, Anda akan melihat ini dalam mean absolute error (MAE) atau masalah laso .

Norma populer lainnya:

  • 0 -norm: Jarak Hamming , atau # bukan-nol dalam vektor, yaitu dalam menghitung sparsity dari vektor. Secara teknis ini bukan norma (ini adalah fungsi kardinalitas), karena Anda memiliki istilah dalam definisi, tetapi memiliki bentuk norma sehingga kami menyebutnya satu. 10
    • Norma ini adalah norma ideal yang digunakan dalam menginduksi sparsity untuk masalah regresi karena kami benar-benar ingin nol koefisien, namun komputasi regularisasi 0 adalah NP-keras, jadi alih-alih kami memperkirakannya dengan 1 yang dapat dipecahkan melalui pemrograman linear. Ini juga populer di Penginderaan Terkompresi .
  • -norm: = { | x i | }maxi {|xi|} untuki=1,...,n
  • AF : Norma Frobenius (Euclidean), diterapkan pada matriks ARn×m=i=1nj=1m|aij|2
ilanman
sumber
2
Tautan ke wolfram alpha sangat membantu.
Aseem Bansal
Anda menulis bahwa (pseudo) menghitung jumlah nol dalam vektor — apakah Anda mungkin berarti jumlah entri yang bukan nol ? (Ini akan lebih konsisten dengan apa yang saya lihat, dan juga berarti bahwa akan menjadi jarak Hamming antara dan , sebagai lawan dari minus itu jarak.)u 0 u 0 R n n0u0u0Rnn
wchargin
1
Kesalahan pengejaan: "Frobenius".
hobbs
1
Alih-alih "ini adalah norma umum" Saya akan hanya mengatakan "L2 adalah norma";)
user541686