Norma - Apa yang khusus tentang

Sebuah $L_1$ norma adalah unik (setidaknya sebagian) karena $p=1$ adalah pada batas antara non-cembung dan cembung. Sebuah $L_1$ norma adalah 'yang paling jarang' cembung norma (kanan?).

Saya mengerti bahwa $p=2$ norma Euclidean memiliki akar dalam geometri dan memiliki interpretasi yang jelas ketika dimensi memiliki unit yang sama. Tapi saya tidak mengerti mengapa ini digunakan secara istimewa di atas bilangan real lainnya $p>1$ : $p=1.5$ ? $p=\pi$ ? Mengapa tidak menggunakan rentang kontinu penuh sebagai hyperparameter?

Apa yang saya lewatkan?

Penjelasan yang lebih matematis adalah bahwa ruang , yang terdiri dari semua seri yang berkumpul di p-norma, hanya Hilbert dengan p = 2 dan tidak ada nilai lain. Ini berarti bahwa ruang ini lengkap dan norma pada ruang itu dapat disebabkan oleh produk dalam (pikirkan produk titik yang dikenal dalam R n ), jadi ini sedikit lebih baik untuk digunakan.$l^p$$p=2$$R^n$

Berikut adalah beberapa alasan:

1. 
   $\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$$\ell_p$

2. $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

Meskipun ada banyak alasan lain tetapi AFAIK p = 2 lebih disukai karena alasan berikut:

• Ukuran kesamaan / perbedaan: Untuk p = 2, norma Euclidean memberikan ukuran kesamaan atau perbedaan antara dua vektor yang selanjutnya dapat digunakan untuk mendapatkan wawasan yang lebih baik tentang data. Jawaban yang lebih terperinci tentang hal ini dapat ditemukan di sini .
• Regularisasi: Norma L2 digunakan untuk regularisasi dalam pembelajaran mesin dan lebih disukai karena dua alasan - 1) Mudah dibedakan 2) Dengan regularisasi L2, bobot cenderung berkurang secara proporsional dengan bobot. Oleh karena itu regularisasi L2 menghukum bobot yang lebih besar lebih banyak dibandingkan dengan bobot yang lebih kecil.

Kesalahan kuadrat dalam model linier sering lebih disukai karena:

• hubungan dengan ortogonalitas, yang berperilaku baik sehubungan dengan beberapa fenomena acak yang dianggap sebagai kebisingan (tidak berkorelasi)
• $L_1$
• itu menghasilkan algoritma optimisasi penurut sebagai turunan berubah menjadi sistem linier

$L_1$$\ell_1$$\ell_p$$0<p<1$

$\ell_0$$\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$

$\ell_1 / \ell_2$$\ell_1 / \ell_2$