Mengapa norma matriks default adalah norma spektral dan bukan norma Frobenius?

Untuk norma vektor, norma L2 atau "Euclidean distance" adalah definisi yang banyak digunakan dan intuitif. Tetapi mengapa definisi norma "paling sering digunakan" atau "standar" untuk sebuah matriks adalah norma spektral , tetapi bukan norma Frobenius (yang mirip dengan norma L2 untuk vektor)?

Apakah itu ada hubungannya dengan algoritma iteratif / kekuatan matriks (jika jari-jari spektrum lebih kecil dari 1, maka algoritme akan menyatu)?

Itu selalu bisa diperdebatkan untuk kata-kata seperti "paling sering digunakan", "default". Kata "default" yang disebutkan di atas berasal dari tipe pengembalian default dalam Matlabfungsi norm. Dalam Rnorma default untuk matriks adalah norma L1. Keduanya "tidak alami" bagi saya (untuk matriks, tampaknya lebih "alami" untuk dilakukan $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ seperti dalam vektor). (Terima kasih atas komentar @ usεr11852 dan @ whuber dan maaf atas kebingungannya.)
Mungkin memperluas penggunaan norma matriks akan membantu saya untuk lebih mengerti?

matrix linear-algebra Haitao Du
sumber

Saya tidak yakin bahwa norma spektral adalah yang paling banyak digunakan. Misalnya norma Frobenius digunakan untuk NNMF dan biasanya ketika mendekati solusi untuk mengoreksi / matriks kovarian yang bukan Pos.Def. dan diatur untuk menjadi Pos. Def. Secara umum norma Forbenius adalah norma "unsur-bijaksana" per se sedangkan norma spektral didasarkan pada nilai eigen sehingga sedikit lebih "universal" tetapi ini adalah masalah pendapat. Misalnya " Matriks Aljabar " Gentle secara harfiah memiliki bab bernama: " Norma Frobenius - Norma" Biasa ". Jadi jelas norma spektral bukanlah norma standar untuk semua.

usεr11852 mengatakan Reinstate Monic

L_{2}

$L_2$

L_{2}

$L_2$

| | A | |_{2} = max_{| | x | |_{2} = 1} | | A x | |_{2}

$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ norm

Saya tidak setuju bahwa standarnya adalah Euclidian, dan yang paling umum digunakan adalah Spectral.

Aksakal

Saya bingung dengan pertanyaan ini karena saya tidak bisa melihat bagaimana norma-norma matriks adalah masalah preferensi atau penggunaan. Jika satu norma tertentu relevan dengan masalah, maka itu digunakan; jika yang lain relevan, maka itu digunakan. Tanpa masalah atau aplikasi yang jelas dalam pikiran, maka, saya tidak dapat melihat bagaimana pertanyaan ini dapat dijawab.

whuber

@ usεr11852 Terima kasih telah menunjukkannya. Penting bahwa teks pertanyaan menyertakan semua informasi tersebut. Jangan mengandalkan orang yang membaca komentar, terutama ketika ada banyak dari mereka. Kebetulan, halaman bantuan untuk "norma {basis}" di salinan Rdaftar saya norma sebagai default, bukan norma spektral.

L^{1}

$L^1$

whuber

Jawaban:

Secara umum, saya tidak yakin bahwa norma spektral adalah yang paling banyak digunakan. Misalnya norma Frobenius digunakan untuk memperkirakan solusi pada factorisation matriks non-negatif atau korelasi / kovarians matriks regularisasi . Saya pikir bagian dari pertanyaan ini bermula dari kesalahan istilah yang dilakukan sebagian orang (termasuk saya sendiri) ketika merujuk pada norma Frobenius sebagai norma matriks Euclidean . Kita tidak boleh karena sebenarnya norma matriks (yaitu. Norma spektral) adalah salah satu yang diinduksi ke matriks ketika menggunakan norma vektor . Norma Frobenius adalah elemen-bijaksana: $L_2$ $L_2$ , sedangkannorma matriks( $||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$ $L_2$ ) didasarkan pada nilai singular sehingga lebih "univeral". (untuk keberuntungan istilah yang lebih baik?)Norma matriksadalah norma tipe Euclidean karena diinduksi oleh norma vektor Euclidean, di mana. Oleh karena itu itu merupakannorma yang diinduksiuntuk matriks karenadiinduksioleh a $||A||_2 = \sqrt{\lambda_{max}(A^T A)})$ $L_2$ $||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ norma vektor , norma vektor dalam hal ini. $L_2$

Mungkin MATLAB bertujuan untuk menyediakan norma secara default saat menggunakan perintah ; sebagai konsekuensinya ia menyediakan Euclidean vektor norma tetapi juga matriks norma, yaitu. yang spektral matriks norma (daripada salah dikutip " Frobenius / Euclidean matrix norma "). Akhirnya izinkan saya mencatat bahwa apa yang merupakan norma standar adalah masalah pendapat untuk beberapa hal: Misalnya " Aljabar Matriks - Teori, Komputasi, dan Aplikasi JE Gentle " secara harfiah memiliki bab (3.9.2) bernama: " The Frobenius Norma - Norma “Biasa” $L_2$ norm $L_2$ "; begitu jelas norma spektral bukanlah norma default untuk semua pihak yang dipertimbangkan! :) Seperti yang dikomentari oleh @amoeba, komunitas yang berbeda mungkin memiliki konvensi terminologi yang berbeda. Tak perlu dikatakan bahwa saya pikir buku Gentle adalah sumber daya yang tak ternilai dalam hal Aplikasi Aljabar Lin dalam Statistik dan saya akan meminta Anda untuk melihatnya lebih jauh!

usεr11852 kata Reinstate Monic
sumber

jawaban bagus !!

membantu saya!

‖ A ‖_{2} = max_{‖ x ‖_{2} = 1} ‖ A x ‖_{2}

$\|A\|_2=\max_{\|x\|_2=1}\|Ax\|_2$

Haitao Du

Saya senang bisa membantu. Harap perhatikan jawaban lain yang disediakan juga. Mereka cukup berwawasan luas.

usεr11852 mengatakan Reinstate Monic

Sebagian dari jawabannya mungkin terkait dengan komputasi numerik.

Ketika Anda memecahkan sistem

A x = b

$Ax=b$ dalam ketepatan terbatas, Anda tidak mendapatkan jawaban yang tepat untuk masalah itu. Anda mendapatkan perkiraan

\tilde{x}

$\tilde x$ karena kendala aritmatika terbatas, sehingga

A \tilde{x} \approx b

$A\tilde x \approx b$ , dalam arti yang sesuai. Apa yang diwakili oleh solusi Anda? Yah, itu mungkin solusi tepat untuk beberapa sistem lain seperti

\tilde{A} \tilde{x} = \tilde{b}

$\tilde A \tilde x = \tilde b$ Jadi agar

\tilde{x}

$\tilde x$ memiliki utilitas, sistem tilde harus dekat dengan sistem asli:

\tilde{A} \approx A, \tilde{b} \approx b

$\tilde A \approx A, \quad \tilde b \approx b$ Jikaalgoritme Andamenyelesaikan sistem asli memenuhi properti itu, maka itu disebut sebagaibackward stable. Sekarang, analisis yang akurat tentang seberapa besar perbedaan

\tilde{A} - A

$\tilde A-A$ ,

\tilde{b} - b

$\tilde b-b$ akhirnya mengarah pada kesalahan pada batas yang dinyatakan sebagai

‖ \tilde{A} - A ‖

$\| \tilde A-A \|$ ,

‖ \tilde{b} - b ‖

$\| \tilde b-b\|$ . Untuk beberapa analisis,norma

l_{1}

$l_1$ (jumlah kolom maks) adalah yang termudah untuk didorong, bagi yang lain,

l_{\infty}

$l_\infty$ norma (max baris sum) adalah yang paling mudah untuk mendorong melalui (untuk komponen dari solusi dalam kasus sistem linear, misalnya), dan untuk yang lain lagi, yang

l_{2}

$l_2$ norma spektral adalah yang paling sesuai satu (yang disebabkan oleh tradisional

l_{2}

$l_2$ norma vektor, seperti yang ditunjukkandalam jawaban lain). Untuk kuda kerja komputasi statistik dalam inversi matriks psd simetris,dekomposisi Cholesky(trivia: bunyi pertama adalah [x] seperti dalam huruf Yunani "chi", bukan [tʃ] seperti dalam "chase"), norma yang paling nyaman untuk digunakan. melacak batas-batas kesalahan adalah

l_{2}

$l_2$ norma ... meskipun norma Frobenius juga muncul dalam beberapa hasil misalnya pada dipartisi matriks inversi.

Tugas
sumber

+1, khususnya untuk hal-hal sepele. Saya selalu berpikir itu dimulai dengan [k]. Saya mencarinya sekarang dan ternyata André-Louis Cholesky adalah orang Polandia yang layak (lahir di Prancis). Tidakkah seharusnya itu "sh" terdengar, seperti di Chopin? Namun, dalam bahasa Rusia Cholesky memang secara tradisional ditulis sebagai Холецкий.

Amuba mengatakan Reinstate Monica

Saya ambil kembali. Ternyata ayah Chopin adalah orang Prancis, oleh karena itu pengucapan Perancis dari nama keluarga. Tetapi orang tua Cholesky adalah orang Polandia dan dalam bahasa Polandia seharusnya dilafalkan dengan [

]. Bersulang.

χ

$\chi$

Amuba kata Reinstate Monica

Ya ... Saya mengira itu sebagai orang Rusia dengan nama depan Polandia, dan setelah membaca ejaan Rusia itu sekitar satu dekade sebelum pertama kali melihatnya dieja dalam huruf Latin, saya punya ide bagaimana cara mengucapkannya;)

StasK

Siapa yang peduli bagaimana cara mengucapkannya, cukup gunakan benda sialan itu.

Mark L. Stone

Jawaban untuk ini tergantung pada bidang Anda. Jika Anda seorang ahli matematika, maka semua norma dalam dimensi hingga adalah setara : untuk dua norma dan , ada konstanta , yang hanya bergantung pada dimensi (dan a, b) sedemikian rupa sehingga: $\|\cdot\|_a$ $\|\cdot\|_b$ $C_1,C_2$

C_{1} ‖ x ‖_{b} \leq ‖ x ‖_{a} \leq C_{2} ‖ x ‖_{b} .

$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$

Ini menyiratkan bahwa norma-norma dalam dimensi yang terbatas cukup membosankan dan pada dasarnya tidak ada perbedaan di antara mereka kecuali dalam bagaimana mereka berskala. Ini biasanya berarti bahwa Anda dapat memilih norma yang paling sesuai untuk masalah yang Anda coba selesaikan . Biasanya Anda ingin menjawab pertanyaan seperti "apakah operator atau prosedur ini dibatasi" atau "apakah proses numerik ini menyatu." Dengan keterbatasan, Anda biasanya hanya peduli bahwa ada sesuatu yang terbatas. Dengan konvergensi, dengan mengorbankan tingkat konvergensi, Anda dapat memilih untuk menggunakan norma yang lebih nyaman.

Misalnya, dalam aljabar linear numerik, norma Frobenius kadang-kadang lebih disukai karena jauh lebih mudah untuk dihitung daripada norma euclidean, dan juga bahwa itu secara alami terhubung dengan kelas yang lebih luas dari operator Hilbert Schmidt . Juga, seperti norma Euclidean, ini bersifat submultiplictive: , tidak seperti katakanlah, norma maks, sehingga memungkinkan Anda untuk dengan mudah berbicara tentang penggandaan operator di ruang mana pun Anda bekerja. Orang-orang cenderung sangat menyukai keduanya $\|AB\|_F\leq \|A\|_F\|B\|_F$ $p=2$ norma dan norma Frobenius karena mereka memiliki hubungan alami baik dengan nilai eigen dan nilai singular dari matriks, bersama dengan menjadi bersifat subyektif.

Untuk tujuan praktis , perbedaan antara norma menjadi lebih jelas karena kita hidup di dunia dimensi dan biasanya penting seberapa besar kuantitas tertentu, dan bagaimana hal itu diukur. Mereka konstanta di atas tidak persis ketat, sehingga menjadi penting berapa banyak lebih atau kurang norma tertentu dibandingkan dengan . $C_1,C_2$ $\|x\|_a$ $\|x\|_b$

Alex R.
sumber

\sqrt{n}

$\sqrt{n}$

@ MarkL.Stone: Benar, maka perbedaan antara teoretis (benar-benar: topologis) dan praktis.

Alex R.

@ MarkL.Stone: +1 Jelas dia tidak menguji unit kode-nya. :) (Anekdot yang bagus! Saya pasti akan menggunakannya ketika berbicara tentang miskomunikasi dalam komputasi teknis!)

usεr11852 mengatakan Reinstate Monic

@ usεr11852 ha ha, tidak, ini lebih buruk dari itu. Dia melakukan "unit-test" kode dengan benar menerapkan perhitungan berdasarkan norma 1. Itu gagal dalam ujian tingkat sistem saya karena menggunakan norma yang salah.

Mark L. Stone

@ MarkL.Stone: Oh ... sayang sekali! Karena itu, saya tidak tahu apakah Anda menggunakan konfigurasi perangkat keras tertentu atau sesuatu tetapi untuk memulai dengan pengkodean perhitungan norma dari awal tidak-tidak; ada perpustakaan matematika yang harus digunakan untuk menghindari masalah seperti itu sama sekali.

usεr11852 mengatakan Reinstate Monic