Berapa banyak regularisasi yang ditambahkan untuk membuat SVD stabil?

Saya telah menggunakan Intel MKL SVD ( dgesvdmelalui SciPy) dan memperhatikan bahwa hasilnya sangat berbeda ketika saya mengubah presisi di antara float32dan float64ketika matriks saya dikondisikan secara buruk / bukan peringkat penuh. Apakah ada panduan tentang jumlah minimum regularisasi yang harus saya tambahkan untuk membuat hasil tidak sensitif terhadap float32-> float64perubahan?

Secara khusus, melakukan , saya melihat bahwa norma bergerak sekitar 1 ketika saya mengubah presisi antara dan . Norma dari adalah dan memiliki sekitar 200 nilai eigen nol dari total 784. L ∞ V T X L 2 A 10 $A=UDV^{T}$$L_\infty$$V^{T}X$float32float64$L_2$$A$$10^5$

Melakukan SVD pada dengan membuat perbedaan menghilang.λ = 10 - $\lambda I + A$$\lambda=10^{-3}$

Meskipun pertanyaannya memiliki jawaban yang bagus, berikut adalah aturan praktis untuk nilai tunggal kecil, dengan plot.

Jika nilai singular adalah nol tetapi sangat kecil, Anda harus mendefinisikan kebalikannya menjadi nol, karena nilainya yang jelas mungkin merupakan artefak kesalahan pembulatan, bukan angka yang berarti. Jawaban yang masuk akal untuk pertanyaan "seberapa kecil kecil?" adalah mengedit dengan cara ini semua nilai singular yang rasio terhadap yang terbesar kurang dari kali presisi mesin ϵ .$N$$\epsilon$

$\qquad$- Resep Numerik hal. 795

Ditambahkan: beberapa baris berikut menghitung aturan praktis ini.

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

---

Matriks Hilbert tampaknya banyak digunakan sebagai uji kasus untuk kesalahan pembulatan:

Di sini bit orde rendah dalam mantisa dari matriks Hilbert adalah nol A.astype(np.float__).astype(np.float64),, kemudian np.linalg.svddijalankan float64. (Hasil dengan svdsemua float32hampir sama.)

Cukup memotong float32mungkin bahkan berguna untuk denoising data dimensi tinggi, misalnya untuk klasifikasi kereta / uji.

Kasus uji nyata akan diterima.

$A=A^{T}$$M=U \Sigma V^T$

$$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$$

$\epsilon>0$

$$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$$ $\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$ $$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$$ $A_{\epsilon} \approx B_{\epsilon}$$V$$U$$\epsilon>0$$U,V$$U\approx V$

$M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$float64$M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$float32$\Sigma_{0},\Sigma_{\epsilon}$$\epsilon\approx10^{-7}$$U_{0},U_{\epsilon}$$V_{0},V_{\epsilon}$