Jelaskan langkah-langkah algoritma LLE (local linear embedding)?

Saya mengerti prinsip dasar di balik algoritma untuk LLE terdiri dari tiga langkah.

1. Menemukan lingkungan setiap titik data dengan beberapa metrik seperti k-nn.
2. Temukan bobot untuk setiap tetangga yang menunjukkan efek yang dimiliki tetangga pada titik data.
3. Bangun penyisipan data dimensi rendah berdasarkan bobot yang dihitung.

Tetapi penjelasan matematis dari langkah 2 dan 3 membingungkan dalam semua buku teks dan sumber daya online yang telah saya baca. Saya tidak dapat alasan mengapa formula itu digunakan.

Bagaimana langkah-langkah ini dilakukan dalam praktik? Apakah ada cara intuitif untuk menjelaskan rumus matematika yang digunakan?

Referensi: http://www.cs.nyu.edu/~roweis/lle/publications.html

Local linear embedding (LLE) menghilangkan kebutuhan untuk memperkirakan jarak antara objek yang jauh dan memulihkan struktur global non-linier dengan pencocokan linear lokal. LLE menguntungkan karena tidak melibatkan parameter seperti tingkat pembelajaran atau kriteria konvergensi. LLE juga berskala baik dengan dimensi intrinsik . Fungsi objektif untuk LLE adalah Matriks bobot elemen untuk objek dan ditetapkan ke nol jika$\mathbf{Y}$

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ $\mathbf{W}$$w_{ij}$$i$$j$$j$bukan tetangga terdekat , jika tidak, bobot untuk K-tetangga terdekat objek ditentukan melalui kuadrat terkecil yang sesuai dari mana variabel dependen adalah vektor , adalah matriks Gram untuk semua tetangga terdekat dari objek , dan adalah vektor bobot yang mengikuti batasan jumlah hingga kesatuan. Biarkan menjadi semidefinit positif simetris$i$$i$ $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ $\mathbf{U}$$K \times 1$$\mathbf{G}$$K \times K$$i$$\boldsymbol{\beta}$$K \times 1$$\mathbf{D}$$K \times K$matriks jarak untuk semua pasangan tetangga terdekat K dari objek -dimensi . Dapat diperlihatkan bahwa sama dengan matriks jarak berpusat ganda dengan elemen The koefisien regresi ditentukan secara numerik menggunakan $p$$\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ $K$ $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ dan diperiksa untuk mengonfirmasi mereka berjumlah satu. Nilai disematkan ke baris dari pada berbagai posisi kolom yang sesuai dengan tetangga terdekat K-objek objek , serta elemen transpos. Ini diulang untuk setiap objek th dalam dataset. Perlu dicatat bahwa jika jumlah tetangga terdekat terlalu rendah, maka dapat jarang menyebabkan analisis eigen menjadi sulit. Diamati bahwa tetangga terdekat menghasilkan$\boldsymbol{\beta}$$i$$\mathbf{W}$$i$$i$$K$$\mathbf{W}$$K=9$$\mathbf{W}$matriks yang tidak mengandung patologi selama analisis eigen. Fungsi objektif diminimalkan dengan menemukan nilai eigen non-nol terkecil dari Bentuk dikurangi diwakili oleh mana memiliki dimensi berdasarkan pada dua nilai eigen terendah dari . $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ $\mathbf{X}$$\mathbf{Y}=\mathbf{E}$$\mathbf{E}$$n \times 2$$\boldsymbol{\Lambda}$