"Deep Noether's Theorem": Membangun Keterbatasan dalam Simetri

Dari komentar Emre di atas, Bagian 4.4 dari metode teoritis Grup dalam pembelajaran mesin oleh Risi Kondor memiliki informasi terperinci dan bukti tentang membuat metode kernel yang secara inheren memiliki simetri. Saya akan meringkasnya dengan cara yang mudah-mudahan intuitif (saya seorang ahli fisika, bukan ahli matematika!).

Kebanyakan algoritma ML memiliki perkalian matriks seperti,

\begin{aligned} s_{saya} & = \sum_{j} W_{saya j} x_{j} \\ = \sum_{j} W_{saya j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$ dengan

\vec{x}

$\vec{x}$ sebagai input dan

W_{i j}

$W_{ij}$ adalah bobot yang ingin kita latih.

Metode Kernel

Masukkan bidang metode kernel dan biarkan algoritma menangani input melalui,

\begin{aligned} s_{saya} & = \sum_{j} W_{saya j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$ di mana sekarang kita generalisasi untuk

x, e_{j} \in X

$x, e_j \in \mathcal{X}$ .

Pertimbangkan kelompok $G$ yang bekerja pada $\mathcal{X}$ melalui $x \rightarrow T_g(x)$ untuk $g \in G$ . Cara sederhana untuk membuat algoritme kami invarian di bawah grup ini adalah membuat kernel,

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$ dengan

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$ .

Jadi,

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

$k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

Yang menawarkan matriks transformasi yang dapat mensinkronisasi input ke dalam algoritma.

SO (2) Contoh

$\frac{\pi}{2}$

$(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

\begin{aligned} min_{W_{j}} & \sum_{saya} \frac{1}{2} (y_{saya} - {\tilde{y}}_{saya})^{2} \\ {\tilde{y}}_{saya} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{saya}) + b_{saya} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

$k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

\begin{aligned} k_{G} (e_{j}, x_{saya}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{saya} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{saya 1})^{2} + (dosa (n π / 2) - {\vec{x}}_{saya 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{saya 1}^{2} + 2 {\vec{x}}_{saya 2}^{2} + (1 - {\vec{x}}_{saya 1})^{2} + (1 - {\vec{x}}_{saya 2})^{2} + (1 + {\vec{x}}_{saya 1})^{2} + (1 + {\vec{x}}_{saya 2})^{2}] \\ = {\vec{x}}_{saya 1}^{2} + {\vec{x}}_{saya 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

$j$

\begin{aligned} min_{W} & \sum_{saya} \frac{1}{2} (y_{saya} - {\tilde{y}}_{saya})^{2} \\ {\tilde{y}}_{saya} & = W [{\vec{x}}_{saya 1}^{2} + {\vec{x}}_{saya 2}^{2} + 1] + b_{saya} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

Yang menghasilkan simetri bola yang diharapkan!

Tic-Tac-Toe

Contoh kode bisa dilihat di sini . Ini menunjukkan bagaimana kita dapat membuat matriks yang mengkodekan simetri dan menggunakannya. Perhatikan bahwa ini sangat buruk ketika saya benar-benar menjalankannya! Bekerja dengan kernel lain saat ini.

aidan.plenert.macdonald
sumber

Kerja bagus, Aidan! Jika Anda punya waktu, Anda dapat menulis posting blog yang lebih rinci. Komunitas akan sangat tertarik.

Emre

Tidak yakin komunitas apa yang Anda maksud, tetapi saya mulai menulis lebih banyak. Saya ingin menemukan cara untuk memperkirakan kernel optimal yang diberikan satu set data. Jadi saya mengoptimalkan entropi pada ruang kernel untuk secara intuitif mendapatkan serangkaian fitur baru yang dibatasi secara simetris dan juga entropik secara maksimal (mis. Informatif). Sekarang apakah itu pendekatan yang tepat. Saya tidak bisa mengatakannya. Sekadar peringatan, matematika adalah sedikit pekerjaan hack sekarang dan agak langsung dari stat mech. overleaf.com/read/kdfzdbyhpbbq

aidan.plenert.macdonald

Apakah ada pendekatan yang berarti ketika kelompok simetri tidak diketahui?

leitasat

@leitasat Bagaimana Anda tahu ini simetris jika Anda tidak tahu grupnya?