Perbedaan Berarti Maksimum (distribusi jarak)

Saya memiliki dua set data (sumber dan data target) yang mengikuti distribusi yang berbeda. Saya menggunakan MMD - yang merupakan distribusi jarak non-parametrik - untuk menghitung distribusi marginal antara sumber dan data target.

sumber data, Xs

data target, Xt

Matriks adaptasi A

* Data yang diproyeksikan, Zs = A '* Xs dan Zt = A' Xt

* MMD => Jarak (P (Xs), P (Xt)) = | mean (A'Xs) - mean (A ' Xt) |

Itu berarti: jarak distribusi antara sumber dan data target di ruang asli setara dengan jarak antara sarana sumber yang diproyeksikan dan data target di ruang tertanam.

Saya punya pertanyaan tentang konsep MMD.

Dalam rumus MMD, Mengapa dengan jarak komputasi di ruang laten, kita bisa mengukur jarak distribusi di ruang asli?

Terima kasih

Mungkin membantu untuk memberikan sedikit lebih banyak gambaran tentang MMD. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

Secara umum, MMD didefinisikan oleh gagasan untuk merepresentasikan jarak antar distribusi sebagai jarak antara rata - rata embedding fitur. Artinya, katakanlah kita memiliki distribusi dan lebih dari satu set . MMD didefinisikan oleh peta fitur , di mana adalah apa yang disebut ruang reproduksi kernel Hilbert. Secara umum, MMD adalah $P$$Q$$\X$ $\varphi : \X \to \h$$\mathcal H$

$$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$$

Sebagai satu contoh, kita mungkin memiliki dan . Dalam hal ini: sehingga MMD ini hanya jarak antara rata-rata dari dua distribusi. Distribusi yang cocok seperti ini akan cocok dengan kemampuan mereka, meskipun mereka mungkin berbeda dalam variansnya atau dengan cara lain.$\X = \h = \R^d$$\varphi(x) = x$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$$

Kasus Anda sedikit berbeda: kami memiliki dan , dengan , di mana adalah matriks . Jadi kita memiliki MMD ini adalah perbedaan antara dua proyeksi yang berbeda dari rata-rata. Jika atau pemetaan sebaliknya tidak dapat dibalik,$\mathcal X = \mathbb R^d$$\mathcal H = \mathbb R^p$$\varphi(x) = A' x$$A$$d \times p$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$$ $p < d$$A'$ daripada yang sebelumnya: itu tidak membedakan antara beberapa distribusi yang sebelumnya tidak.

Anda juga dapat membangun jarak yang lebih kuat. Misalnya, jika dan Anda menggunakan , maka MMD menjadi , dan dapat membedakan tidak hanya distribusi dengan cara yang berbeda tetapi dengan varian yang berbeda juga.$\X = \R$$\varphi(x) = (x, x^2)$$\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

Dan Anda bisa mendapatkan yang lebih kuat dari itu: jika memetakan ke ruang Hilbert kernel mereproduksi umum, maka Anda dapat menerapkan trik kernel untuk menghitung MMD, dan ternyata banyak kernel, termasuk kernel Gaussian, mengarah ke MMD menjadi nol jika dan hanya distribusinya yang identik.$\varphi$

Secara khusus, membiarkan , Anda mendapatkan yang dapat Anda perkirakan secara langsung dengan sampel.$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

$$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$$

---

Pembaruan: dari sinilah "maksimum" dari namanya berasal.

Peta fitur memetakan ke dalam ruang Hilbert yang direproduksi. Ini adalah ruang fungsi , dan memenuhi properti kunci (disebut properti reproduksi ): untuk setiap .$\varphi: \X \to \h$ ⟨ f , φ ( x ) ⟩ H = f ( x ) f ∈ H$\langle f, \varphi(x) \rangle_\h = f(x)$$f \in \h$

Dalam contoh paling sederhana, dengan , kita melihat setiap sebagai fungsi yang berhubungan dengan beberapa , oleh . Maka properti reproduksi harus masuk akal.$\X = \h = \R^d$$\varphi(x) = x$$f \in \h$$w \in \R^d$$f(x) = w' x$$\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

Dalam pengaturan yang lebih kompleks, seperti kernel Gaussian, adalah fungsi yang jauh lebih rumit, tetapi properti reproduksi masih bertahan.$f$

Sekarang, kita dapat memberikan karakterisasi alternatif MMD: Baris kedua adalah fakta umum tentang norma di ruang Hilbert:

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$$ $\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ dicapai oleh . Yang keempat tergantung pada kondisi teknis yang dikenal sebagai integrasi Bochner tetapi benar misalnya untuk kernel atau distribusi terbatas dengan dukungan terikat. Kemudian pada akhirnya kami menggunakan properti reproduksi.$f = g / \lVert g \rVert$

Baris terakhir ini adalah mengapa ini disebut "perbedaan rata-rata maksimum" - itu adalah maksimum, lebih dari fungsi uji dalam satuan bola , dari perbedaan rata-rata antara dua distribusi.$f$$\h$

Inilah cara saya menginterpretasikan MMD. Dua distribusi serupa jika momen mereka serupa. Dengan menerapkan kernel, saya dapat mengubah variabel sehingga semua momen (pertama, kedua, ketiga dll) dihitung. Di ruang laten saya dapat menghitung perbedaan antara momen dan rata-rata. Ini memberikan ukuran kesamaan / ketidaksamaan antara dataset.