Klarifikasi dalam geometri informasi

Pertanyaan ini berkaitan dengan makalah Diferensial Geometri Keluarga Kurva Eksponensial-Lengkung dan Kehilangan Informasi oleh Amari.

Teksnya sebagai berikut.

Biarkan menjadi manifold dimensi dari distribusi probabilitas dengan sistem koordinat , di mana diasumsikan ... $S^n=\{p_{\theta}\}$ $n$ $\theta=(\theta_1,\dots,\theta_n)$ $p_{\theta}(x)>0$

Kami dapat menganggap setiap titik dari membawa fungsi dari ... $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$

Biarkan menjadi ruang singgung di , yang, secara kasar, diidentifikasi dengan versi linear dari lingkungan kecil di . Biarkan menjadi dasar alami dari terkait dengan sistem terkoordinasi ... $T_{\theta}$ $S^n$ $\theta$ $\theta$ $S^n$ $e_i(\theta), i=1,\dots,n$ $T_{\theta}$

Karena setiap titik dari membawa fungsi dari , adalah wajar untuk menganggap di sebagai mewakili fungsi $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$ $e_i(\theta)$ $\theta$

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x) .

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x).$

Saya tidak mengerti pernyataan terakhir. Ini muncul di bagian 2 dari makalah yang disebutkan di atas. Bagaimana dasar ruang tangen diberikan oleh persamaan di atas? Akan sangat membantu jika seseorang di komunitas ini yang akrab dengan materi semacam ini dapat membantu saya memahami hal ini. Terima kasih.

Pembaruan 1:

Walaupun saya setuju bahwa (dari @aginensky) jika bebas linear maka juga linier independen, bagaimana ini adalah anggota ruang singgung di tempat pertama tidak terlalu jelas. Jadi bagaimana dapat dianggap sebagai dasar untuk ruang tangen. Bantuan apa pun dihargai. $\frac{\partial}{\partial\theta_i}p_{\theta}$ $\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $\frac{\partial}{\partial\theta_i}\log p_{\theta}$

Pembaruan 2:

@aginensky: Dalam bukunya Amari mengatakan yang berikut:

Mari kita perhatikan kasus di mana , himpunan semua probabilitas probabilitas positif (ketat) pada , di mana kami menganggap sebagai bagian dari . Sebenarnya, adalah subset terbuka dari ruang affine . $S^n=\mathcal{P}(\mathcal{X})$ $\mathcal{X}=\{x_0,\dots,x_n\}$ $\mathcal{P}(\mathcal{X})$ $\mathbb{R}^{\mathcal{X}}=\{X\big|X:\mathcal{X}\to \mathbb{R}\}$ $\mathcal{P}(\mathcal{X})$ $\{X\big |\sum_x X(x)=1\}$

Maka ruang tangen dari di setiap titik secara alami dapat diidentifikasi dengan subruang linear . Untuk dasar alami dari sistem coordiante , kami memiliki . $T_p(S^n)$ $S^n$ $\mathcal{A}_0=\{X\big |\sum_x X(x)=0\}$ $\frac{\partial}{\partial\theta_i}$ $\theta=(\theta_1,\dots,\theta_n)$ $(\frac{\partial}{\partial\theta_i})_{\theta}=\frac{\partial}{\partial\theta_i}p_{\theta}$

Selanjutnya, mari kita ambil embedding , dan identifikasikan dengan subset dari . Vektor singgung kemudian diwakili oleh hasil operasi ke , yang kami tunjukkan dengan . Secara khusus kami memiliki . Jelas bahwa dan $p\mapsto \log p$ $S^n$ $\log S^n:=\{\log p\big |p\in S^n\}$ $\mathbb{R}^{\mathcal{X}}$ $X\in T_p(S^n)$ $X$ $p\mapsto \log p$ $X^{(e)}$ $(\frac{\partial}{\partial\theta_i})_{\theta}^{(e)}=\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $X^{(e)}=X(x)/p(x)$

T_{p}^{(e)} (S^{n}) = {X^{(e)} | X \in T_{p} (S^{n})} = {A \in R^{X} | \sum_{x} A (x) p (x) = 0} .

$T_p^{(e)}(S^n)=\{X^{(e)}\big |X\in T_p(S^n)\}=\{A\in \mathbb{R}^{\mathcal{X}}\big |\sum_x A(x)p(x)=0\}.$

Pertanyaan saya: Jika keduanya dan adalah dasar untuk ruang singgung maka apakah ini tidak akan bertentangan dengan fakta bahwa dan berbeda dan ? $\frac{\partial}{\partial\theta_i}$ $(\frac{\partial}{\partial\theta_i})^{(e)}$ $T_p$ $T_p^{(e)}$ $\frac{\partial}{\partial\theta_i}^{(e)}\in T_p^{(e)}$

Saya kira tampaknya ada hubungan antara ( ) dan . Jika Anda dapat mengklarifikasi ini, itu akan sangat membantu. Anda bisa memberikannya sebagai jawaban. $S^n,T_p$ $(\log S^n,T_p^{(e)})$

mathematical-statistics statistical-learning geometry information-geometry Ashok
sumber

Secara pribadi, saya mengerti kebingungan Anda. Tampaknya tidak wajar menggunakan koordinat " " untuk ruang singgung. Pertanyaan Anda bersifat lokal, jadi kami dapat menggunakan sebagai koordinat lokal. Koordinat biasa untuk ruang tangen adalah . Mengingat kondisi yang wajar pada kelancaran, turunan tidak hilang, dll., Maka dengan aturan rantai, seseorang mengambil basis standar ruang tangen dan mengalikannya dengan fungsi, yang secara umum, masih akan menjadi dasar .

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x)

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)$

θ_{i}

$\theta_{i}$

\frac{\partial}{\partial θ_{i}}

$\frac{\partial}{\partial\theta_i}$

p_{θ}

$p_{\theta}$

meh

Saya mencoba mengedit komentar saya untuk kejelasan dan tidak diizinkan. Beri tahu saya jika Anda ingin detail lebih lanjut.

meh

Terima kasih @aginensky: Maksud Anda, karena , ini juga merupakan dasar untuk ruang tangen, kan?

\frac{\partial}{\partial θ_{i}} \log p_{θ} (x) = 1 / p_{θ} (x) \frac{\partial}{\partial θ_{i}} p_{θ} (x)

$\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)=1/p_{\theta}(x)\frac{\partial}{\partial\theta_i}p_{\theta}(x)$

Ashok

Pernyataan terakhir adalah versi (rusak) dari satu definisi ruang singgung. Sebenarnya, ruang singgung pada titik manifold terdiferensiasi adalah (ruang vektor) ganda untuk ruang derivasi kuman fungsi terdiferensiasi di lingkungan titik itu. Dasar untuk dual adalah dan, menurut definisi , adalah basis gandanya. Referensi standar pada materi ini adalah Volume 1 dari Diferensial Geometri Michael Spivak , amazon.com/… .

{d θ_{i}}

$\{d\theta_i\}$

{\frac{\partial}{\partial θ_{i}}}

$\{\frac{\partial}{\partial\theta_i}\}$

whuber

@ Ashok - ya. Saya akan mempertimbangkan apa yang saya tulis didasarkan pada versi singkat dari satu definisi ruang singgung. Tentu saja karena ruang cotangent adalah dua kali lipat dari ruang tangen, orang dapat juga berpendapat bahwa adalah basis ganda sejati. Bagaimanapun juga selama tidak hilang, saya pikir Anda baik-baik saja.

d θ

$d\theta$

p_{θ}

$p_{\theta}$

meh

Komentar saya sangat panjang, saya menempatkannya sebagai jawaban.

Saya pikir pertanyaannya lebih filosofis daripada matematika pada saat ini. Yaitu, apa yang Anda maksud dengan spasi, dan dalam hal ini, bermacam-macam? Definisi tipikal dari bermacam-macam tidak melibatkan penyisipan ke dalam ruang afin. Ini adalah pendekatan 'modern' (150 tahun?). Sebagai contoh, bagi Gauss, manifold adalah manifold dengan embedding spesifik ke dalam ruang affine tertentu ( ). Jika seseorang memiliki manifold dengan penyisipan dalam , maka ruang tangen (pada titik mana pun dari manifold) adalah isomorfik ke subruang spesifik dari ruang tangen menjadi pada titik itu. Perhatikan bahwa ruang singgung ke pada titik mana pun diidentifikasi dengan 'sama' . $R^n$ $R^n$ $R^n$ $R^n$ $R^n$

Saya pikir intinya adalah bahwa dalam artikel Amari, ruang yang dia sebut sebagai dilengkapi dengan beberapa 'alami' penanaman dalam ruang affine dengan koordinat mana dapat dipertimbangkan sebagai koordinat pada ruang singgung dari . Saya mungkin menambahkan bahwa itu hanya jelas jika fungsi 'umum' dalam beberapa hal - untuk degenerasi , ini akan gagal. Misalnya jika fungsi tidak melibatkan semua variabel . Poin utamanya adalah bahwa penyisipan manifold ini dalam , memunculkan identifikasi spesifik ruang bersinggungan dengan $S^n$ $\theta_{i}$ $p_{\theta}$ $S^n$ $p$ $p$ $\theta_{i}$ $R^n$ $p_{\theta}$ . Poin berikutnya adalah karena properti , ia dapat memetakan manifoldnya menggunakan fungsi log ke ruang affine lain di mana ruang tangen memiliki identifikasi yang berbeda dalam hal koordinat baru (log dan turunannya). Dia kemudian mengatakan bahwa karena sifat-sifat situasinya, dua manifold adalah isomorfik dan peta menginduksi isomorfisme pada ruang bersinggungan. Itu mengarah pada identifikasi (yaitu, isomorfisme) dari dua ruang singgung. $p$

Gagasan kuncinya adalah bahwa dua ruang singgung bukan set yang sama, tetapi isomorfis (yang pada dasarnya adalah bahasa Yunani untuk 'sama') setelah identifikasi yang benar. Sebagai contoh, apakah grup dari semua permutasi dari grup 'sama' dengan grup dari semua permutasi dari ? Sebagai eksperimen pemikiran sederhana, pertimbangkan , pemetaan real positif ke , semua real di bawah log peta. Pilih bilangan real favorit Anda dan pertimbangkan apa peta itu pada ruang singgung. Apakah saya akhirnya memahami pertanyaan Anda? Peringatan ada dalam urutan, yaitu bahwa geometri diferensial bukanlah bidang keahlian utama saya. Saya pikir saya sudah benar, tetapi jangan ragu untuk mengkritik atau masih mempertanyakan jawaban ini. $\{1,2,3\}$ $\{a,b,c\}$ $R^{+}$ $R$ $>0$

meh
sumber

Arti Anda tentang "isomorfik" tidak sepenuhnya jelas, tetapi tampaknya hanya sangat lemah; yaitu, yang diberikan oleh pushforward dari peta yang dapat dibedakan yang dapat dibalik, yang hanya merupakan beberapa transformasi linear yang dapat dibalik. Gagasan kunci untuk melakukan geometri adalah mendapatkan metrik Riemanninan yang bermakna dan berguna yang didefinisikan pada manifold. Arti "isomorfisme" yang relevan adalah isometri : yaitu, peta antara ruang singgung harus menjaga jarak.

f_{*}

$f_{*}$

whuber

@whuber. Memang, komentar saya hanya pada geometri diferensial dari situasi dan ruang singgung. Saya sama sekali tidak jelas tentang kondisi apa pada akan diperlukan untuk membuat peta menjadi isometry. Tetapi ketika saya memahami pertanyaan itu, itu benar-benar mendapatkan apa perbedaan antara identifikasi ('sama') dan isomorfisme.

p

$p$

meh

@whuber: Metrik Riemannian yang relevan di sini diberikan oleh , di mana . Apakah ini menyarankan juga dapat dianggap sebagai vektor singgung?

G = [g_{i, j}]

$G=[g_{i,j}]$

g_{i, j} = \sum_{x} \partial_{i} p_{θ} (x) \partial_{j} \log p_{θ} (x)

$g_{i,j}=\sum_x\partial_i p_{\theta}(x)~\partial_j\log p_{\theta}(x)$

\partial_{j} \log p_{θ}

$\partial_j\log p_{\theta}$

Ashok

Klarifikasi dalam geometri informasi

Jawaban: