Distribusi produk skalar dari dua vektor satuan acak dalam dimensi

Jika dan adalah dua vektor satuan acak independen di (didistribusikan secara seragam pada unit sphere), apa distribusi produk skalar mereka (produk titik) ? $\mathbf{x}$ $\mathbf{y}$ $\mathbb{R}^D$ $\mathbf x \cdot \mathbf y$

Saya kira ketika menumbuhkan distribusi dengan cepat (?) Menjadi normal dengan rata-rata nol dan penurunan varians dalam dimensi yang lebih tinggi tetapi apakah ada rumus eksplisit untuk ? $D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Memperbarui

Saya menjalankan beberapa simulasi cepat. Pertama, menghasilkan 10.000 pasang vektor satuan acak untuk $D=1000$ mudah untuk melihat bahwa distribusi produk titik mereka adalah Gaussian sempurna (sebenarnya sudah cukup Gaussian untuk $D=100$ ), lihat subplot di sebelah kiri. Kedua, untuk setiap $D$ mulai dari 1 hingga 10.000 (dengan langkah-langkah yang meningkat) saya menghasilkan 1000 pasangan dan menghitung variansnya. Log-log plot ditampilkan di sebelah kanan, dan jelas bahwa formula sangat baik didekati dengan $1/D$ . Perhatikan bahwa untuk $D=1$ dan $D=2$ rumus ini bahkan memberikan hasil yang tepat (tapi saya tidak yakin apa yang terjadi kemudian).

dot produk antara vektor satuan acak

mathematical-statistics linear-algebra beta-distribution amuba kata Reinstate Monica
sumber

@KarlOskar: terima kasih, tautan ini sangat relevan, dan bahkan membuat pertanyaan saya hampir duplikat, tetapi tidak cukup. Jadi ada rumus eksplisit untuk yang merupakan fungsi distribusi kumulatif dari produk dot. Seseorang dapat mengambil turunan untuk mendapatkan PDF dan kemudian mempelajari batas . Namun, rumus ini diberikan dalam hal fungsi beta dan fungsi beta tidak lengkap, sehingga perhitungannya cenderung tidak menyenangkan.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

Amoeba berkata Reinstate Monica

@KarlOskar: dari distribusi seragam pada lingkup unit . Untuk menghasilkan vektor acak dari distribusi ini, seseorang dapat menghasilkan vektor acak dari Gaussian dengan varian unit, dan kemudian menormalkannya.

R^{D}

$\mathbb{R}^D$

Amuba kata Reinstate Monica

Jawaban:

Karena ( seperti yang terkenal ) distribusi seragam pada unit lingkup diperoleh dengan menormalisasi -variate distribusi normal dan titik produk vektor normalisasi adalah koefisien korelasi mereka, jawaban atas tiga pertanyaan adalah: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ memiliki distribusi Beta . $((D-1)/2,(D-1)/2)$
Varian dari sama dengan (seperti yang dispesifikasikan dalam pertanyaan). $t$ $1/D$
Distribusi standar mendekati normalitas pada tingkat $t$ $O\left(\frac{1}{D}\right).$

metode

The tepat distribusi produk titik vektor satuan mudah diperoleh geometris, karena ini adalah komponen dari vektor kedua arah pertama. Karena vektor kedua tidak tergantung pada yang pertama dan terdistribusi secara seragam pada unit sphere, komponennya dalam arah pertama terdistribusi sama seperti koordinat bola tersebut. (Perhatikan bahwa distribusi vektor pertama tidak masalah.)

Menemukan Kepadatan

Membiarkan koordinat itu sebagai yang terakhir, kerapatan pada karena itu sebanding dengan luas permukaan yang terletak pada ketinggian antara dan pada unit sphere. Proporsi itu terjadi dalam sabuk dengan ketinggian dan jari-jari yang pada dasarnya merupakan kerucut kerucut yang dibangun dari jari-jari dengan ketinggian , dan kemiringan . Dari mana probabilitas sebanding dengan $t \in [-1,1]$ $t$ $t+dt$ $dt$ $\sqrt{1-t^2},$ $S^{D-2}$ $\sqrt{1-t^2},$ $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

Membiarkan mencakup . Mengganti yang menjadi sebelumnya memberikan elemen probabilitas hingga konstanta normalisasi: $u=(t+1)/2 \in [0,1]$ $t = 2u-1$

f_{D} (u) d u \propto (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

Langsung bahwa memiliki distribusi Beta , karena (menurut definisi) kepadatannya juga sebanding dengan $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$

u^{(D - 1) / 2 - 1} {(1 - u)}^{(D - 1) / 2 - 1} = (u - u^{2})^{(D - 3) / 2} \propto f_{D} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Menentukan Perilaku Membatasi

Informasi tentang perilaku pembatasan mengikuti dengan mudah dari ini dengan menggunakan teknik dasar: dapat diintegrasikan untuk memperoleh konstanta proporsionalitas ; dapat diintegrasikan (menggunakan properti dari fungsi Beta, misalnya) untuk mendapatkan momen, menunjukkan bahwa variansnya adalah dan menyusut ke (dimana, menurut Teorema Chebyshev, probabilitas menjadi terkonsentrasi di dekat ); dan distribusi pembatas kemudian ditemukan dengan mempertimbangkan nilai-nilai kepadatan distribusi standar, sebanding dengan untuk nilai-nilai kecil dari $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ $f_D(t/\sqrt{D}),$ $t$ :

\begin{aligned} \log (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} \log (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 D}) t^{2} + O (\frac{t^{4}}{D}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

di mana mewakili (log) konstanta integrasi. Jelas tingkat di mana ini mendekati normalitas (di mana kepadatan log sama dengan ) adalah $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

Angka

Plot ini menunjukkan kerapatan produk titik untuk , sebagai standar untuk varian unit, dan kerapatan pembatasnya. Nilai meningkat dengan (dari biru hingga merah, emas, dan kemudian hijau untuk kerapatan normal standar). Kepadatan untuk tidak dapat dibedakan dari kepadatan normal pada resolusi ini. $D=4, 6, 10$ $0$ $D$ $D=1000$

whuber
sumber

(+1) Terima kasih banyak, @whuber, ini jawaban yang bagus! Terima kasih khusus untuk menyebut kata "frustum". Kebetulan saya telah menerima jawaban lain hanya beberapa menit sebelum Anda memposting jawaban Anda, dan saya tidak ingin menolak menerimanya sekarang; semoga kamu mengerti. Sayang sekali bahwa tidak mungkin menerima keduanya! Omong-omong, perhatikan bukti ekspresi sangat sederhana untuk varian dari jawaban itu: orang dapat melihatnya langsung tanpa mengacaukan fungsi beta! Varian dari produk titik sama dengan varian dari setiap koordinat bola (seperti yang Anda tulis), dan jumlah semua dari mereka harus , QED

1 / D

$1/D$

D

$D$

1

$1$

amoeba mengatakan Reinstate Monica

Itu pengamatan yang bagus tentang varians.

whuber

@amoeba, kegiatan baru-baru ini membawa perhatian saya ke sini lagi juga, dan saya sangat menghargai Anda menerima jawaban saya, yang ini jauh lebih penuh. Saya tidak akan keberatan sama sekali jika Anda berubah.

ekvall

@ Student001: ini adalah komentar yang adil dan murah hati. Saya mengganti jawaban yang diterima. Saya juga telah menemukan satu Q dan satu A dari Anda untuk mengimbangi untuk

menebusnya

@ ah Distribusi adalah dari . Itu membuatnya menjadi distribusi Beta yang telah diskalakan dan digeser dari interval ke interval .

t

$t$

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

whuber

Mari kita cari distribusinya lalu variansnya mengikuti hasil standar. Pertimbangkan produk vektor dan tuliskan pada bentuk kosinusnya, yaitu perhatikan bahwa kita memiliki mana adalah sudut antara dan . Pada langkah terakhir saya telah menggunakannya untuk setiap kejadian danSekarang perhatikan istilah . Jelas bahwa karena dipilih secara seragam sehubungan dengan permukaan bola, tidak masalah apa

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (A ∣ B) := E [E [χ_{A} ∣ B]] = E χ_{A} = P (A) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$ sebenarnya, hanya sudut antara dan penting. Jadi, istilah di dalam ekspektasi sebenarnya konstan sebagai fungsi dari dan kita dapat menganggap bahwaKemudian kita mendapatkantetapi karena adalah koordinat pertama dari vektor Gaussian yang dinormalisasi dalam kami berpendapat bahwa adalah Gaussian dengan varian dengan menggunakan hasil asimptotik dari makalah ini .

x

$x$

y

$y$

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (x^{'} y \leq t) = P (x_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Untuk hasil yang jelas dari varians, gunakan fakta bahwa produk titik adalah nol rata-rata oleh independensi dan, seperti yang ditunjukkan di atas, didistribusikan seperti koordinat pertama . Dengan hasil ini, menemukan sama dengan menemukan . Sekarang, perhatikan bahwa per konstruksi dan jadi kita dapat menulis mana persamaan terakhir mengikuti dari mana koordinat didistribusikan secara identik. Menyatukan semuanya, kami telah menemukan bahwa $x$ $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} E x_{i}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

ekvall
sumber

Terima kasih, tetapi saya bingung: apa sebenarnya "hasil yang diinginkan" dan bagaimana hasilnya dari persamaan terakhir? Distribusi probabilitas akhir harus bergantung pada .

D

$D$

Amoeba berkata Reinstate Monica

Sebenarnya bagaimana hasil mengikuti dari persamaan terakhir Anda adalah persis apa yang dibahas di thread math.SE yang Anda temukan. Ini melibatkan distribusi beta dll, dan perilaku membatasi (bagi saya) jauh dari jelas. Saya kira harus ada cara yang lebih sederhana langsung untuk melihat bahwa .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

Amoeba berkata Reinstate Monica

Itu memang tergantung pada dimensi sejak , di mana adalah vektor Gaussian yang dihasilkan. Saya akan memperbarui jawabannya hari ini atau besok.

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$

ekvall

Wow, hebat, tautan terakhir Anda memberikan batas ekspresi yang melibatkan fungsi beta terbalik (yang saya takut untuk hitung) dalam persamaan ketiga di halaman 1. Jadi untuk menyelesaikan alasannya: jika bola memiliki jari-jari , maka (asimptotik) didistribusikan sebagai . Berarti bahwa untuk lingkup radius Unit varians adalah yang kali lebih kecil, yaitu . Namun, saya masih memiliki kekhawatiran: Saya memeriksa dari 1 hingga 4, dan tampaknya memberikan varian yang tepat , meskipun distribusi untuk D = 1 atau D = 2 sangat jauh dari normal. Harus ada alasan yang lebih dalam di balik itu.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

amoeba mengatakan Reinstate Monica

@amoeba Ya, diperbarui dengan bukti itu.

ekvall

Untuk menjawab bagian pertama dari pertanyaan Anda, tunjukkan . Tentukan Produk dari elemen dari dan dilambangkan di sini sebagai akan didistribusikan sesuai dengan distribusi gabungan dari dan . lalu sejak , $Z = \langle X,Y \rangle = \sum X_i Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{D}) d z_{i}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{X_{i}, Y_{i}} (x, \frac{z_{i}}{x}) \frac{1}{| x |} d x

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

f_{Z} (z) = \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{d}) δ (z - \sum z_{i}) d z_{1} \dots d z_{d}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

Untuk bagian kedua, saya berpikir bahwa jika Anda ingin mengatakan sesuatu yang menarik tentang perilaku asimtotik dari Anda harus setidaknya mengasumsikan independensi dan , dan kemudian menerapkan CLT. $\sigma$ $X$ $Y$

Misalnya, jika Anda mau berasumsi bahwa iid dengan dan Anda dapat katakan bahwa dan . $\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ $\lim_{D\to\infty} \sigma^2(D) = 0$

tom
sumber

Terima kasih, tetapi saya bingung tentang bagian kedua. dan tentu saja seharusnya independen, saya akan menambahkan ini ke pertanyaan. Anda mengatakan bahwa , dan itu terdengar masuk akal, tetapi apa perilaku asimptotik dari ? Saya pikir ekspresi saya mencari seharusnya hanya tergantung pada . Ngomong-ngomong dalam 2D jika saya tidak salah, saya bertanya-tanya apakah ini tetap benar dalam dimensi yang lebih tinggi ...

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$

amoeba mengatakan Reinstate Monica

Apakah benar-benar mungkin bagi untuk mandiri mengingat persyaratan bahwa dan adalah satuan panjang?

z_{i}

$z_i$

X

$X$

Y

$Y$

ekvall

@ Tom: By the way, saya adalah salah: di 2D adalah 1, itu adalah yaitu sebesar 1/2. Saya telah memperbarui pertanyaan saya dengan beberapa hasil simulasi. Sepertinya formula yang benar adalah .

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$

Amoeba berkata Reinstate Monica