"Karena hampir gaussian, PDF-nya dapat ditulis sebagai ..."

Pertanyaan pendek: Mengapa ini benar ??

Pertanyaan panjang:

Sederhananya, saya mencoba mencari tahu apa yang membenarkan persamaan pertama ini. Penulis buku yang saya baca, (konteks di sini jika Anda menginginkannya, tetapi tidak perlu), mengklaim sebagai berikut:

Karena asumsi near-gaussianity, kita dapat menulis:

$p_{0} (ξ) = A ϕ (ξ) e x p (a_{n + 1} ξ + (a_{n + 2} + \frac{1}{2}) ξ^{2} + \sum_{i = 1}^{n} a_{i} G_{i} (ξ))$ $p_0(\xi) = A \; \phi(\xi) \; exp( a_{n+1}\xi + (a_{n+2} + \frac{1}{2})\xi^2 + \sum_{i=1}^{n} a_i G_i(\xi))$

Di mana adalah PDF dari data pengamatan Anda yang memiliki entropi maksimum, mengingat bahwa Anda hanya mengamati serangkaian harapan, (angka sederhana) , di mana , dan adalah PDF dari variabel gaussian terstandarisasi, yaitu, 0 mean, dan varian unit. $p_0(\xi)$ $c_i, i = 1 ... n$ $c_i = \mathbb{E}\{G_i(\xi)\}$ $\phi(\xi)$

Di mana semua ini terjadi adalah bahwa ia menggunakan persamaan di atas sebagai titik awal untuk membuat PDF, lebih sederhana, dan saya mengerti bagaimana ia melakukannya, tetapi saya tidak mengerti bagaimana ia membenarkan persamaan di atas, yaitu, titik awal. $p_0(\xi)$

Saya telah mencoba membuatnya singkat agar tidak membingungkan siapa pun, tetapi jika Anda ingin detail tambahan, silakan beri tahu saya di komentar. Terima kasih!

probability normal-distribution entropy maximum-entropy Spacey
sumber

(Catatan: Saya telah mengubah menjadi .) $\xi$ $x$

Untuk variabel acak dengan kerapatan , jika Anda memiliki kendala untuk , kerapatan entropi maksimum adalah mana ditentukan dari , dan adalah konstanta normalisasi. $X$ $p$

\int G_{i} (x) p (x) d x = c_{i},

$\int G_i(x)\,p(x)\,dx=c_i \, ,$

i = 1, \dots, n

$i=1,\dots,n$

p_{0} (x) = A \exp (\sum_{i = 1}^{n} a_{i} G_{i} (x)),

$p_0(x)=A\exp\left(\sum_{i=1}^n a_iG_i(x)\right) \, ,$

a_{i}

$a_i$

c_{i}

$c_i$

A

$A$

Dalam konteks ini, perkiraan Gaussian ("near-gaussianity") berarti dua hal:

1) Anda menerima untuk memperkenalkan dua kendala baru: rata-rata adalah dan variansnya (katakanlah); $X$ $0$ $1$

2) (lihat di bawah) jauh lebih besar daripada lainnya . $a_{n+2}$ $a_i$

Batasan tambahan ini direpresentasikan sebagai menghasilkan yang dapat ditulis ulang sebagai (cukup "tambahkan nol" ke eksponen) mengarah ke apa yang Anda inginkan: siap menjadi Taylor diperluas (menggunakan kondisi kedua perkiraan Gaussian).

G_{n + 1} (x) = x, c_{n + 1} = 0,

$G_{n+1}(x)=x \, , \qquad c_{n+1}=0 \, ,$

G_{n + 2} (x) = x^{2}, c_{n + 2} = 1,

$G_{n+2}(x)=x^2 \, , \qquad c_{n+2}=1 \, ,$

p_{0} (x) = A \exp (a_{n + 2} x^{2} + a_{n + 1} x + \sum_{i = 1}^{n} a_{i} G_{i} (x)),

$p_0(x)=A\exp\left(a_{n+2}x^2 + a_{n+1}x + \sum_{i=1}^n a_iG_i(x)\right) \, ,$

p_{0} (x) = A \exp (\frac{x^{2}}{2} - \frac{x^{2}}{2} + a_{n + 2} x^{2} + a_{n + 1} x + \sum_{i = 1}^{n} a_{i} G_{i} (x)),

$p_0(x)=A\exp\left(\frac{x^2}{2} - \frac{x^2}{2} + a_{n+2}x^2 + a_{n+1}x + \sum_{i=1}^n a_iG_i(x)\right) \, ,$

p_{0} (x) = A^{'} ϕ (x) \exp (a_{n + 1} x + (a_{n + 2} + \frac{1}{2}) x^{2} + \sum_{i = 1}^{n} a_{i} G_{i} (x));

$p_0(x)=A'\,\phi(x)\exp\left(a_{n+1}x + \left(a_{n+2}+\frac{1}{2}\right)x^2 + \sum_{i=1}^n a_iG_i(x)\right) \, ;$

Melakukan aproksimasi seperti seorang Fisikawan (yang berarti bahwa kita tidak peduli dengan urutan istilah kesalahan), menggunakan , kita memiliki kepadatan perkiraan Untuk menyelesaikannya, kita harus menentukan dan nilai-nilai . Ini dilakukan dengan memaksakan kondisi untuk memperoleh sistem persamaan, yang solusinya memberikan dan . $\exp(t)\approx 1+t$

p_{0} (x) \approx A^{'} ϕ (x) (1 + a_{n + 1} x + (a_{n + 2} + \frac{1}{2}) x^{2} + \sum_{i = 1}^{n} a_{i} G_{i} (x)) .

$p_0(x) \approx A'\,\phi(x)\left(1+a_{n+1}x + \left(a_{n+2}+\frac{1}{2}\right)x^2 + \sum_{i=1}^n a_iG_i(x)\right) \, .$

A^{'}

$A'$

a_{i}

$a_i$

\int p_{0} (x) d x = 1, \int x p_{0} (x) d x = 0, \int x^{2} p_{0} (x) d x = 1

$\int p_0(x)\,dx=1 \, , \qquad \int x \,p_0(x)\,dx=0 \, , \qquad \int x^2 \,p_0(x)\,dx=1$

\int G_{i} (x) p_{0} (x) d x = c_{i}, i = 1, \dots, n,

$\int G_i(x)\, p_0(x)\,dx=c_i \, , \quad i=1,\dots,n \, ,$

A^{'}

$A'$

a_{i}

$a_i$

Tanpa memaksakan kondisi tambahan pada , saya tidak percaya bahwa ada solusi sederhana dalam bentuk tertutup. $G_i$

PS Mohammad mengklarifikasi selama obrolan bahwa dengan kondisi orthogonality tambahan untuk kita dapat menyelesaikan sistem. $G_i$

Zen
sumber

Zen, terima kasih banyak. Saya (agak) mengerti sekarang. Yang tidak jelas bagi saya adalah ketika Anda mengatakan "Dalam konteks ini, perkiraan Gaussian (" near-gaussianity ") berarti Anda menerima untuk memperkenalkan dua kendala baru: bahwa rata-rata X adalah 0 dan variansnya adalah (katakanlah ) 1. " , Saya tidak mengerti, mengapa sesuatu menjadi 'hampir gaussian', berarti memiliki dan . Bagaimana jika itu hanya rv lain yang kebetulan memiliki nilai-nilai yang sama?

μ = 0

$\mu=0$

σ^{2} = 1

$\sigma^2=1$

Spacey

Hai Mohammad. Saya telah menambahkan lebih banyak informasi ke jawabannya. Untuk mendapatkan ekspresi Anda hanya menggunakan apa yang saya sebut kondisi pertama dari perkiraan Gaussian. Anda akan menggunakan kondisi kedua ketika Anda melakukan ekspansi Taylor dari . Saya harap ini membantu.

p_{0} (x)

$p_0(x)$

p_{0} (x)

$p_0(x)$

Zen

Apakah Anda keberatan memposting sebagai ekspresi akhir untuk setelah Anda melakukan perhitungan yang tersisa? Terima kasih.

p_{0} (x)

$p_0(x)$

Zen

ya, ia mengatakan bahwa ekspresi terakhirnya adalah:

p_{0} (z) \approx ϕ (z) (1 + \sum_{i = 1}^{N} c_{i} F_{i} (z))

$p_0(z) \approx \phi(z) (1 + \sum_{i=1}^{N} c_i F_i(z))$

Spacey

Saya pikir ada kesalahan ketik pada persamaan terakhir? ... terjadi dua kali? ...

a_{n + 1} x

$a_{n+1}x$

Spacey

"Karena hampir gaussian, PDF-nya dapat ditulis sebagai ..."

Jawaban: