Apa karakterisasi paling mengejutkan dari distribusi Gaussian (normal)?

52

Distribusi Gaussian terstandardisasi pada dapat didefinisikan dengan memberikan kepadatannya secara eksplisit: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

atau fungsi karakteristiknya.

Sebagai kenang dalam ini pertanyaan itu juga satu-satunya distribusi yang mean sampel dan varians independen.

Apa karakterisasi alternatif mengejutkan lain dari tindakan Gaussian yang Anda tahu? Saya akan menerima jawaban yang paling mengejutkan

probability normal-distribution mathematical-statistics characteristic-function robin girard
sumber

39

Pribadi saya yang paling mengejutkan adalah tentang rata-rata sampel dan varians, tetapi di sini ada satu lagi (mungkin) karakterisasi mengejutkan: jika dan adalah IID dengan varian terbatas dengan dan independen, maka dan adalah normal. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Secara intuitif, kita biasanya dapat mengidentifikasi ketika variabel tidak independen dengan sebaran. Jadi bayangkan sebuah scatterplot pasangan yang terlihat independen. Sekarang putar dengan 45 derajat dan lihat lagi: jika masih terlihat independen, maka koordinat dan individual harus normal (ini semua berbicara secara longgar, tentu saja). $(X,Y)$ $X$ $Y$

Untuk melihat mengapa bit intuitif berfungsi, lihat

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

pengguna1108
sumber

3

Jay - ini pada dasarnya merupakan pernyataan ulang dari mean dan varians yang independen. adalah skala rata-rata dan adalah standar deviasi yang dihitung ulang.

X + Y

$X+Y$

X - Y

$X-Y$

probabilityislogic

5

@probabilityislogic - Saya suka intuisi dari apa yang Anda katakan, tapi saya tidak berpikir itu adalah penyajian ulang karena sebenarnya bukan pengubahan ukuran SD: SD lupa tandanya. Jadi independensi mean dan SD mengikuti dari independensi , (ketika ), tetapi tidak sebaliknya. Itu mungkin yang Anda maksud dengan "pada dasarnya". Bagaimanapun, ini hal yang baik.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Di mana kami dapat menemukan bukti untuk properti ini?

Royi

1

@Royi lihat 16. di sini . Untuk (a), perhatikan bahwa . Untuk (b) perhatikan bahwa yang merindukan substitusi dari mana Anda mendapatkan . Jika , maka , maka untuk semua , dan ada urutan sedemikian rupa sehingga dan untuk semua , yang bertentangan dengan kontinuitas pada

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ . (c) lurus ke depan [lanjutan]

Gabriel Romon

1

Untuk (d), . Perhatikan bahwa , maka . Masukkan ini dalam persamaan sebelumnya dan buktikan bahwa untuk tetap , yang menyiratkan untuk semua . Ini berarti adalah nyata, dan persamaan dalam (a) berubah menjadi apa yang diminta. Sekali lagi, buktikan bahwa dan gunakan untuk mendapatkan . Karenanya dan

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ normal.

Gabriel Romon

27

Distribusi kontinu dengan varian tetap yang memaksimalkan entropi diferensial adalah distribusi Gaussian.

shabbychef
sumber

22

Ada seluruh buku yang ditulis tentang ini: "Karakterisasi hukum probabilitas normal", AM Mathai & G. Perderzoli. Ulasan singkat di JASA (Desember 1978) menyebutkan hal berikut:

Biarkan menjadi variabel acak independen. Maka dan independen, di mana , jika dan hanya jika didistribusikan secara normal. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

whuber
sumber

3

pasti ada kondisi seperti hilang? misalnya jika n = 2 dan tidak independen.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

robin girard

1

@robin tangkapan yang bagus. Saya telah bingung dengan quantifier implisit juga. Sayangnya, yang bisa saya akses adalah kutipan (ulasan) dari review, bukan buku. Akan menyenangkan untuk menemukannya di perpustakaan dan menjelajahinya ...

whuber

Ini terasa seperti generalisasi dari jawaban G. Jay Kerns (saat ini # 1).

vqv

Saya pikir Anda mungkin mencari kertas Lukacs & King (1954). Lihat jawaban ini di math.SE dengan tautan ke makalah yang disebutkan di atas.

kardinal

2

Di mana proposisi ini mengatakan "di mana ", apakah artinya untuk SETIAP set skalar di mana "? Saya benci melihat" di mana "digunakan sebagai pengganti" untuk setiap "atau" untuk beberapa "." Di mana "harus digunakan untuk menjelaskan notasi seseorang, seperti dalam" di mana adalah kecepatan cahaya dan adalah produk domestik bruto ", dll.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Michael Hardy

17

Distribusi Gaussian adalah satu-satunya distribusi penjumlahan stabil dengan varian terbatas.

shabbychef
sumber

8

Bahwa mereka stabil dan bahwa mereka adalah yang unik dengan varian yang terbatas, sama-sama dipaksakan kepada kita oleh CLT. Bagian yang menarik dari pernyataan ini adalah bahwa terdapat lainnya distribusi sum-stabil!

whuber

1

@whuber: memang! karakterisasi ini sedikit berubah, dan distribusi jumlah-stabil lainnya mungkin lebih penasaran.

shabbychef

@whuber sebenarnya, saya tidak melihat bagaimana CLT menyiratkan fakta ini. Tampaknya hanya untuk memberi tahu kita bahwa secara asimptotik , jumlah normal adalah normal, bukan jumlah terbatas apa pun yang terdistribusi secara normal. Atau apakah Anda harus menggunakan teorema Slutsky juga?

shabbychef

3

Mengadopsi standardisasi yang biasa, jumlah dua normals adalah jumlah dari satu distribusi normal X_0 ditambah distribusi pembatas dari seri X_1, X_2, ..., di mana jumlahnya adalah distribusi pembatas X_0, X_1, ..., yang oleh Lindeberg-Levy CLT normal.

whuber

17

Stein's Lemma memberikan karakterisasi yang sangat berguna. adalah standar Gaussian iff untuk semua fungsi kontinu dengan . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

vqv
sumber

12

Teorema [Herschel-Maxwell]: Misalkan menjadi vektor acak di mana (i) proyeksi ke subruang ortogonal independen dan (ii) distribusi hanya bergantung pada panjang. Kemudian terdistribusi secara normal. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Dikutip oleh George Cobb dalam Mengajar statistik: Beberapa ketegangan penting (Chili J. Statistik Vol. 2, No. 1, April 2011) di hal. 54.

Cobb menggunakan karakterisasi ini sebagai titik awal untuk menurunkan , , dan , tanpa menggunakan Kalkulus (atau teori probabilitas banyak). $\chi^2$ $t$ $F$

whuber
sumber

9

Biarkan dan menjadi dua variabel acak independen dengan distribusi simetris yang sama sehingga $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Maka variabel acak ini adalah gaussian. (Jelas, jika dan berpusat gaussian, itu benar.) $\xi$ $\eta$

Ini adalah Teorema Bobkov-Houdre

robin girard
sumber

9

Ini bukan penokohan tetapi dugaan, yang berasal dari tahun 1917 dan disebabkan oleh Cantelli:

Jika adalah fungsi positif pada dan dan adalah variabel acak independen sehingga adalah normal, maka adalah konstanta hampir di mana-mana. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Disebutkan oleh Gérard Letac di sini .

Did
sumber

itu baik bahwa Anda menyebutkannya! Saya tidak tahu intuisinya, bukan?

robin girard

@robin Inilah yang membuat dugaan ini begitu istimewa: pernyataan yang sepenuhnya elementer, beberapa pendekatan yang jelas yang gagal total (fungsi karakteristik), dan seseorang tidak dapat menangkap ... By the way, haruskah seseorang bertaruh pada dugaan itu benar atau salah? Bahkan itu tidak jelas (bagi saya).

Apakah

2

Jika Gérard Letac belum berhasil membuktikannya, itu bisa tetap menjadi dugaan terbuka selama beberapa saat ...!

Xi'an

@ Xi'an: Saya sepenuhnya setuju, tentu saja. (Tidak tahu Anda berkeliaran di perempat web ini ... Kabar baik bahwa Anda.)

Apakah

6

@ Xi'an Inilah pracetak dari Victor Kleptsyn dan Aline Kurtzmann dengan contoh berlawanan dengan dugaan Cantelli. Konstruksi menggunakan alat baru, yang penulis sebut sebagai transportasi massal Brown, dan menghasilkan fungsi diskontinyu . Para penulis menyatakan bahwa mereka percaya bahwa dugaan Cantelli berlaku jika seseorang bertanya bahwa adalah kontinu (milik mereka adalah campuran dari dua fungsi kontinu).

f

$f$

f

$f$

Apakah

8

Misalkan seseorang memperkirakan parameter lokasi menggunakan data iid . Jika adalah penaksir kemungkinan maksimum, maka distribusi sampling adalah Gaussian. Menurut Jaynes's Probability Theory: The Logic of Science hal. 202-4, beginilah Gauss awalnya berasal. $\{x_1,...,x_n\}$ $\bar{x}$

Cyan
sumber

Saya tidak yakin saya memahami ini sebagai karakterisasi dari distribusi normal, jadi saya mungkin kehilangan sesuatu. Bagaimana jika kami memiliki data Poisson iid dan ingin memperkirakan ? MLE adalah tetapi distribusi sampling dari bukan Gaussian - pertama, harus rasional; kedua, jika itu Gaussian, maka akan menjadi tapi itu .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Silverfish

2

Rerata Poisson bukan parameter lokasi!

kjetil b halvorsen

6

Karakterisasi yang lebih khusus dari distribusi normal di antara kelas distribusi yang dapat dibagi secara tak terbatas disajikan dalam Steutel dan Van Harn (2004) .

Variabel acak tidak dapat tak terhingga memiliki distribusi normal jika dan hanya jika memenuhi $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Hasil ini mencirikan distribusi normal dalam hal perilaku ekornya.

user10525
sumber

1

Bukti singkat dari batas yang dinyatakan adalah sebagai berikut: Jika adalah standar normal, maka sebagai , jadi . Tapi dan hasilnya berikut. Sketsa kasar untuk kasus Poisson tampaknya menunjukkan bahwa batas yang diberikan adalah , tapi saya tidak memeriksanya terlalu dekat.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

kardinal

6

Dalam konteks pemulusan gambar (misalnya ruang skala ), Gaussian adalah satu-satunya kernel * yang dapat dipisahkan secara simetris secara rotasi.

Yaitu, jika kita memerlukan mana , maka simetri rotasi memerlukan yang setara dengan .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Memerlukan bahwa menjadi kernel yang tepat kemudian membutuhkan konstanta menjadi negatif dan nilai awal positif, menghasilkan kernel Gaussian. $f[x]$

* Dalam konteks distribusi probabilitas, separable berarti independen, sedangkan dalam konteks pemfilteran gambar memungkinkan konvolusi 2D direduksi secara komputasional menjadi dua konvolusi 1D.

GeoMatt22
sumber

2

+1 Tetapi tidakkah ini mengikuti dari aplikasi langsung teorema Herschel-Maxwell dalam 2D?

whuber

@whuber Memang, entah bagaimana saya berhasil mengabaikan jawaban Anda ketika melihat melalui utas ini!

Amoeba berkata Reinstate Monica

@whuber Ya. Saya belum membaca utas lama ini secara mendetail, dan hanya menambahkan jawaban ini atas permintaan.

GeoMatt22

1

@amoeba lihat juga di sini .

GeoMatt22

3

Baru-baru ini Ejsmont [1] menerbitkan artikel dengan karakterisasi baru Gaussian:

Biarkan menjadi vektor acak independen dengan semua momen, di mana adalah - , dan biarkan statistik memiliki distribusi yang hanya bergantung pada , di mana dan . Kemudian independen dan memiliki distribusi normal yang sama dengan nol berarti dan untuk . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1]. Ejsmont, Wiktor. "Karakterisasi distribusi normal dengan independensi sepasang vektor acak." Statistik & Probabilitas Surat 114 (2016): 1-5.

Daniel
sumber

1

Itu karakterisasi yang halus dan menarik. Terima kasih telah meningkatkan utas ini dengan membagikannya!

whuber

1

Fungsi karakteristiknya memiliki bentuk yang sama dengan pdf-nya. Saya tidak yakin distribusi lain yang melakukan itu.

Jason
sumber

4

Lihat jawaban saya ini untuk cara membangun variabel acak yang fungsinya sama dengan pdf-nya.

Dilip Sarwate

-1

Harapan plus minus deviasi standar adalah titik pelana fungsi.

Tal Galili
sumber

11

Ini adalah properti dari distribusi Normal, untuk memastikan, tetapi tidak mencirikannya , karena banyak distribusi lain juga memiliki properti ini.

whuber

Apa karakterisasi paling mengejutkan dari distribusi Gaussian (normal)?

Jawaban: