Pertimbangkan jumlah distribusi seragam pada , atau . Mengapa puncak dalam PDF menghilang untuk ?

Kita dapat mengambil berbagai pendekatan untuk ini, yang salah satu di antaranya mungkin tampak intuitif bagi sebagian orang dan kurang intuitif bagi yang lain. Untuk mengakomodasi variasi seperti itu, jawaban ini mensurvei beberapa pendekatan seperti itu, yang meliputi divisi utama dari pemikiran matematika - analisis (tak terbatas dan sangat kecil), geometri / topologi (hubungan spasial), dan aljabar (pola formal manipulasi simbolik) - sebagai serta probabilitas itu sendiri. Ini memuncak dalam pengamatan yang menyatukan keempat pendekatan, menunjukkan ada pertanyaan asli untuk dijawab di sini, dan menunjukkan dengan tepat apa masalahnya. Setiap pendekatan menyediakan, dengan caranya sendiri, wawasan yang lebih dalam tentang sifat bentuk fungsi distribusi probabilitas dari jumlah variabel seragam independen.

Latar Belakang

The Uniform distribusi $[0,1]$ memiliki beberapa deskripsi dasar. Ketika memiliki distribusi seperti itu, $X$

Peluang terletak pada himpunan terukur hanyalah ukuran (panjang) , ditulis. $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
Dari sini langsung bahwa fungsi distribusi kumulatif (CDF) adalah

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
Fungsi probabilitas kerapatan (PDF), yang merupakan turunan dari CDF, adalah untuk dan sebaliknya. (Tidak ditentukan pada dan ) $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

Intuisi dari Fungsi Karakteristik (Analisis)

Fungsi karakteristik (CF) dari setiap variabel acak adalah harapan (di mana adalah unit imajiner, ). Menggunakan PDF dari distribusi seragam yang dapat kita hitung $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

CF adalah (versi dari) Transformasi Fourier dari PDF, . Teorema paling mendasar tentang transformasi Fourier adalah: $\phi(t) = \hat{f}(t)$

CF dari sejumlah variabel independen adalah produk CF mereka. $X+Y$
Ketika PDF asli kontinu dan dibatasi, dapat dipulihkan dari CF oleh versi Fourier transform yang terkait erat, $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

Ketika dapat dibedakan, turunannya dapat dihitung dengan tanda integral: $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
Agar ini didefinisikan dengan baik, integral terakhir harus benar-benar bertemu; itu adalah,

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
harus konvergen ke nilai yang terbatas. Sebaliknya, ketika konvergen bertemu, turunannya ada di mana-mana berdasarkan rumus inversi ini.

Sekarang jelas bagaimana persisnya diferensiasi PDF untuk jumlah variabel seragam: dari peluru pertama, CF dari jumlah variabel iid adalah CF yang salah satunya dinaikkan menjadi kekuatan , di sini sama dengan . Pembilangnya dibatasi (terdiri dari gelombang sinus) sedangkan penyebutnya adalah . Kita dapat melipatgandakan integrasi seperti itu dengan dan itu akan tetap menyatu secara absolut ketika dan bertemu secara kondisional ketika . Dengan demikian, aplikasi berulang dari peluru ketiga menunjukkan bahwa PDF untuk jumlah varian seragam akan terus menerus $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ kali dapat dibedakan dan, di sebagian besar tempat, akan kali dapat dibedakan. $n-1$

CF untuk n = 10

Kurva berbayang biru adalah plot log-log dari nilai absolut dari bagian nyata CF dari jumlah iid seragam seragam. Garis merah putus-putus adalah asimtot; kemiringannya adalah , menunjukkan bahwa PDF adalah kali dapat dibedakan. Untuk referensi, kurva abu-abu memplot bagian nyata CF untuk fungsi Gaussian yang berbentuk serupa (PDF normal). $n=10$ $-10$ $10 - 2 = 8$

Intuisi dari Probabilitas

Biarkan dan menjadi variabel acak independen di mana memiliki distribusi Uniform . Pertimbangkan interval sempit menguraikan peluang bahwa menjadi peluang bahwa cukup dekat dengan interval ini dikali peluang bahwa adalah ukuran yang tepat untuk menempatkan dalam interval ini, mengingat bahwa cukup dekat: $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

Kesetaraan akhir berasal dari ekspresi untuk PDF dari . Membagi kedua sisi dengan dan mengambil batas sebagai memberikan $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

Dengan kata lain, menambahkan Seragam variabel ke sembarang variabel mengubah pdf menjadi CDF . Karena PDF adalah turunan dari CDF, ini menyiratkan bahwa setiap kali kami menambahkan variabel seragam independen ke , hasil PDF satu kali lebih dapat dibedakan dari sebelumnya. $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

Mari kita menerapkan wawasan ini, dimulai dengan variabel seragam . PDF asli tidak dapat dibedakan pada atau : itu terputus-putus di sana. PDF dari tidak terdiferensiasi di , , atau , tetapi harus terus menerus pada titik-titik, karena itu adalah perbedaan integral dari PDF dari . Tambahkan variabel seragam independen lain : PDF dapat dibedakan pada , , , dan tetapi tidak harus memiliki yang kedua $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ $3$ turunan pada titik-titik tersebut. Dan seterusnya.

Intuisi dari Geometri

CDF pada dari jumlah iid uniform variates sama dengan volume unit hypercube terletak di dalam ruang setengah . Situasi untuk variasi ditunjukkan di sini, dengan ditetapkan pada , , dan kemudian . $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

Kubus 3D

Ketika berkembang dari hingga , hyperplane melintasi simpul pada , . Pada setiap kali bentuk penampang berubah: pada gambar itu pertama adalah segitiga (a -simpleks), kemudian segi enam, lalu segitiga lagi. Mengapa PDF tidak memiliki tikungan tajam pada nilai ? $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ $t$

Untuk memahami hal ini, pertama-tama pertimbangkan nilai-nilai kecil . Di sini, hyperplane memotong -simplex. Semua dimensi simpleks berbanding lurus dengan , di mana "area" -nya sebanding dengan . Beberapa notasi untuk ini akan berguna nanti. Biarkan menjadi "fungsi unit step," $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

Jika bukan karena adanya sudut-sudut lain dari hypercube, penskalaan ini akan berlanjut tanpa batas. Plot area -simplex akan terlihat seperti kurva biru solid di bawah ini: nol pada nilai negatif dan sama denganpada yang positif, ditulis dengan nyaman. Ia memiliki "ketegaran" urutan pada titik asal, dalam arti bahwa semua turunan melalui urutan ada dan kontinu, tetapi turunan kiri dan kanan urutan ada tetapi tidak setuju pada titik asal. . $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ $n-3$ $n-2$

(Kurva lain yang ditunjukkan pada gambar ini adalah (Merah), (Emas), dan (Hitam). Peran mereka dalam kasus dibahas lebih lanjut di bawah.) $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ $n=3$

Plot area sederhana

Untuk memahami apa yang terjadi ketika melintasi , mari kita periksa secara detail kasus , di mana semua geometri terjadi pada bidang. Kami dapat melihat unit "kubus" (sekarang hanya persegi) sebagai kombinasi linear kuadran , seperti yang ditunjukkan di sini: $t$ $1$ $n=2$

Kuadran

Kuadran pertama muncul di panel kiri bawah, berwarna abu-abu. Nilai adalah , menentukan garis diagonal yang ditunjukkan di kelima panel. CDF sama dengan area kuning yang ditunjukkan di kanan. Area kuning ini terdiri dari: $t$ $1.5$

Area abu-abu segitiga di panel kiri bawah,
minus area hijau segitiga di panel kiri atas,
minus area merah segitiga di panel tengah rendah,
ditambah area biru di panel tengah atas (tetapi tidak ada area seperti itu, juga tidak akan ada hingga melebihi ). $t$ $2$

Setiap area ini adalah area segitiga. Skala pertama seperti , dua berikutnya adalah nol untuk dan skala seperti , dan yang terakhir adalah nol untuk dan sisik seperti . Analisis geometrik ini menetapkan bahwa CDF sebanding dengan = ; setara, PDF sebanding dengan jumlah dari tiga fungsi , , dan $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ (masing-masing skala linear ketika ). Panel kiri gambar ini menunjukkan grafik mereka: jelas, mereka semua adalah versi dari grafik asli , tetapi (a) digeser oleh , , dan unit ke kanan dan (b) ditulis ulang oleh , , dan , masing-masing. $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

Grafik untuk n = 2

Panel kanan menunjukkan jumlah grafik ini (kurva hitam solid, dinormalisasi untuk memiliki satuan luas: ini justru PDF yang tampak seperti sudut yang ditunjukkan dalam pertanyaan asli.

Sekarang kita dapat memahami sifat "kekusutan" dalam PDF dari setiap jumlah variabel seragam iid. Mereka semua persis seperti "ketegaran" yang terjadi pada dalam fungsi , mungkin diubah skala, dan bergeser ke bilangan bulat sesuai dengan tempat hyperplane melintasi simpul dari hypercube. Untuk , ini adalah perubahan arah yang terlihat: turunan kanan pada adalah sedangkan turunan kirinya adalah . Untuk , ini adalah kontinu $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ $\theta(t)t$ $0$ $0$ $1$ $n=3$ perubahan arah, tetapi perubahan mendadak (terputus-putus) dalam turunan kedua. Untuk umum , akan ada turunan kontinu melalui urutan tetapi diskontinuitas dalam turunan . $n$ $n-2$ $n-1^\text{st}$

Intuisi dari Manipulasi Aljabar

Integrasi untuk menghitung CF, bentuk probabilitas kondisional dalam analisis probabilistik, dan sintesis hypercube sebagai kombinasi linear kuadran semua menyarankan untuk kembali ke distribusi seragam asli dan menyatakan kembali sebagai kombinasi linear dari hal-hal sederhana. . Memang, PDF-nya bisa ditulis

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

Mari kita perkenalkan operator shift : ia bekerja pada fungsi apa saja dengan menggeser grafiknya satu unit ke kanan: $\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

Maka, secara formal, untuk PDF dari variabel seragam dapat kita tulis $X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

PDF dari jumlah seragam iid adalah konvolusi dari dengan dirinya sendiri kali. Ini mengikuti dari definisi sejumlah variabel acak: konvolusi dua fungsi dan adalah fungsi $n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

Sangat mudah untuk memverifikasi bahwa konvolusi berjalan dengan . Ubah saja variabel integrasi dari ke : $\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

Untuk PDF dari jumlah seragam iid, kita sekarang dapat melanjutkan aljabar untuk menulis $n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

(di mana "power" menunjukkan konvolusi berulang, bukan perkalian secara langsung!). Sekarang adalah integrasi, langsung dasar, memberi $\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

Sisanya adalah aljabar, karena Teorema Binomial berlaku (seperti halnya dalam aljabar komutatif apa pun atas real):

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

Karena hanya menggeser argumennya oleh , ini menunjukkan PDF sebagai kombinasi linear dari versi bergeser dari , persis seperti yang kita simpulkan secara geometris: $\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

(John Cook mengutip formula ini nanti dalam posting blog-nya, menggunakan notasi untuk .) $(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

Oleh karena itu, karena adalah fungsi yang lancar di mana-mana, perilaku singular dari PDF akan terjadi hanya di tempat-tempat di mana tunggal (jelas hanya ) dan di tempat-tempat itu bergeser ke kanan sebesar . Sifat perilaku tunggal itu - tingkat kelancaran - karena itu akan sama di semua lokasi . $x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

Menggambarkan ini adalah gambar untuk , menunjukkan (di panel kiri) istilah individu dalam jumlah dan (di panel kanan) jumlah parsial, yang berpuncak pada jumlah itu sendiri (kurva hitam solid): $n=8$

Plot untuk n = 8

Komentar Penutupan

Hal ini berguna untuk dicatat bahwa pendekatan terakhir ini akhirnya menghasilkan kompak, ekspresi praktis untuk menghitung PDF dari jumlah variabel seragam iid. (Formula untuk CDF diperoleh dengan cara yang sama.) $n$

Teorema Limit Pusat tidak banyak bicara di sini. Bagaimanapun, sejumlah variabel Binomial iid menyatu ke distribusi Normal, tetapi jumlah itu selalu terpisah: ia bahkan tidak pernah memiliki PDF sama sekali! Kita seharusnya tidak mengharapkan intuisi tentang "ketegaran" atau ukuran pembeda lain dari PDF yang berasal dari CLT.

whuber
sumber

(+1) Fantastis! Sekarang, berapa lama bagi Anda untuk menyatukan semua ini ?!

kardinal

@ Cardinal Ini adalah pertanyaan terakhir yang saya baca sebelum kehilangan kekuatan Senin lalu. Selama minggu berikutnya, malam gelap yang panjang memberikan kesempatan untuk memikirkannya :-) dan, untuk hiburan, untuk mengembangkan beberapa jawaban. Setelah kekuatan dipulihkan akhir pekan lalu, itu hanya masalah menemukan waktu untuk membuat ilustrasi dan menulis semuanya (yang membutuhkan waktu lebih lama dari yang diharapkan, saya akui). Saya berharap bahwa mungkin beberapa utas ini dapat berfungsi sebagai referensi untuk pertanyaan terkait di masa depan tentang jumlah variabel acak.

whuber

Wow. Saya berharap bisa 'menyukai' jawaban ini .

Rhubbarb

Whuber, ini benar-benar luar biasa. Saya tidak pernah menyadari seberapa dalam pertanyaan sederhana seperti itu. Butuh beberapa saat untuk mendapatkan jawaban Anda, tetapi untuk sekarang, terima kasih banyak!

tetragrammaton

Saya akan melanggar kebijakan SE pada komentar, dengan mengatakan bahwa kami (semua crossvalidate.com) harus menyuap perusahaan listrik Anda untuk lebih sering memutus kekuasaan :)

mpiktas