Apakah ada gunanya kuantitas

Apakah ada gunanya kuantitas

$$\int f(x)^2 dx$$ dalam statistik atau teori informasi?

Membiarkan menunjukkan fungsi kepadatan probabilitas (baik sehubungan dengan Lebesgue atau menghitung ukuran, masing-masing), kuantitas$f$$\newcommand{\rd}{\mathrm{d}}$ dikenal sebagaientropi Renyipesananα≥0. Ini adalah generalisasi dari entropi Shannon yang mempertahankan banyak properti yang sama. Untuk kasusα=1, kami menafsirkanH1(f)sebagailimα→1Hα(f), dan ini sesuai dengan entropi Shannon standarH(f).

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Renyi memperkenalkan ini di makalahnya

A. Renyi, Tentang ukuran informasi dan entropi , Proc. 4th Berkeley Symp. pada Matematika., Stat. dan Prob. (1960), hlm. 547–561.

yang layak dibaca, tidak hanya untuk ide-ide tetapi untuk gaya eksposisi yang patut dicontoh.

Kasus adalah salah satu pilihan yang lebih umum untuk α dan kasus khusus ini (juga) sering disebut sebagai entropi Renyi. Di sini kita melihat bahwa H 2 ( f ) = - log ( ∫ f 2 d μ ) = - log ( E$\alpha = 2$$\alpha$ untuk variabel acak yang didistribusikan dengan kepadatan f .

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

Perhatikan bahwa adalah fungsi cembung dan oleh karena itu, ketidaksetaraan Jensen kita memiliki H 2 ( f ) = - log ( E f ( X ) ) ≤ E ( - log f ( X ) ) = - E log f ( X ) = H ( f $- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$ di mana sisi kanan menunjukkan entropi Shannon. Karenanya entropi Renyi memberikan batas yang lebih rendah untuk entropi Shannon dan, dalam banyak kasus, lebih mudah untuk dihitung.

Contoh alami lain di mana entropi Renyi muncul adalah ketika mempertimbangkan variabel acak diskrit dan salinan independen X ⋆ . Dalam beberapa skenario kita ingin mengetahui probabilitas bahwa X = X ⋆ , yang dengan perhitungan elementer adalah P ( X = X ⋆ ) = ∞ ∑ i = 1 P ( X = x i , X ⋆ = x i ) = ∞ ∑ i = 1 P$X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

Di sini menunjukkan kepadatan sehubungan dengan penghitungan ukuran pada set nilai Ω = { x i : i ∈ N$f$$\Omega = \{x_i: i \in \mathbb{N}\}$ .

Entropi (umum) Renyi juga tampaknya terkait dengan energi bebas suatu sistem dalam kesetimbangan termal, meskipun saya tidak secara pribadi memahami hal itu. Makalah (sangat) baru pada subjek adalah

JC Baez, entropi Renyi dan energi bebas , arXiv [quant-ph] 1101.2098 (Februari 2011).