Bagaimana entropi bergantung pada lokasi dan skala?

The entropi dari suatu distribusi kontinu dengan fungsi densitas $f$ didefinisikan sebagai negatif dari harapan $\log(f),$ dan karena itu sama

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Kami juga mengatakan bahwa setiap variabel acak $X$ yang distribusinya memiliki kerapatan $f$ memiliki entropi $H_f.$ (Integral ini didefinisikan dengan baik bahkan ketika $f$ memiliki nol, karena $\log(f(x))f(x)$ dapat dianggap sama dengan nol pada nilai tersebut.)

Ketika $X$ dan $Y$ adalah variabel acak yang $Y = X+\mu$ ( $\mu$ adalah konstan), $Y$ dikatakan sebagai versi $X$ digeser oleh $\mu.$ Demikian pula, ketika $Y = X\sigma$ ( $\sigma$ adalah konstanta positif), $Y$ dikatakan sebagai versi $X$ diskalakan oleh $\sigma.$Menggabungkan skala dengan shift memberi $Y=X\sigma + \mu.$

Hubungan ini sering terjadi. Misalnya, mengubah unit pengukuran $X$ bergeser dan skala itu.

Bagaimana entropi $Y = X\sigma + \mu$ terkait dengan $X?$

Karena elemen probabilitas $X$ adalah $f(x)\mathrm{d}x,$ perubahan variabel $y = x\sigma + \mu$ sama dengan $x = (y-\mu)/\sigma,$ dari mana

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

maka densitas $Y$ adalah

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Akibatnya entropi $Y$ adalah

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

yang, setelah mengubah variabel kembali ke $x = (y-\mu)/\sigma,$ menghasilkan

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

Perhitungan ini digunakan sifat dasar logaritma, linearitas integrasi, dan fakta bahwa $f(x)\mathrm{d}x$ terintegrasi untuk persatuan (Hukum Jumlah Probabilitas).

Kesimpulannya adalah

Entropi $Y = X\sigma + \mu$ adalah entropi $X$ plus $\log(\sigma).$

Dalam kata-kata, menggeser variabel acak tidak mengubah entropinya (kita mungkin menganggap entropi sebagai tergantung pada nilai-nilai kepadatan probabilitas, tetapi tidak pada di mana nilai-nilai itu terjadi), sambil menskalakan variabel (yang, untuk $\sigma \ge 1$ " meregangkan "atau" mengolesi "itu keluar) meningkatkan entropinya dengan $\log(\sigma).$ Ini mendukung intuisi bahwa distribusi entropi tinggi "lebih tersebar" daripada distribusi entropi rendah.

---

$\mu$$\sigma$$(\mu,\sigma)$$\mu=0$$\sigma=1.$

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

dari mana

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

$(\mu,\sigma)$$\log\sigma$

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

seperti dilansir Wikipedia .