Saya menemukan istilah kebingungan yang mengacu pada probabilitas invers log-rata pada data yang tidak terlihat. Artikel Wikipedia tentang kebingungan tidak memberikan makna intuitif untuk hal yang sama.

Ukuran kebingungan ini digunakan dalam kertas pLSA .

Adakah yang bisa menjelaskan kebutuhan dan makna intuitif dari ukuran kebingungan ?

Anda telah melihat artikel Wikipedia tentang kebingungan . Ini memberikan kebingungan distribusi diskrit sebagai

$$2^{-\sum_x p(x)\log_2 p(x)}$$

yang juga bisa ditulis sebagai

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

yaitu sebagai rata-rata geometri tertimbang dari invers probabilitas. Untuk distribusi kontinu, jumlah tersebut akan berubah menjadi integral.

Artikel ini juga memberikan cara memperkirakan kebingungan untuk model menggunakan buah data uji$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

yang juga bisa ditulis

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

atau dalam berbagai cara lain, dan ini harus membuatnya lebih jelas dari mana "probabilitas invers log-rata" berasal.

Saya menemukan ini agak intuitif:

Kebingungan dari apa pun yang Anda evaluasi, pada data yang Anda evaluasi, semacam memberitahu Anda "hal ini benar tentang sesering x-side sided."

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Saya juga bertanya-tanya. Penjelasan pertama tidak buruk, tetapi di sini ada 2 nats saya untuk apa pun yang layak.

---

Pertama-tama, kebingungan tidak ada hubungannya dengan mengkarakterisasi seberapa sering Anda menebak sesuatu dengan benar. Ini lebih berkaitan dengan mengkarakterisasi kompleksitas urutan stokastik.

Kami sedang melihat kuantitas,

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Pertama-tama mari kita batalkan log dan eksponensial.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Saya pikir ada baiknya menunjukkan bahwa kebingungan adalah invarian dengan basis yang Anda gunakan untuk mendefinisikan entropi. Jadi dalam hal ini, kebingungan jauh lebih unik / kurang sewenang-wenang daripada entropi sebagai ukuran.

Hubungan dengan Dadu

Mari kita bermain dengan ini sedikit. Katakanlah Anda hanya melihat koin. Ketika koin itu adil, entropi maksimum, dan kebingungan maksimum

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

Sekarang apa yang terjadi ketika kita melihat dadu berpihak $N$ ? Bingung adalah

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Jadi kebingungan mewakili jumlah sisi dadu yang adil yang ketika digulung, menghasilkan urutan dengan entropi yang sama dengan distribusi probabilitas yang Anda berikan.

Jumlah Negara

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

Jadi, ketika Anda membuat membuat satu sisi dadu semakin tidak mungkin, kebingungan akhirnya tampak seolah-olah sisi itu tidak ada.

$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

Untuk menjelaskan, kebingungan distribusi X seragam hanya | X |, jumlah elemen. Jika kita mencoba menebak nilai yang akan diambil sampel Iid dari distribusi seragam X dengan hanya membuat tebakan id dari X, kita akan benar 1 / | X | = 1 / kebingungan waktu. Karena distribusi seragam adalah nilai yang paling sulit ditebak, kita dapat menggunakan 1 / kebingungan sebagai perkiraan batas / heuristik yang lebih rendah untuk seberapa sering tebakan kita benar.