Siapa yang menciptakan istilah "entropi empiris"?

Saya tahu pekerjaan Shannon dengan entropi, tetapi belakangan ini saya telah bekerja pada struktur data yang ringkas di mana entropi empiris sering digunakan sebagai bagian dari analisis penyimpanan.

Shannon mendefinisikan entropi dari informasi yang dihasilkan oleh sumber informasi diskrit sebagai , di mana adalah probabilitas acara terjadi, misalnya karakter tertentu yang dihasilkan, dan ada kemungkinan acara.$-\sum_{i=1}^k p_i \log{p_i}$$p_i$$i$$k$

Seperti yang ditunjukkan oleh KIA dalam komentar, entropi empiris adalah entropi dari distribusi empiris dari peristiwa-peristiwa ini, dan dengan demikian diberikan oleh mana adalah jumlah kejadian yang diamati dari peristiwa dan adalah jumlah total peristiwa yang diamati. Ini disebut entropi empiris urutan ke-4 . Gagasan Shannon tentang entropi kondisional memiliki versi empiris orde tinggi yang serupa .$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

Shannon tidak menggunakan istilah entropi empiris, meskipun ia tentu saja layak mendapat pujian untuk konsep ini. Siapa yang pertama kali menggunakan ide ini dan siapa yang pertama kali menggunakan entropi empiris nama (sangat logis) untuk menggambarkannya?

Saya tertarik pada "entropi empiris" seperti Anda dan kertas paling awal yang saya temukan adalah bahwa dari Kosaraju seperti pengguna "Marzio De Biasi" mengatakan dalam komentarnya.

Tetapi menurut saya definisi sebenarnya dari "entropi empiris" dibuat kemudian dengan menggeneralisasi konsep sebelumnya:

1. "Huruf Besar dan Ketidakterkompresan" oleh Travis Gagie (2008)
2. "Emprical entropy" oleh Paul MB Vitányi (2011)

Gagie mengulangi definisi entropi empiris orde ke: $k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$