Pengenalan yang baik ke berbagai jenis entropi

18

Saya mencari buku atau sumber daya daring yang menjelaskan berbagai jenis entropi seperti Contoh Entropi dan Entropi Shannon serta kelebihan dan kekurangannya. Bisakah seseorang mengarahkan saya ke arah yang benar?

references entropy Kristen
sumber

9

Cover dan buku Thomas Elements of Information Theory adalah sumber yang baik tentang entropi dan aplikasinya, meskipun saya tidak tahu bahwa itu membahas masalah yang Anda pikirkan.

Tandai Meckes
sumber

4

Juga makalah "Ketimpangan Teori Informasi" oleh Dembo Cover dan Thomas mengungkap banyak aspek mendalam

robin girard

1

Namun, tidak ada buku yang mengklaim bahwa ada lebih dari satu entropi.

5

Catatan kuliah ini tentang teori informasi oleh O. Johnson berisi pengantar yang baik untuk berbagai jenis entropi.

Alekk
sumber

4

Jika Anda tertarik pada statistik matematika seputar entropi, Anda dapat membaca buku ini

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

ini tersedia secara gratis!

robin girard
sumber

2

Entropi hanya satu (sebagai konsep) - jumlah informasi yang diperlukan untuk menggambarkan beberapa sistem; hanya ada banyak generalisasi. Entropi sampel hanya beberapa deskriptor seperti entropi yang digunakan dalam analisis detak jantung.

sumber

Saya tahu, bagaimanapun itu tidak membantu saya untuk memutuskan apakah menggunakan sampel entropi atau shannon entropy atau beberapa jenis entropi lainnya sesuai untuk data yang saya kerjakan.

Christian

2

Apa yang saya tulis di posting saya hanya untuk tipe data / proses / sistem tertentu hanya ada satu definisi entropi sejati . Contoh Entropi bukan ukuran entropi, itu hanya beberapa statistik dengan nama yang membingungkan. Buat pertanyaan di mana Anda menentukan data yang ingin Anda hitung entropinya, dan akan mendapatkan rumusnya.

Saya tidak tertarik pada kebenaran tetapi dalam mendapatkan fungsi yang berfungsi. Saya seorang ahli bioinformatika dan diajarkan untuk tidak mencari kebenaran dogmatis tetapi untuk mencari statistik yang berfungsi. Saya tidak berpikir bahwa ada pekerjaan yang dilakukan dengan jenis data yang saya ingin bekerja dengan spesifik yang entropi bekerja paling baik. Itu semacam titik mengapa saya ingin bekerja dengan data.

Christian

2

Benar, tapi ini bukan diskusi tentang kebenaran dogmatis tetapi tentang kata-kata. Anda telah bertanya tentang entropi, jadi saya menjawab tentang entropi. Karena sekarang saya melihat bahwa Anda memang membutuhkan jawaban tentang deskriptor seri waktu, tulis pertanyaan tentang deskriptor seri waktu, hanya dengan begitu Anda akan mendapatkan jawaban yang bermanfaat.

2

Jaynes menunjukkan cara mendapatkan entropi Shannon dari prinsip-prinsip dasar dalam bukunya .

$n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

Yaroslav Bulatov
sumber

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$ .

whuber

2

Makalah teori permainan Grünwald dan Dawid , entropi maksimum, perbedaan minimum, dan teori keputusan Bayesian yang kuat membahas generalisasi gagasan tradisional entropi. Diberikan kerugian, fungsi entropi yang terkait adalah pemetaan dari distribusi ke kerugian minimal yang diharapkan untuk distribusi tersebut. Fungsi entropi yang biasa adalah entropi umum yang terkait dengan kehilangan log. Pilihan kerugian lainnya menghasilkan entropi yang berbeda seperti entropi Rényi.

Mark Reid
sumber

1

Jadi, sigma adalah entropi N (0, sigma) yang sesuai dengan kuadrat kesalahan, dan min (p, 1-p) adalah entropi Bernoulli (p) yang sesuai dengan kerugian prediksi 0,1? Sepertinya cukup generalisasi!

Yaroslav Bulatov

Iya. Entropi untuk kehilangan kuadrat adalah konstan dan entropi untuk kehilangan 0-1 adalah min (p, 1-p). Yang juga menarik adalah bahwa ini memiliki korespondensi yang kuat dengan divergensi juga. Hilang kuadrat untuk divergensi Hellinger dan 0-1 kerugian untuk divergensi variasional. Karena entropi didefinisikan seperti ini, maka fungsi tersebut harus cekung dan ternyata f-divergensi dibangun menggunakan f (p) = -entropy (p). Bob Williamson dan saya telah menjelajahi sebagian dari ini di makalah kami: arxiv.org/abs/0901.0356 . Ini hal yang menyenangkan.

Mark Reid

1

Berikut ini sesuatu yang menarik yang saya temukan tentang divergensi baru-baru ini - setiap langkah dari Propagasi Keyakinan dapat dilihat sebagai Proyeksi Bregman ece.drexel.edu/walsh/Walsh_TIT_10.pdf

Yaroslav Bulatov

Pengenalan yang baik ke berbagai jenis entropi

Jawaban: