Pertanyaan ini memberikan definisi kuantitatif tentang entropi silang, dalam hal rumusnya.
Saya mencari definisi yang lebih jelas, kata wikipedia:
Dalam teori informasi, entropi silang antara dua distribusi probabilitas mengukur jumlah rata-rata bit yang diperlukan untuk mengidentifikasi suatu peristiwa dari serangkaian kemungkinan, jika skema pengkodean digunakan berdasarkan distribusi probabilitas yang diberikan q, daripada distribusi "benar". .
Saya telah menekankan bagian yang memberi saya kesulitan dalam memahami hal ini. Saya ingin definisi yang bagus yang tidak memerlukan pemahaman Entropi yang terpisah (sudah ada).
entropy
information-theory
Lyndon White
sumber
sumber
Jawaban:
Untuk menyandikan peristiwa yang terjadi dengan probabilitas Anda memerlukan setidaknya log 2 ( 1 / p ) bit (mengapa? Lihat jawaban saya pada "Apa peran logaritma dalam entropi Shannon?" ).p log2(1/p)
Jadi dalam pengkodean optimal, panjang rata-rata pesan yang dikodekan adalah yaitu,Shannon entropydari distribusi probabilitas asli.
Kemudian jika kita ingin menyandikannya secara optimal, kita menyandikan A sebagai 0 dan B sebagai 1, jadi kita mendapatkan satu pesan yang disandikan per satu huruf. (Dan itu adalah persisnya Shannon entropi dari distribusi probabilitas kita.)
sumber