Apa itu "entropi dan perolehan informasi"?

Saya membaca buku ini ( NLTK ) dan itu membingungkan. Entropi adalah didefinisikan sebagai : Entropi adalah jumlah dari probabilitas setiap label dikalikan dengan probabilitas log dari label yang sama Bagaimana saya bisa menerapkan entropi dan entropi maksimum dalam hal penambangan teks?...