¿Qué es "entropía y ganancia de información"?


Estoy leyendo este libro (NLTK) y es confuso. La entropía se define como :

La entropía es la suma de la probabilidad de cada etiqueta multiplicado por la probabilidad logarítmica de esa misma etiqueta

¿Cómo puedo aplicar entropía y entropía máxima en términos de minería de texto? ¿Puede alguien darme un ejemplo sencillo (visual)?


Warning: Undefined property: agent_blog_content::$date_asked in /var/www/agent_etc/data/www/ajaxhispano.com/template/agent.layouts/content.php on line 32

Warning: Undefined property: agent_blog_content::$count_answers in /var/www/agent_etc/data/www/ajaxhispano.com/template/agent.layouts/content.php on line 52