La entropía de la información

Imagina dos máquinas. Ambas escriben mensajes de salida de un alfabeto formado por las letras A, B, C y D. La Máquina Uno genera cada símbolo de manera aleatoria, todos ocurren 25% del tiempo, mientras que la Máquina Dos genera símbolos de acuerdo a las siguientes probabilidades. ¿Cuál máquina está produciendo más información? Claude Shannon replanteó la pregunta de manera muy inteligente. Si tuvieras que predecir el siguiente símbolo de cada máquina, ¿cuál sería el número mínimo de preguntas de sí o no que esperarías hacer? Veamos la Máquina Uno. La manera más eficiente es hacer una pregunta que divida las posibilidades a la mitad. Por ejemplo, para nuestra primera pregunta, podríamos preguntar si es cualquiera de los dos símbolos, como: "¿es A o es B?, ya que hay una probabilidad del 50% para A o B y una probabilidad del 50% para C o D. Después de obtener la respuesta, podemos eliminar la mitad de las posibilidades, y nos quedaremos con dos símbolos, ambos igualmente probables. Así que simplemente escogemos uno, como: "¿es A?", y después de esta segunda pregunta, habremos identificado el símbolo de manera correcta. Podemos decir que la incertidumbre de la Máquina Uno es de dos preguntas por símbolo. ¿Qué hay de la Máquina Dos? Como con la Máquina Uno, podríamos hacer dos preguntas para determinar el siguiente símbolo. Esta vez, sin embargo, la probabilidad de cada símbolo es diferente, así que tenemos que hacer nuestras preguntas de manera diferente. Aquí A tiene una probabilidad del 50% de ocurrir, y todas las demás letras suman 50%. Podríamos empezar por preguntar: "¿es A?", y si es A, ya terminamos. Solo una pregunta en este caso. De lo contrario, nos quedamos con dos resultados iguales: D o, B y C. Podríamos preguntar: "¿es D?". Si sí, terminamos con dos preguntas. De lo contrario, tenemos que hacer una tercera pregunta para identificar cuál de los dos últimos símbolos es. En promedio, ¿cuántas preguntas esperas hacer para determinar un símbolo de la Máquina Dos? Esto se puede explicar de una buena manera con una analogía. Supongamos que queremos construir la Máquina Uno y la Máquina Dos, y que podemos generar símbolos al hacer rebotar discos en un palito en una de dos direcciones igualmente probables. Con base en cuál lado caiga, podemos generar un símbolo. Con la Máquina Uno, necesitamos agregar un segundo nivel, o un segundo rebote, de modo que tengamos dos rebotes, que conduzcan a cuatro resultados igualmente probables. Con base en donde caiga el disco, tenemos A, B, C o D como salida. Ahora la Máquina Dos. En este caso, el primer rebote conduce a ya sea una A, que ocurre 50% de las veces, o nos conduce a un segundo rebote, el cual puede tener una D como salida, que ocurre 25% de las veces, o nos conduce a un tercer rebote, que después conduce a B o a C, 12.5% de las veces. Ahora solo tomamos el promedio ponderado como sigue. El número esperado de rebotes es la probabilidad del símbolo A por un rebote, más la probabilidad de B por tres rebotes, más la probabilidad de C por tres rebotes, más la probabilidad de D por dos rebotes. Esto resulta ser 1.75 rebotes. Observa la conexión entre las preguntas de sí y no y los rebotes equitativos. El número esperado de preguntas es igual al número esperado de rebotes. De modo que la Máquina Uno requiere dos rebotes para generar un símbolo, mientras que adivinar un símbolo desconocido requiere de dos preguntas. La Máquina Dos requiere 1.75 rebotes. Necesitamos hacer 1.75 preguntas en promedio, lo que significa que si necesitamos adivinar cien símbolos de ambas máquinas, podemos esperar hacerle 200 preguntas a la Máquina Uno y 175 preguntas a la Máquina Dos. Esto significa que la Máquina Dos está produciendo menos información porque hay menos incertidumbre, o sorpresa, acerca de su salida, y eso es todo. Claude Shannon llama a esta medida de la incertidumbre promedio "entropía" y usa la letra H para representarla. Y la unidad que Shannon escoge para la entropía se basa en la incertidumbre de un volado con una moneda equitativa, y a esto lo llama "el bit", que es equivalente a un rebote equitativo o equiprobable. Y podemos llegar al mismo resultado al usar nuestra analogía de los rebotes. La entropía, o H, es la suma, para cada símbolo, de la probabilidad de ese símbolo por el número de rebotes. Ahora, la diferencia es, ¿cómo expresamos el número de rebotes de una forma más general? Como hemos visto, el número de rebotes depende qué tan abajo del árbol estemos. Podemos simplificar esto al decir que el número de rebotes es igual al logaritmo base dos del número de salidas en ese nivel. El número de salidas en un nivel también está basado en la probabilidad, donde el número de salidas en un nivel es igual a uno dividido entre la probabilidad de esa salida. El número de rebotes en realidad es igual al logaritmo base dos de uno entre la probabilidad de ese símbolo, lo cual nos da nuestra ecuación final. La entropía, o H, es la suma, para cada símbolo, de la probabilidad de ese símbolo por el logaritmo base dos de uno entre la probabilidad de ese símbolo. Shannon escribe esto un poco diferente, que solo invierte la expresión dentro del logaritmo, lo que provoca que agreguemos un signo negativo, aunque las dos fórmulas dan el mismo resultado. Vamos a resumir. La entropía es máxima cuando todas las salidas son igualmente probables. Cada vez que te alejes de salidas igualmente probables, o introduzcas predictabilidad la entropía debe disminuir. La idea fundamental es que si la entropía de una fuente de información disminuye, eso significa que podemos hacer menos preguntas para adivinar el resultado, Gracias a Shannon, el bit, que es la unidad de la entropía, es adoptada como nuestra medida cuantitativa de la información, o medida de sorpresa.