Entropía
Páginas: 2 (431 palabras)
Publicado: 8 de marzo de 2013
METODOLOGÍA.
La tarea consiste en realizar la gráfica correspondiente a la entropía resultante de 3 probabilidades. Comenzaremos por ilustrar la entropía tomando en cuenta dos probabilidades ( ) * +de memoria nula. y ( ) dada una fuente
Figura 1. Entropía de dos probabilidades.
La ecuación característica de la gráfica anterior es la siguiente:
( ) ( ⁄ ) ( ) [ ⁄( )] ( ) ( ) ( )
1 Como podemos observar, la entropía es máxima cuando la probabilidad de los dos elementos es igual (0.5), esto es que, es igual de probable que aparezca cualquiera de los dos elementos aumentando así laincertidumbre.
* +, sus Dada una fuente de memoria nula que emite tres símbolos probabilidades son: ( ) , ( ) , ( ) ( ). Con esto obtenemos la ecuación con la que obtendremos la gráficarepresentativa:
( ) ( ) ( ⁄ ) ( ) ( ⁄ ) ( ) ( ( ) ) [ ⁄( , )]
Al graficar la ecuación anterior obtenemos la siguiente gráfica.
Figura 2. Entropía de tres probabilidades. 2
En esta gráfica al igualque en la otra observamos que cuando la probabilidad es igual a 1 la entropía es mínima ya que no existe incertidumbre.
Otro aspecto a resaltar es que la entropía máxima es apenas superior a 1.5 ycorresponde a probabilidad ubicada en la posición (0.34, 0.34). Lo anterior es claro ya que sabemos que cuando las probabilidades son iguales la entropía es máxima, como tenemos 3 símbolos y la suma delas probabilidades es igual a 1 pudimos haber predicho que la entropía sería máxima con una probabilidad de 1/3. Esto se puede observar en la gráfica si es vista desde arriba.
Figura 3. Vistasuperior de la figura anterior.
3
Matemáticamente comprobamos lo anterior sustituyendo la constante 1/3 en las variables obteniendo un resultado de 1.5850 que podemos observar en la figura yconfirmar en la matriz de entropías mostrada en la siguiente figura.
Figura 4. Matriz de entropías.
Un aspecto a resaltar de la gráfica es que la mitad derecha de la figura es cero, esto es debido a...
La tarea consiste en realizar la gráfica correspondiente a la entropía resultante de 3 probabilidades. Comenzaremos por ilustrar la entropía tomando en cuenta dos probabilidades ( ) * +de memoria nula. y ( ) dada una fuente
Figura 1. Entropía de dos probabilidades.
La ecuación característica de la gráfica anterior es la siguiente:
( ) ( ⁄ ) ( ) [ ⁄( )] ( ) ( ) ( )
1 Como podemos observar, la entropía es máxima cuando la probabilidad de los dos elementos es igual (0.5), esto es que, es igual de probable que aparezca cualquiera de los dos elementos aumentando así laincertidumbre.
* +, sus Dada una fuente de memoria nula que emite tres símbolos probabilidades son: ( ) , ( ) , ( ) ( ). Con esto obtenemos la ecuación con la que obtendremos la gráficarepresentativa:
( ) ( ) ( ⁄ ) ( ) ( ⁄ ) ( ) ( ( ) ) [ ⁄( , )]
Al graficar la ecuación anterior obtenemos la siguiente gráfica.
Figura 2. Entropía de tres probabilidades. 2
En esta gráfica al igualque en la otra observamos que cuando la probabilidad es igual a 1 la entropía es mínima ya que no existe incertidumbre.
Otro aspecto a resaltar es que la entropía máxima es apenas superior a 1.5 ycorresponde a probabilidad ubicada en la posición (0.34, 0.34). Lo anterior es claro ya que sabemos que cuando las probabilidades son iguales la entropía es máxima, como tenemos 3 símbolos y la suma delas probabilidades es igual a 1 pudimos haber predicho que la entropía sería máxima con una probabilidad de 1/3. Esto se puede observar en la gráfica si es vista desde arriba.
Figura 3. Vistasuperior de la figura anterior.
3
Matemáticamente comprobamos lo anterior sustituyendo la constante 1/3 en las variables obteniendo un resultado de 1.5850 que podemos observar en la figura yconfirmar en la matriz de entropías mostrada en la siguiente figura.
Figura 4. Matriz de entropías.
Un aspecto a resaltar de la gráfica es que la mitad derecha de la figura es cero, esto es debido a...
Leer documento completo
Regístrate para leer el documento completo.