Teoria de la infroamcion

TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN – CÓDIGOS
CANTIDAD DE INFORMACIÓN. INFORMACIÓN. ENTROPÍA. ENTROPÍA. ENTROPÍA CONDICIONADA. CONDICIONADA. CANTIDAD DE INFORMACIÓN ENTRE DOS VARIABLES. VARIABLES. LÍMITE DE NYQUIST. NYQUIST. LÍMITE DE SHANNON. SHANNON. CONSECUENCIAS DE LOS LÍMITES. LÍMITES. TIPOS DE ERRORES. ERRORES. DETECCIÓN DE ERRORES. ERRORES. INTRODUCCIÓN A CÓDIGOS. CÓDIGOS. CÓDIGOSDETECTORES DE ERRORES. ERRORES. DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA. MÍNIMA. CÓDIGOS PERFECTOS. PERFECTOS. CÓDIGOS LINEALES. LINEALES. MATRICES GENERATRICES Y MATRICES DE CONTROL - CÓDIGOS Ó CORRECTORES. CORRECTORES. CÓDIGO DE HAMMING. HAMMING. CÓDIGO DE GOLAY. GOLAY. CÓDIGO DE REED-MULLER. REED-MULLER.
TEORÍA DE LA INFORMACIÓN - CÓDIGOS 1

CANTIDAD DE INFORMACIÓN

TEORÍADE LA INFORMACIÓN - CÓDIGOS

2

CANTIDAD DE INFORMACIÓN
LA CANTIDAD DE INFORMACIÓN ES UNA MEDIDA DE LA DISMINUCIÓN DE INCERTIDUMBRE ACERCA DE UN SUCESO: EJ.: EJ SI SE NOS DICE QUE EL NÚMERO QUE HA SALIDO EN UN DADO ES MENOR QUE DOS, SE NOS DA MÁS INFORMACIÓN QUE SI SE NOS DICE QUE EL NÚMERO QUE HA SALIDO ES PAR. LA CANTIDAD DE INFORMACIÓN QUE SE OBTIENE AL CONOCER UN HECHO ES DIRECTAMENTEPROPORCIONAL AL NÚMERO POSIBLE DE ESTADOS QUE ESTE TENÍA A PRIORI: SI INICIALMENTE SE TENÍAN DIEZ POSIBILIDADES, CONOCER EL HECHO PROPORCIONA MÁS INFORMACIÓN QUE SI Á Ó INICIALMENTE SE TUVIERAN DOS. EJ.: SUPONE MAYOR INFORMACIÓN CONOCER LOS NÚMEROS GANADORES DEL PRÓXIMO SORTEO DE LA LOTERÍA QUE LOTERÍA, SABER SI UNA MONEDA LANZADA AL AIRE VA A CAER CON LA CARA O LA CRUZ HACIA ARRIBA.

TEORÍA DE LAINFORMACIÓN - CÓDIGOS

3

CANTIDAD DE INFORMACIÓN
LA CANTIDAD DE INFORMACIÓN ES PROPORCIONAL A LA PROBABILIDAD DE UN SUCESO: SE CONSIDERA LA DISMINUCIÓN DE INCERTIDUMBRE PROPORCIONAL AL AUMENTO DE CERTEZA. SI LA PROBABILIDAD DE UN ESTADO FUERA 1 (MÁXIMA): LA CANTIDAD DE INFORMACIÓN QUE APORTA SERÍA 0. SI LA PROBABILIDAD SE ACERCARA A 0: LA CANTIDAD DE INFORMACIÓN TENDERÁ A INFINITO: UNSUCESO QUE NO PUEDE SUCEDER APORTARÁ UNA CANTIDAD INFITA DE INFORMACIÓN SI LLEGARA A OCURRIR OCURRIR. LA CANTIDAD I DE INFORMACIÓN CONTENIDA EN UN MENSAJE, ES UN VALOR MATEMÁTICO MEDIBLE REFERIDO A LA PROBABILIDAD p DE QUE UNA INFORMACIÓN EN EL MENSAJE SEA RECIBIDA RECIBIDA, ENTENDIENDO QUE EL VALOR MÁS ALTO SE LE ASIGNA AL MENSAJE MENOS PROBABLE. SEGÚN SHANNON:
TEORÍA DE LA INFORMACIÓN - CÓDIGOS 4CANTIDAD DE INFORMACIÓN
EJ.: SE ARROJA UNA MONEDA AL AIRE; SE DEBE CALCULAR LA CANTIDAD DE INFORMACIÓN CONTENIDA EN LOS MENSAJES CARA O CRUZ SEPARADAMENTE SEPARADAMENTE: I = log2 [(1/(1/2)] = log2 2 = 1. I MANIFIESTA LA CANTIDAD DE SÍMBOLOS POSIBLES QUE REPRESENTAN EL MENSAJE MENSAJE. SI SE LANZARA UNA MONEDA TRES VECES SEGUIDAS, LOS OCHO RESULTADOS (O MENSAJES) EQUIPROBABLES PUEDEN SER: 000,001, 010, 011, 100, 101, 110, 111. LA p DE CADA MENSAJE ES DE 1/8, Y SU CANTIDAD DE INFORMACIÓN ES: I = log2 [1/(1/8)] = 3.

TEORÍA DE LA INFORMACIÓN - CÓDIGOS

5

CANTIDAD DE INFORMACIÓN
LA I DE LOS MENSAJES ES IGUAL A LA CANTIDAD DE BITS DE CADA MENSAJE. UNA NOTACIÓN SIMILAR ES LA SIGUIENTE. Ó SE EMPLEA UNA VARIABLE ALEATORIA V PARA REPRESENTAR LOS POSIBLES SUCESOS QUE SE PUEDENENCONTRAR: EL SUCESO i ÉSIMO SE DENOTA COMO xi. i-ÉSIMO P(xi) SERÁ LA PROBABILIDAD ASOCIADA A DICHO SUCESO. n SERÁ EL NÚMERO DE SUCESOS POSIBLES. LA CANTIDAD DE INFORMACIÓN SERÁ SERÁ:

TEORÍA DE LA INFORMACIÓN - CÓDIGOS

6

ENTROPÍA

TEORÍA DE LA INFORMACIÓN - CÓDIGOS

7

ENTROPÍA
LA SUMA PONDERADA DE LAS CANTIDADES DE INFORMACIÓN DE TODOS LOS POSIBLES ESTADOS DE UNA VARIABLE ALEATORIA V ES:ES

LA MAGNITUD H(V) SE CONOCE SOMO LA ENTROPÍA DE LA VARIABLE ALEATORIA V . SUS PROPIEDADES SON LAS SIGUIENTES:

TEORÍA DE LA INFORMACIÓN - CÓDIGOS

8

ENTROPÍA
LA ENTROPÍA ES PROPORCIONAL A LA LONGITUD MEDIA DE LOS MENSAJES QUE SE NECESITARÁ PARA CODIFICAR UNA SERIE DE VALORES DE V V: DE MANERA ÓPTIMA DADO UN ALFABETO CUALQUIERA. ESTO SIGNIFICA QUE CUANTO MÁS PROBABLE SEA UN VALOR...