Practica 1: Entropía

Laboratorio de Transmisión de Datos. PRACTICA 1: Entropía.
Parte 1: Implementar en Matlab una función que calcule la entropía a partir de un conjunto de probabilidades: Si la entrada fuera un vectorde probabilidades, la función devolverá la entropía. Si la entrada fuese una matriz de probabilidades, la función devolverá las entropías marginales, la entropía conjunta y las entropíascondicionales, considerando que cada fila represente las probabilidades de una variable aleatoria diferente. En ambos casos se comprobará la validez de los datos de entrada. Parte 2: Obtener el código en Matlabde una función que, a partir de un vector de probabilidades a priori y de una matriz de probabilidades de transición de un canal discreto, calcule la información mutua entre la entrada y la salida delmismo. Parte 3 (Optativa): Esta parte pretende calcular la capacidad de un canal AWGN con entrada binaria. Un canal AWGN con entrada binaria se caracteriza por dos niveles de señal de entrada, A y –A,y por ruido gaussiano aditivo de media cero y varianza σ 2. En este caso, X ={-A, A}, Y= , p(y | X=A) ~N (A, σ 2) y p(y | X=-A) ~N (-A, σ 2). Represente gráficamente la capacidad de este canal enfunción de A/σ. Nota.- Supongamos que las vv. aa. X e Y denotan respectivamente la entrada y salida del canal; X es una variable Discreta mientras que Y es una variable continua. Como ya sabemos, lainformación mutua entre la entrada y la salida del canal se puede expresar como

Con la utilización de señalización binaria polar, la función de densidad de probabilidad de Y, dado X = x, es unadistribución gaussiana con varianza σ2 y valor medios x, como muestra la expresión , y las funciones de densidad de probabilidad marginales de X e Y son respectivamente

1

donde hemos tenido en cuentaque, por la simetría del problema, la información mutua máxima se obtiene con símbolos equiprobables a la entrada. Sustituyendo en la expresión de la información mutua e integrando en la variable x...