Trabajo

5º Curso-Tratamiento Digital de Señal

Señales y Sistemas
Ì Ì Ì

Señales y Clasificación Sistemas y Clasificación Respuesta al impulso de los sistemas

17/11/99

Capítulo 1: Señales y Sistemas

1

5º Curso-Tratamiento Digital de Señal

Señales
Ì Ì

Ì

Ì

Ì

El procesamiento de señales es el objeto de la asignatura, así que no vendría mal comentar algunas cosas sobreellas. En primer lugar las señales no tienen gran interés en sí mismas si no nos es posible transmitirlas y recibirlas. Las señales, por tanto, están muy ligadas a la comunicación y su procesamiento es de vital importancia en la llamada era de la información. Pero ¿qué es información? La información está asociada de alguna manera al conocimiento o al significado que proporciona esa información. Lasseñales obviamente llevan consigo la información. Sin embargo, Shannon desarrolló otro concepto de información desprovisto del significado que pueda extraerse o del conocimiento que pueda derivarse de esa información. Supongamos que una fuente de información envía una serie de símbolos a un receptor. Llamamos X al conjunto de símbolos formado por : X={a1 , a2 , a3 ,..., aN}
Capítulo 1: Señales ySistemas 2

17/11/99

5º Curso-Tratamiento Digital de Señal

Señales
Ì

Ì Ì Ì

Ì

Los símbolos se envían a un receptor de acuerdo con sus probabilidades respectivas y hacemos la suposición (no precisamente acertada), de que las probabilidades son independientes unos de otras (fuente de información sin memoria) . Es decir, envíar un símbolo ai no cambia la probabilidad de enviar elsímbolo aj a continuación. Sabemos que, en general, esto no es cierto ya que por ejemplo si envíamos el caracter “q”, la probabilidad de que el siguiente símbolo sea el caracter “u” aumenta. Cada uno de los símbolos ai tiene una probabilidad de ocurrir pj. Los símbolos pueden ser caracteres del alfabeto, números, bits, puntos, rayas, etc. Shannon defiende que en el caso de una fuente de información sinmemoria, la información proporcionada por el símbolo ai depende depende únicamente de su probabilidad pi. Y define que la información del símbolo ai es I(pi)=-log pi. Si se toma el 2 como base del logaritmo la unidad de información se denomina bit. Se observa que la información es una función decreciente de la probabilidad, lo que implica que un símbolo proporciona más infomación cuanta másincertidumbre (menos probabilidad) tenga.
Capítulo 1: Señales y Sistemas 3

17/11/99

5º Curso-Tratamiento Digital de Señal

Señales
Ì

El contenido total de información H(X) proporcionado por una fuente de información sin memoria de un conjunto X de símbolos será la suma ponderadas de las informaciones de cada símbolo: N N H ( X ) = ∑ pi I i = − ∑ pi log pi
i=1 i=1

Ì

Ì

A este valor,que representa la información ofrecida por una fuente, Shannon le quiso llamar entropía, pero fue convencido por colegas para llamarle información. El nombre entropía no era descabellado ya que al igual que en la entropía termodinámica (que crecía a medida que aumentaba el desorden), aquí la información aumenta a medida que aumenta la incertidumbre sobre lo que recibimos. Una vez fundamentada suteoría, Shannon fue más allá y dedujo que el valor H(X) era también el número mínimo de bits por símbolo que pueden utilizarse para enviar información con los símbolos de X y que la probabilidad de error en la decodificación sea despreciable. De esta forma sentó los límites teóricos de la compresión de señales. La mención a los límites teóricos se hace porque Shannon no se preocupa del algoritmodecodificador de símbolos, que en el caso de utilizar un número de bits H(X) será muy complejo.
Capítulo 1: Señales y Sistemas 4

17/11/99

5º Curso-Tratamiento Digital de Señal

Señales
Ì

Ì

En un caso real, el límite en el número de bits por símbolo vendrá impuesto por la complejidad del algoritmo (y la capacidad de procesamiento disponible) y no por el valor H(X). De ahí que se...