Probabilidades

TEORIA DE LA INFORMACION INDICE

NOCIONES DE PROBABILIDADES
• • PROBABILIDAD DE MAS DE UN EVENTO

DISTRIBUCION DE PROBABILIDADES

INFORMACION
• • • • • • SIMBOLOS Y DATOS

ENTROPIA

TASA DE INFORMACION

CAPACIDAD DEL CANAL TEOREMA DE NYQUIST

TEOREMA DE SHANNON - HARTLEY

1

TEORIA DE LA INFORMACION
NOCIONES DE PROBABILIDADES La Teoría de la Probabilidad es el estudiomatemático de fenómenos aleatorios (es decir al azar). Por lo tanto estos fenómenos no responden a una ley determinista definida. En muchos fenómenos físicos, se puede conocer de antemano el resultado final si se conoce toda la información relativa al suceso. Llamamos Experimento Aleatorio a aquel en el cual el resultado varía de prueba a prueba y es desconocido de antemano. Un ejemplo simple deexperimento a leatorio es arrojar un dado (o una moneda). A cada uno de los resultados del experimento se lo llama evento (algunos autores lo llaman suceso). En este ejemplo los eventos son sacar un uno, sacar un dos, sacar un tres, etc. (en el caso de la moneda sería que caiga cara o seca) La Estadística va de la observación a la cuantificación matemática del hecho, mientras que la Teoría de lasProbabilidades va desde el modelo matemático a predecir los resultados del experimento. Siguiendo con el ejemplo del dado, repetiremos el experimento n veces (es decir arrojar el dado) y anotaremos los diferentes eventos (resultados) que vayan ocurriendo. Si los eventos posibles son A, B, C....(un uno, un dos, un tres....) anotaremos nA, nB, nC..., es decir el número de veces que ocurre A, el número deveces que ocurre B, etc. Se define como:

ƒra = ça/ç ƒrb = çb/ç
frecuencia relativa del evento a , frecuencia relativa del evento b, etc. supongamos que se arroja el dado 60 veces y se obtienen los siguientes resultados: EVENTO 1 2 3 4 5 6 SUMA= Número de veces que ocurre el evento 12 10 14 8 7 9 60 Frecuencia relativa 0.20 0.16 0.23 0.133 0.116 0.15 1

Ahora bien, en un dado (que no estecargado, por lo tanto que el fenómeno sea totalmente impredecible) sabemos que no hay preferencia para que salga un número determinado u otro. Decimos que cada número tiene igual posibilidad de salir o dicho de otra forma igual probabilidad de salir. Como cada dado tiene seis caras, cada una de ellas tendrá un sexto (1/6 = 0,16) de probabilidades de salir.

2

En función de esto, podemos definir:Números de eventos que nos interesan Probabilidad = Número total de eventos posibles Ahora bien, vemos, de acuerdo a la tabla que hemos realizado con nuestro experimento, que no todos los números han salido la sexta parte como la probabilidad indica. Algunos han salido más veces (como el 3), otros menos (como el 5). Esto también parece lógico, ya que de otra forma el juego (todos los juegos deazar) no tendría sentido. Estamos aquí ante lo que parece un contrasentido por lo que debemos compatibilizar ambas ideas. La solución reside en lo que llamamos Ley empírica de los grandes números que dice que cuando el número de experimentos se hace muy grande la frecuencia relativa de cada evento se hace igual a la probabilidad de ocurrencia de ese evento. P(a) = n lim(ça/ç) Para n que tiende ainfinito Lógicamente el sentido de esto no es corroborar las expresiones anteriores, sino que generalmente no resulta simple conocer a priori las probabilidades de ocurrencia de cada evento como en el caso de los dados. Es n ecesario entonces repetir el experimento un número suficientemente grande de veces y elaborar la estadística de los resultados (eventos) que se van obteniendo, entonces síconsideramos a la frecuencia relativa como la probabilidad de ocurrencia de los mismos. PROBABILIDAD DE MAS DE UN EVENTO Vamos a considerar aquí dos casos: 1. La probabilidad de que ocurra un evento ó que ocurra otro 2. La probabilidad de que ocurra un evento y ocurra otro En el primer caso la situación se presenta como la más simple, dado que en este caso los eventos son mutuamente excluyentes. Esto...