TEORIA DE LA PROBABILIDAD Y PROCESOS ESTOCASTICOS La teora de la probabilidad es, junto con la teora de seales, uno de los dos pilares

matemticos sobre los que se asienta el anlisis de sistemas de comunicaciones digitales. En este captulo se presentan nociones bsicas de probabilidad y procesos aleatorios. Se revisan los conceptos de variable aleatoria y procesos estocsticos y sus propiedades, en particular aquellas de inters en comunicaciones digitales. PROBABILIDAD El concepto de probabilidad est ligado a realizacin (fsica o mental) de un experimento aleatorio, entendindose por tal un experimento cuyo resultado es desconocido (es decir, no predecible) por un observador. Suele ponerse el ejemplo de lanzamiento de un dado: el resultado puede ser cualquier nmero entre 1 y 6, pero es a priori impredecible ni siquiera por el lanzador. La probabilidad es una medida de la incertidumbre que, para un observador, tiene el resultado de un experimento, y es, por tanto, una medida subjetiva: as, por ejemplo, el contenido de un mensaje enviado a travs de un canal de comunicaciones digitales es completamente desconocido por el receptor antes de iniciarse la comunicacin, pero no por el transmisor, que puede predecirlo con exactitud en la medida que conoce el mensaje transmitido. El desconocimiento puede ser total o parcial. Si consideramos el experimento lanzar dos dados y sumar sus puntos, cualquier resultado entre 2 (1+1) y 12 (6+6) es posible, pero tambin sabemos que el 7 es un resultado ms esperable que el 2. Lo sabemos por naturaleza del experimento o por informacin estadstica. La probabilidad es pues esencialmente, una medida de incertidumbre sobre el resultado del experimento y es, por tanto, dependiente de la cantidad de informacin disponible por el observador en cada momento. Para acercarnos a una definicin ms formal, se precisan varios elementos: Un espacio muestral, , que es el conjunto de todos los resultados posibles de un experimento aleatorio. Un conjunto de sucesos, = {S, S }. Un suceso es cualquier subconjunto de 1. Ejemplos de sucesos en el ejemplo de los dados son que la suma sea: 2, un nmero impar, un nmero menor que 8, etc. En total hay 211 posibles sucesos. Definimos ahora una medida de probabilidad Pr como toda una funcion que, aplicada sobre cualquier suceso S , devuelve un numero real Pr{S} que verifica las siguientes propiedades P1. 0< Pr {S}<1 P2. Pr {}=0 P3. Pr {}=1

P4. Dado un conjunto finito (o infinito numerable) de sucesos Si disjuntos (Si Sj = ), se verifica = Asignacin de probabilidades a sucesos Supongamos que el experimento aleatorio puede repetirse un nmero indefinido de veces, y que el resultado de cada experimento es independiente de los dems. Diremos que una probabilidad Pr es un buen modelo de incertidumbre para dicho experimento en la medida en que sea capaz de predecir con exactitud la frecuencia con la que se repiten los diferentes sucesos del experimento. Es decir, Pr es una buena medida de incertidumbre sobre el resultado del experimento si dado cualquier suceso S , tras N repeticiones del experimento, denominado Ns al nmero de veces que se produce algn resultado que est en S, el cociente Ns/N converge a P{S} cuando N tiende a infinito. Ejemplo 3.1 Considere el experimento consistente en lanzar un dado no cargado y mirar el resultado: un nmero entero entre 1 y 6. Cmo asignar probabilidades al suceso 5? la fsica del problema sugiere que, siendo un dado no cargado esencialmente simtrico, no hay razn para pensar que uno de los resultados tenga mayores oportunidades de producirse que el otro, lo que nos invita a hacer la asignacin Pr {1} = Pr {2} = = Pr {6} = 1/6. En apoyo de esta asignacin est el hecho de que ha resultado ser razonablemente acertada con otros muchos dados anteriormente. Si, adems, tenemos la oportunidad de ensayar el lanzamiento de este dado cierto numero N de veces, podremos comprobar si, efectivamente, la frecuencia de 5 o de cualquier otro resultado se parece a 1/6. Si es as, podemos confiar en la bondad de esta asignacin. Pero, en todo caso, pinsese que ninguna de estas evidencias es definitiva a favor del modelo equiprobable frente a todos los posibles.

VARIABLES ALEATORIAS Estrictamente hablando, variable aleatoria es toda aplicacin de en la recta real, que asigna a cada posible resultado un numero. Dado el resultado , la variable aleatoria X tomara un valor ( ) . En la prctica, la notacin suele simplificarse y, de forma general escribiremos X, omitiendo el argumento. Mediante el uso de variables aleatorias, el espacio muestral original se proyecta sobre un subconjunto de la recta real, que llamaremos espacio muestral imagen. Ejemplo 3.3 Un transmisor enva una secuencia de dgitos binarios (ceros y unos), , = 0, , " 1 , a un receptor distante a travs de un canal de comunicaciones digitales. A consecuencia de imperfecciones del canal, la secuencia de dgitos binarios detectada en recepcin, $ , = 0, , " 1 , es posiblemente diferente a la transmitida. Para evaluar el rendimiento de la comunicacin, considere el experimento consistente en comparar las secuencias transmitida y recibida y determinar cul de los resultados siguientes se ha producido: % = Hay errores de transmisin, o bien & = No hay errores de transmisin. Puede definirse la variable aleatoria Z dada por ( % ) = 0 y ( ()=1. De este modo, = 1 es la probabilidad de que se haya producido algn error en la transmisin. Si llamamos al espacio muestral imagen ( es decir, ) = X(), ), podemos distinguir entre: Variables aleatorias discretas: es discreto (es decir, finito o infinito numerable). Variables aleatorias continuas: es continuo, o contiene algn subconjunto continuo. La diferencia entre variables discretas y continuas es sustancial. Como hemos visto anteriormente, si el espacio muestral imagen es finito o infinito numerable, para caracterizar la variable aleatoria en trminos probabilsticos es suficiente con asignar un valor de probabilidad a cada posible resultado (que, de acuerdo con la definicin anterior, es tambin un suceso) respetando las propiedades 1 a 3, y calcular las probabilidades de los dems sucesos aplicando la propiedad 4. Lo ltimo es posible porque puede construirse cualquier suceso mediante la unin contable de sucesos atmicos (esto es, sucesos formados por un solo resultado posible). Sin embargo, si es continuo, aquellos sucesos que contengan un conjunto infinito y no numerable de resultados posibles no pueden construirse como unin contable de sucesos atmicos y, por tanto, no es posible calcular su probabilidad a partir de las probabilidades de los sucesos atmicos. Adems, la mayora de los sucesos atmicos tienen probabilidad nula! Cuando es continuo, suele preferirse caracterizar la variable aleatoria X a partir de los sucesos de la forma . . La funcin que devuelve la probabilidad de este suceso para cada valor de X se denomina funcin de distribucin acumulada o, simplemente, funcin de distribucin

/0 (.) =

La funcin de distribucin tiene las siguientes propiedades, que se deducen directamente de su definicin: P1. 0 /0 (.) 1 P2. /0 () = 1 P3. /0 () = 0 P4. /0 (.) es una funcin montona creciente (/0 (
&)

/0 (

2)

si

&

<

2 ).

Distribucin de probabilidades y funcin de densidad de probabilidad Dada una variable aleatoria discreta X, se define su distribucin de probabilidades (o simplemente distribucin), que llamaremos 40 (.), como aquella que, para cada posible valor x de X, devuelve su probabilidad. As, por ejemplo, 45 (3) = =3

Obviamente, si X puede tomar los valores . , 0 7 8 1 resulta

9:&

45 ( . ) = 1
;%

Probabilidad y distribucin de probabilidades son esencialmente lo mismo, aunque la primera se aplica a sucesos y la segunda a nmeros. Si la variable es discreta, conociendo su distribucin puede calcularse la probabilidad de cualquier caso. Por el contrario, si la variable aleatoria es continua, la distribucin de probabilidades no resulta til, y suele recurrirse a la funcin de distribucin acumulada o bien a su derivada, que se conoce como funcin de densidad de probabilidad (abreviadamente, fdp) <5 (.) = $/5 (.) $.

Las siguientes propiedades son una consecuencia inmediata de esta definicin, y de las propiedades de la funcin de distribucin enunciadas anteriormente: P1. <5 (.) 0 P2. /5 (.) = > < (?)$? :@ 5 P3. > < (?)$? = 1 :@ 5 Adems, la densidad de probabilidad define completamente una variable aleatoria, en el sentido de que permite calcular la probabilidad de cualquier suceso. Por ejemplo, la probabilidad del
@ 0

suceso < particin

A se puede calcular teniendo en cuenta que el conjunto

A admite la

A = Luego, en virtud de la propiedad 4, A = Y, por tanto B<

B B<

B +

B<

A = /5 (A) /5 (B) = > < (.)$. D 5 se puede calcular como

De forma general, la probabilidad del suceso

= E <5 (. )$.
F

La propiedad (3.9) puede ayudarnos a interpretar la funcin <0 (.): partiendo de la definicin de derivada, <5 (.) = lim /5 (. + ) /5 (.) = lim % % .< .+

La expresin final explica la denominacin de densidad de probabilidad para <5 (.). Resumiendo, las variables aleatorias discretas pueden caracterizarse mediante su distribucin de probabilidades, y las continuas mediante su funcin de densidad de probabilidad. Para completar el paralelismo entre variables discretas y continuas, puede definirse la funcin de probabilidad acumulada (o de distribucin) de una variable discreta, dada por /5 (.) = . = M0O P0 45 (.). La funcin de distribucin cumple /5 (.QD0 ) = 1, donde .QD0 es el mximo valor posible de X (estrictamente hablando, el valor supremo). Asimismo, las probabilidades pueden expresarse a partir de la funcin de distribucin. Suponiendo .% < .& < < .9:& , puede escribirse 45 (. ) = /5 (. ) /5 (. :& ). Esperanza matemtica La media o esperanza matemtica de la variable aleatoria discreta X de espacio muestral = xT , 0 i M 1 se define como
9:&

V. = W

=
;%

. 45 (. )

La esperanza matemtica tambin tiene una interpretacin frecuencial. Supongamos, por ejemplo, que se observan N realizaciones . X , Y = 0, , " 1 de la variable aleatoria X; el promedio de todas ellas ser

Z=

1 "

[:&

.X
X;%

Agrupando los sumandos iguales, resulta

9:&

Z=
;%

" . "

Siendo " el numero de sumandos iguales a . . Dado que el cociente Ni/N se aproxima a 4.(. ) a medida que aumenta N, el promedio se aproxima a la media. La esperanza matemtica puede aplicarse a cualquier funcin de X,
9:&

W \( ) =
;%

\(. )45 (. )

Existiendo algunos casos particulares de especial inters: Valor cuadrtico medio: W

2

Varianza: ]52 = W ( V.)2 = W 2 V2 5 ^ Momento de orden : W Momento central de orden : W ( V.)2

De modo anlogo se escribe la esperanza matemtica de una variable aleatoria continua:

@

V. = W

= E .<5 (.)$.
:@

Y, en general,
@

W \( ) = E \(.)<5 (.)$.
:@

Los casos particulares definidos anteriormente tambin son de aplicacin a variables continuas. .45 (.)
0k k