Departamento de Electrnica

Facultad de Ciencias Exactas, Ingeniera y Agrimensura

Universidad Nacional de Rosario
Identificacin de Sistemas
Conceptos Fundamentales de Probabilidad
Variables Aleatorias y Procesos Aleatorios
Autor: Dr. Juan Carlos Gmez
ISIS 2
Conceptos Fundamentales de Probabilidad, Variables
Aleatorias y Procesos Aleatorios
1. Teora Bsica de Probabilidad
La Teora de Probabilidad trata con fenmenos que pueden ser modelados por experi-
mentos cuyos resultados estn gobernados por el azar (se denominan experimentos
aleatorios). Estos experimentos aleatorios estn caracterizados por
* Los experimentos son repetibles bajo idnticas condiciones
* El resultado de un experimento es impredecible
* Si el experimento se realiza un gran nmero de veces, el resultado exhibe un cierta
regularidad estadstica (se observa un comportamiento promedio).
Denominamos evento a uno de los posibles resultados de un experimento aleatorio. Sea
A un evento y supongamos que en n veces que se realiza el experimento, el evento A
ocurre ( ) A N
n
veces. La frecuencia relativa asociada al evento A es el cociente
( )
n
A N
n
que verifica
( )
1 0
n
A N
n
Si el evento A no ocurre nunca, entonces ( ) 0 n A N
n
, en tanto que si ocurre las n
veces que se realiza el experimento ( ) 1 n A N
n
.
Cuando la frecuencia relativa converge al mismo lmite a medida que n crece, puede
definirse la probabilidad del evento A, como
( )
( )

,
_

n
A N
A P
n
lim
n
Puede pensarse que un experimento aleatorio y sus resultados definen un espacio con
sus puntos. Este espacio se denomina espacio muestral (el conjunto de todos los
posibles resultados del experimento) y sus puntos se denominan muestras.
Denotaremos al espacio muestral con S. El especio muestral completo S se denomina
evento seguro, en tanto que el conjunto vacio se denomina evento nulo o
imposible.
Estamos ahora en condiciones de dar una definicin axiomtica de probabilidad. Un
sistema de probabilidad consiste de la tripla:
1. Un espacio muestral S de eventos elementales (resultados de experimento)
2. Una clase

de eventos que son un subcojunto de S.

3. Una medida de probabilidad ( ) P asignada a cada evento A en la clase

, que tiene las siguientes propiedades

ISIS 3
(i) ( ) 1 S P
(ii) ( ) 1 0 A P
(iii) Si B A+ es la unin de dos eventos mutuamente excluyentes en la
clase

, entonces
( ) ( ) ( ) B P A P B A P + +
Propiedades
1. ( ) ( ) A P A P 1 , donde A es el complemento del evento A.
2. Si
M
A A A , , ,
2 1
L son M eventos mutuamente excluyentes con la propiedad
S A A A
M
+ + + L
2 1
entonces
( ) ( ) ( ) 1
2 1
+ + +
M
A P A P A P L
3. Cuando los eventos A y B no son mutuamente excluyentes, entonces la probabilidad
del evento unin A o B es]
( ) ( ) ( ) ( ) AB P B P A P B A P + +
donde ( ) AB P es la probabilidad del evento conjunto A y B.
Probabilidad Condicional
Consideremos un experimento que involucra un par de eventos A y B. Denotamos con
( ) A B P | a la probabilidad del evento B dado que el evento A ocurri. La probabilidad
( ) A B P | se denomina probabilidad condicional de B dado A. Asumiendo que A
tiene probabilidad no nula, la probabilidad condicional resulta
( )
( )
( ) A P
AB P
A B P |
donde ( ) AB P es la probabilidad conjunta de A y B.
Es fcil ver que
* ( ) ( ) ( ) A P A B P AB P |
* ( ) ( ) ( ) B P B A P AB P |
* ( )
( ) ( )
( ) A P
B P B A P
A B P
|
| (Regla de Bayes)
Si se verifica que ( ) ( ) A P B A P | , entonces ( ) ( ) ( ) B P A P AB P , y se dice que los
eventos A y B son estadsticamente independientes.
ISIS 4
2. Variables Aleatorias
En la teora de probabilidad, una variable aleatoria escalar X es considerada como el
resultado de un experimento en un espacio muestral que representa la coleccin de las
posibles salidas. Cuando la variable aleatoria X puede asumir slo un nmero finito de
valores en cualquier intervalo finito de observacin, se dice que X es una variable
aleatoria discreta. Si en cambio, la variable aleatoria X puede tomar cualquier valor en el
intervalo de observacin, se dice que la misma es una variable aleatoria continua.
Para describir las propiedades de las variables aleatorias se necesita dar una descripcin
probabilstica de las mismas.
Sea X una variable aleatoria y considrese la probabilidad del evento x X . Esta
probabilidad se denota:
( ) x X P
Es claro que esta probabilidad es funcin de la variable muda x. Se define entonces a
sta como la funcin de densidad de probabilidad acumulada ( ) x F
X
:
( ) ( ) x X P x F
X

o simplemente funcin de distribucin de la variable aleatoria X.
Una descripcin alternativa de la probabilidad de una variable aleatoria X se logra
usando la derivada de ( ) x F
X
para obtener la funcin de densidad de probabilidad
(pdf) de la variable aleatoria X.
( )
( )
dx
x dF
x p
X
X

El nombre densidad de probabilidad se debe a que la probabilidad de que
2 1
x X x se
obtiene como:
( ) ( )

2
1
2 1
x
x
X
dx x p x x x P
Es decir que la probabilidad de que [ ]
2 1
, x x X es igual al rea bajo la curva de
densidad de probabilidad en ese intervalo.
Es fcil de ver que para X asumiendo valores en el intervalo (a,b) la funcin de
distribucin est dada por:
( ) ( )

x
a
X X
d p x F
Como la probabilidad del evento cierto b X < es ( ) 1 b F
X
y la probabilidad del evento
imposible a X < es ( ) 0 a F
X
, se concluye que
ISIS 5
( ) 1

b
a
X
dx x p
donde podra resultar que a y + b .
Para analizar el comportamiento promedio de los resultados de un experimento aleatorio
se define la media o valor esperado de la variable aleatoria X como:
[ ] ( )

b
a
X X
dx x p x X E
donde E denota el operador esperanza matemtica.
Se define tambin el momento de orden n de la funcin de distribucin de probabilidad
de la variable aleatoria X , como:
[ ] ( )

b
a
X
n n
dx x p x X E
Es claro que el momento de primer orden (n=1) es el valor medio o valor esperado de la
variable aleatoria X. El momento de segundo orden (n=2) es el valor medio cuadrtico
de X.
De forma similar, se definen los momentos centrales de orden n que no son ms que
los momentos de la diferencia entre la variable aleatoria X y su valor medio
X
, es
decir:
( ) [ ] ( ) ( )

b
a
X
n
X
n
X
dx x p x X E
Para n=1 el momento central resulta nulo, en tanto que para n=2 el momento central de
2do orden se denomina varianza de la variable aleatoria X, y se denota:
[ ] ( ) [ ] ( ) ( )

b
a
X X X X
dx x p x X E X
2 2 2
var
Las raz cuadrada de la varianza, o sea
X
, se denomina desviacin estandard de la
variable aleatoria X.
La varianza de una variable aleatoria es en cierta forma una medida del grado de
aleatoriedad de la variable, ya que da una indicacin de cuanto se desva la variable con
respecto a su valor medio. Ms precisamente, se verifica la siguiente desigualdad de
Chebyshev:
( )
2
2

X
X
X P
para cualquier nmero positivo .
ISIS 6
Una variable aleatoria (escalar) se dice que tiene una distribucin Gaussiana o Normal
si su funcin de densidad de probabilidad est dada por:
( )
( )

'

2
2
2
exp
2
1
X
X
X
X
x
x p

Es fcil de probar que los momentos de orden n, con 3 n , quedan unvocamente
determinados por los momentos de primer y segundo orden, o sea el valor medio
X
y la
varianza
2
X
.
Cuando una variable aleatoria tiene distribucin Gaussiana, se denota:
( )
2
,
N X
N X
Las variables Gaussianas juegan una papel muy importante ya que se encuentran
frecuentemente cuando se hacen anlisis estadsticos de numerosos sistemas fsicos.
Momentos Conjuntos:
Cuando se considera un par de variables aleatorias X e Y , un conjunto de parmetros
estadsticos importantes en este caso son los momentos conjuntos definidos como:
[ ] ( )

b
a
b
a
Y X
k i k i
dy dx y x p y x Y X E ,
,
(1)
donde ( ) y x p
Y X
,
,
es la funcin de densidad de probabilidad conjunta de las
variables aleatorias X e Y que se define como:
( )
( )
y x
y x F
y x p
Y X
Y X

,
,
,
2
,
donde a su vez, ( ) y x F
Y X
,
,
es la funcin de distribucin conjunta de X e Y definida
como:
( ) ( ) y Y x X P y x F
Y X
, ,
,
Un momento conjunto de gran importancia es la correlacin definida por [ ] Y X E que
corresponde a 1 k i en (1).
Las correlaciones entre las variables centradas [ ] [ ] X E X E e [ ] [ ] Y E Y E se denomina
covarianza de X e Y, y se denota:
[ ] [ ] ( ) [ ] ( ) [ ] Y E Y X E X E Y X cov
llamando [ ] X E
X
y [ ] Y E
Y
resulta:
ISIS 7
[ ] [ ]
Y X
Y X E Y X cov
3. Proceso Aleatorio
Si se consideran ahora seales que son funcin del tiempo y que son aleatorias en el
sentido que antes de llevar a cabo un experimento no es posible describir exactamente la
forma de onda que presentarn las seales observadas. En este caso, cada elemento del
espacio muestral es una funcin del tiempo ( ) t x
j
. El conjunto de funciones del tiempo
(espacio muestral) se denomina proceso aleatorio o proceso estocstico que se
denotar ( ) t X .
Se asume entonces la existencia una distribucin de probabilidad definida sobre una
apropiada clase de conjuntos del espacio muestral.
Estacionariedad:
Un proceso aleatorio ( ) t X se dice estrictamente estacionario si la distribucin
conjunta de cualquier conjunto de variables aleatorias obtenidas observando el proceso
aleatorio ( ) t X es invariante con respecto a la ubicacin del origen 0 t . Si se denota
( ) ( ) ( )
k
t X t X t X L , ,
2 1
las variables aleatorias obtenidas observando el proceso ( ) t X en
los instantes
k
t t t L , ,
2 1
, entonces el proceso es estacionario en sentido estricto si:
( ) ( ) ( )
( )
( ) ( ) ( )
( )
k t X t X t X k t X t X t X
x x x F x x x F
k k
L L
L L
, , , ,
2 1 , , 2 1 , ,
2 1 2 1

+ + +
para todo intervalo de tiempo , todo k, y todas las posibles elecciones de los tiempos
k
t t t L , ,
2 1
, donde
( ) ( ) ( )
( )
k t X t X t X
x x x F
k
L
L
, ,
2 1 , ,
2 1
es la funcin de distribusin conjunta de
las variables aleatorias ( ) ( ) ( )
k
t X t X t X L , ,
2 1
.
Para un proceso aleatorio estacionario ( ) t X se defina la media de ( ) t X como el valor
esperado de la variable aleatoria obtenida observando el proceso en algn tiempo t, o
sea:
( ) ( ) [ ]
( )
( )

+

dx x p x t x E t
t X X

donde
( )
( ) x p
t X
es la funcin de densidad de probabilidad de primer orden del proceso.
Se deduce que para un proceso estacionario,
( )
( ) x p
t X
independiente de t y por lo tanto:
( ) t t
X X

La funcin de auto correlacin del proceso ( ) t X se define como el valor esperado del
producto de las variables aleatorias ( )
1
t X y ( )
2
t X en los instantes
1
t y
2
t
respectivamente, es decir:
( ) ( ) ( ) [ ]
( ) ( )
( )
2 1 2 1 2 1 2 1 2 1
, ,
2 1
dx dx x x p x x t X t X E t t R
t X t X X

+

+


ISIS 8
donde
( ) ( )
( )
2 1
,
2 1
x x p
t X t X
es la funcin de densidad de probabilidad de segundo orden.
Para un proceso estacionario, la funcin de auto correlacin depende slo de la
diferencia
1
t -
2
t , es decir:
( ) ( )
2 1 2 1 2 1
, , t t t t R t t R
X X

La funcin de auto covarianza del proceso estacionario ( ) t X se define como:
( ) ( ) ( ) ( ) ( ) [ ] ( )
2
2 1 2 1 2 1
,
X X X X X
t t R t X t X E t t C
Para el caso ms general de tener dos procesos aleatorios ( ) t X e ( ) t Y con funciones de
auto correlacin ( ) u t R
X
, y ( ) u t R
Y
, respectivamente , se definen las dos funciones de
correlacin cruzada:
( ) ( ) ( ) [ ]
( ) ( ) ( ) [ ] t X u Y E u t R
u Y t X E u t R
YX
XY

,
,
Las propiedades de correlacin de los dos procesos se pueden representar entonces en
forma matricial, definiendo la matriz de correlacin de los procesos aleatorios ( ) t X e
( ) t Y como:
( )
( ) ( )
( ) ( )
1
]
1

u t R u t R
u t R u t R
u t R
Y YX
XY X
, ,
, ,
,
Si los procesos aleatorios ( ) t X e ( ) t Y son cada uno estacionarios y adems son
conjuntamente estacionarios, entonces la matriz de correlacin puede escribirse como:
( )
( ) ( )
( ) ( )
1
]
1

Y YX
XY X
R R
R R
R
donde u t
Ergodicidad:
La esperanza matemtica de un proceso aleatorio ( ) t X constituye el promedio en el
ensamble ( ) [ ]
X
t X E del proceso, que para el caso de un proceso estacionario resulta
que tambin puede calcularse el promedio temporal a lo largo del proceso:
( ) ( )

T
T
X
dt t x
T
T
2
1
,
que obviamente es una variable aleatoria que depende del intervalo de observacin
T t T .
ISIS 9
Un proceso aleatorio se dice ergdico hasta momentos de segundo orden si se
verifican las siguientes condiciones:
i. ( )
X X
T
T

lm
ii. ( ) [ ] 0 var lm

T
X
T

Un proceso aleatorio ( ) t X cuya funcin de auto correlacin est dada por:
( ) ( ) [ ] ( ) ( ) r R t X t X E
X

con 0 r se denomina ruido blanco. Resulta fcil de verificar que el espectro de
densidad de potencia es constante para todas las frecuencias.
4. Vector de Proceso Aleatorio
En las secciones anteriores se trataron las variables aleatorias escalares. En esta parte se
generalizan las relaciones presentadas para el caso de vectores n-dinensionales
compuestos por procesos aleatorios escalares, de la forma:
( ) ( ) ( ) ( ) [ ]
T
n
t x t x t x t x L
2 1

En virtud de los atributos de las variables aleatorias Gaussianas y de su ms difundido

uso, slo se har referencia a vectores de procesos aleatorios Gaussianos con valor
esperado nulo.
La funcin de densidad de probabilidad para estos vectores estar dada por:
( )
( )
[ ] ( ) [ ] ( )

'

x E x R x E x
R
x p
T
n
1
2
1
exp
det 2
1

donde R es la matriz de covarianza de x definida por:

[ ] ( ) [ ] ( ) [ ]
T
x E x x E x E R (2)
Esta matriz R es simtrica perteneciente a
n n
y para el caso en consideracin resulta
de la forma:
( ) [ ]
( ) [ ]
( ) [ ]1
1
1
1
1
]
1

2
2
2
2
1
0 0
0
0 0
0 0
t x E
t x E
t x E
R
n
L
M O M
L
L
ISIS 10
ya que no existe correlacin entre diferentes muestras. Por otra parte, R se puede
expresar en forma alternativa como:
( )
( )
( )
1
1
1
1
]
1

0 0 0
0
0 0 0
0 0 0
2
1
n
x
x
x
R
R
R
R
L
M O M
L
L
o bien
( )
( )
( )
1
1
1
1
1
]
1

2
2
2
2
1
0 0
0
0 0
0 0
t x
t x
t x
R
n
L
M O M
L
L
Esta ltima forma de expresar la matriz de covarianza R del vector de proceso aleatorio
Gaussiano ( ) t x , muestra que la misma es una matriz diagonal en la cual la diagonal
principal est conformada por los valores cuadrticos medios (rms) de las componentes
del vector aleatorio ( ) t x .
References
[1] Haykin, Simon. Communication Systems, 3
rd
Edition, John Wiley & Sons, Inc., New
York, 1994.