Vous êtes sur la page 1sur 108

Capacidad de

canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Capacidad de canal
CTI: Leccin 4, Segundo teorema de Shannon (CCT)
(cf. Cap. 5 de Informaci i codis, J. M. Brunat y E. Ventura,
Edicions UPC, 2001)

Ramiro Moreno Chiral

12 de marzo de 2007

ndice
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Canal: definiciones y tipos

Codificacin

Segundo teorema de Shannon, CCT

ndice
Capacidad de
canal

Canal: definiciones y tipos


Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin

Segundo teorema de Shannon, CCT

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Un canal es una terna K = (X , Y , T ), donde

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Un canal es una terna K = (X , Y , T ), donde


X es una v.a. (fuente) que toma valores sobre un
alfabeto de entrada, X = {a1 , . . . , am };

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Un canal es una terna K = (X , Y , T ), donde


X es una v.a. (fuente) que toma valores sobre un
alfabeto de entrada, X = {a1 , . . . , am };
Y es otra v.a. (receptor) con valores en un alfabeto de
salida, Y = {b1 , . . . , bn };

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Un canal es una terna K = (X , Y , T ), donde


X es una v.a. (fuente) que toma valores sobre un
alfabeto de entrada, X = {a1 , . . . , am };
Y es otra v.a. (receptor) con valores en un alfabeto de
salida, Y = {b1 , . . . , bn };
Y T es la matriz de transicin, de dimensiones
m n, estocstica por filas, definida

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Un canal es una terna K = (X , Y , T ), donde


X es una v.a. (fuente) que toma valores sobre un
alfabeto de entrada, X = {a1 , . . . , am };
Y es otra v.a. (receptor) con valores en un alfabeto de
salida, Y = {b1 , . . . , bn };
Y T es la matriz de transicin, de dimensiones
m n, estocstica por filas, definida
T

= P(Y = bj |X = ai ) = (pij ),
con 1 i m, 1 j n.

Definicin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Un canal es una terna K = (X , Y , T ), donde


X es una v.a. (fuente) que toma valores sobre un
alfabeto de entrada, X = {a1 , . . . , am };
Y es otra v.a. (receptor) con valores en un alfabeto de
salida, Y = {b1 , . . . , bn };
Y T es la matriz de transicin, de dimensiones
m n, estocstica por filas, definida
T

F
P(X)

= P(Y = bj |X = ai ) = (pij ),
con 1 i m, 1 j n.

Canal

T=P(Y|X)

R
P(Y)

Algunas propiedades
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Algunas propiedades
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Lema
Si A es una matriz m n, estocstica por filas y X una
distribucin de probabilidad dada como un m-vector fila,
entonces
Y = X A,

Codificacin
Segundo
teorema de
Shannon, CCT

es una distribucin de probabilidad dada por el n-vector


fila Y .

Algunas propiedades
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Lema
Si A es una matriz m n, estocstica por filas y X una
distribucin de probabilidad dada como un m-vector fila,
entonces
Y = X A,

Codificacin
Segundo
teorema de
Shannon, CCT

es una distribucin de probabilidad dada por el n-vector


fila Y .
Podemos considerar, fijada T , la informacin mutua

Algunas propiedades
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Lema
Si A es una matriz m n, estocstica por filas y X una
distribucin de probabilidad dada como un m-vector fila,
entonces
Y = X A,

Codificacin
Segundo
teorema de
Shannon, CCT

es una distribucin de probabilidad dada por el n-vector


fila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ; Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),

Algunas propiedades
Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Lema
Si A es una matriz m n, estocstica por filas y X una
distribucin de probabilidad dada como un m-vector fila,
entonces
Y = X A,

Codificacin
Segundo
teorema de
Shannon, CCT

es una distribucin de probabilidad dada por el n-vector


fila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ; Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),
como una funcin en las pi = P(X = ai ), 1 i m:
I(X ; Y ) = f (p1 , p2 , , pm )

Definicin de capacidad de canal


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin de capacidad de canal


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Por lo tanto, tiene sentido calcular el mximo de la


informacin mutua, I(X ; Y ) = f (p1 , p2 , , pm ), respecto a
las probabilidades de entrada pi = P(X = ai ), 1 i m.

Definicin de capacidad de canal


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?

Por lo tanto, tiene sentido calcular el mximo de la


informacin mutua, I(X ; Y ) = f (p1 , p2 , , pm ), respecto a
las probabilidades de entrada pi = P(X = ai ), 1 i m.

Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Dado un canal K = (X , Y , T ), llamaremos capacidad de
K al valor
C(K) = max I(X ; Y ).
{p1 , ,pm }

Definicin de capacidad de canal


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?

Por lo tanto, tiene sentido calcular el mximo de la


informacin mutua, I(X ; Y ) = f (p1 , p2 , , pm ), respecto a
las probabilidades de entrada pi = P(X = ai ), 1 i m.

Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Dado un canal K = (X , Y , T ), llamaremos capacidad de
K al valor
C(K) = max I(X ; Y ).
{p1 , ,pm }

La capacidad es fcilmente calculable en los llamados


canales simtricos.

Canales simtricos respecto a la entrada


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Canales simtricos respecto a la entrada


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Dado un canal K = (X , Y , T ), diremos que es simtrico
respecto a la entrada, si todas las filas de T tienen los
mismos valores (posiblemente en diferentes columnas).

Canales simtricos respecto a la entrada


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal

Definicin
Dado un canal K = (X , Y , T ), diremos que es simtrico
respecto a la entrada, si todas las filas de T tienen los
mismos valores (posiblemente en diferentes columnas).

Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Proposicin
Sea K = (X , Y , T ) un canal simtrico respecto a la
entrada, entonces
1

Todas las filas de T tienen la misma entropa, H0 .

I(X ; Y ) = H(Y ) H0 . Por lo tanto, C(K) log n H0 .

Se alcanza la igualdad, C(K) = log n H0 , si existe


una X para la que Y es uniforme.

Canales simtricos respecto a la salida


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Canales simtricos respecto a la salida


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Dado un canal K = (X , Y , T ), diremos que es simtrico
respecto a la salida, si todas las columnas de T tienen
los mismos valores (posiblemente en diferentes filas).

Canales simtricos respecto a la salida


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Dado un canal K = (X , Y , T ), diremos que es simtrico
respecto a la salida, si todas las columnas de T tienen
los mismos valores (posiblemente en diferentes filas).
Lema
Si K = (X , Y , T ) es un canal simtrico respecto a la salida
y X es una v.a. uniforme, entonces Y tambin lo es.

Capacidad de los canales simtricos


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Capacidad de los canales simtricos


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Un canal K = (X , Y , T ) se llama simtrico si es simtrico
respecto a la entrada y a la salida.

Capacidad de los canales simtricos


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Definicin
Un canal K = (X , Y , T ) se llama simtrico si es simtrico
respecto a la entrada y a la salida.

Codificacin
Segundo
teorema de
Shannon, CCT

Proposicin
Con las notaciones anteriores, si K = (X , Y , T ) es un
canal simtrico, se tiene
C(K) = log n H0 .

Capacidad de los canales BSC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Capacidad de los canales BSC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Corolario
Como los BSC son simtricos se tiene
C(KBSC ) = 1 h(p).

Capacidad de los canales BSC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?

Corolario
Como los BSC son simtricos se tiene
C(KBSC ) = 1 h(p).

Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Sea KBSC con probabilidad de error en un bit p = 00 2.


Entonces es

Capacidad de los canales BSC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?

Corolario
Como los BSC son simtricos se tiene
C(KBSC ) = 1 h(p).

Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Sea KBSC con probabilidad de error en un bit p = 00 2.


Entonces es C(KBSC ) = 1 h(00 2) = 00 28 bits.

Capacidad de los canales BSC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?

Corolario
Como los BSC son simtricos se tiene
C(KBSC ) = 1 h(p).

Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Sea KBSC con probabilidad de error en un bit p = 00 2.


Entonces es C(KBSC ) = 1 h(00 2) = 00 28 bits.
1h(p)
1

Capacidad del BSC

08

04

04

02

02

04

06

08

Capacidad de los canales BEC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Capacidad de los canales BEC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Corolario
Los BEC son simtricos respecto a la entrada, pero no
respecto a la salida. Luego, C(KBEC ) log 3 H0 .

Capacidad de los canales BEC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Corolario
Los BEC son simtricos respecto a la entrada, pero no
respecto a la salida. Luego, C(KBEC ) log 3 H0 .
Como el sistema en p1 y p2

 

1 1 1
1pq q
p
(p1 , p2 )
=
, ,
,
p
q 1pq
3 3 3
tiene solucin p1 = p2 = 12 para cualquier p [0, 1] y
cuando q = 31 , ese valor mximo se alcanza.

Capacidad de los canales BEC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Corolario
Los BEC son simtricos respecto a la entrada, pero no
respecto a la salida. Luego, C(KBEC ) log 3 H0 .
Como el sistema en p1 y p2

 

1 1 1
1pq q
p
(p1 , p2 )
=
, ,
,
p
q 1pq
3 3 3
tiene solucin p1 = p2 = 12 para cualquier p [0, 1] y
cuando q = 31 , ese valor mximo se alcanza.
Si KBEC es un canal con probabilidades de error p = 00 1 y
de borrn q = 13 , se tiene

Capacidad de los canales BEC


Capacidad de
canal

Canal:
definiciones y
tipos
Qu es un canal?
Capacidad de canal
Tipos de canal

Codificacin
Segundo
teorema de
Shannon, CCT

Corolario
Los BEC son simtricos respecto a la entrada, pero no
respecto a la salida. Luego, C(KBEC ) log 3 H0 .
Como el sistema en p1 y p2

 

1 1 1
1pq q
p
(p1 , p2 )
=
, ,
,
p
q 1pq
3 3 3
tiene solucin p1 = p2 = 12 para cualquier p [0, 1] y
cuando q = 31 , ese valor mximo se alcanza.
Si KBEC es un canal con probabilidades de error p = 00 1 y
de borrn q = 13 , se tiene
C(KBEC ) = log 3 H(

17 1 0
, , 0 1) = 00 26 bits.
30 3

ndice
Capacidad de
canal

Canal:
definiciones y
tipos

Canal: definiciones y tipos

Codificacin
Introduccin
Ejemplo
Probabilidades de error al decodificar
Otro ejemplo

Segundo teorema de Shannon, CCT

Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

T=P(Y|X)

DECOD

f(z)=y

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

1. Modelo probabilstico, K = (X , Y , T ):

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

R
P(Y)

1. Modelo probabilstico, K = (X , Y , T ):
1.1 Una fuente F emite caracteres x A de un alfabeto
segn una v.a. X .

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

R
P(Y)

1. Modelo probabilstico, K = (X , Y , T ):
1.1 Una fuente F emite caracteres x A de un alfabeto
segn una v.a. X .
1.2 Se recibe en R un carcter x 0 A con probabilidad
regida por la v.a. Y .

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

R
P(Y)

1. Modelo probabilstico, K = (X , Y , T ):
1.1 Una fuente F emite caracteres x A de un alfabeto
segn una v.a. X .
1.2 Se recibe en R un carcter x 0 A con probabilidad
regida por la v.a. Y .
1.3 El canal introduce un ruido expresado por la matriz de
probabilidades de transicin, T Y |X .

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin

MODELO GENERAL DE UN CANAL


F

COD

C(x)=y

P(X)

Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Canal

2. Codificador (COD):

ruido

T=P(Y|X)

DECOD

f(z)=y

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin

MODELO GENERAL DE UN CANAL


F

COD

C(x)=y

P(X)

Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

2. Codificador (COD):
2.1 Es un algoritmo determinista: P(x) = P(y).

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin

MODELO GENERAL DE UN CANAL


F

COD

C(x)=y

P(X)

Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

2. Codificador (COD):
2.1 Es un algoritmo determinista: P(x) = P(y).
2.2 Consiste en una aplicacin
C : A C Bn
x 7 y,
siendo B un alfabeto de canal y C, el cdigo.

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

T=P(Y|X)

DECOD

f(z)=y

R
P(Y)

3. El canal introduce ruido que convierte la palabracdigo


y C Bn en una palabra z B n .

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

T=P(Y|X)

4. Decodificador (DECOD):

DECOD

f(z)=y

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

4. Decodificador (DECOD):
4.1 Es un algoritmo determinista: P(z) = P(x 0 ).

R
P(Y)

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

DECOD

f(z)=y

T=P(Y|X)

R
P(Y)

4. Decodificador (DECOD):
4.1 Es un algoritmo determinista: P(z) = P(x 0 ).
4.2 Se trata de una aplicacin f : B n C, tal que
f (z) = y 0 , llamada esquema de decisin o regla de
decodificacin, que minimiza la probabilidad de
error al decodificar, P(y 0 6= y).

Codificacin de canal
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

MODELO GENERAL DE UN CANAL


F
P(X)

COD

C(x)=y

Canal

ruido

T=P(Y|X)

DECOD

f(z)=y

R
P(Y)

5. Finalmente, el decodificador recupera, a partir de la


palabracdigo y 0 , un carcter fuente x 0 que R recibe.

Un cdigo de repeticin (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Un cdigo de repeticin (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

1. Modelo probabilstico. Sea un KBSC con probabilidad


de error en un bit 0 < p < 12 . Y un nico alfabeto
fuente y canal, A = B = F2 = {0, 1}.

Un cdigo de repeticin (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin

1. Modelo probabilstico. Sea un KBSC con probabilidad


de error en un bit 0 < p < 12 . Y un nico alfabeto
fuente y canal, A = B = F2 = {0, 1}.
2. Cdigo. Usamos un cdigo de repeticin 3,
Rep(3) = {(000), (111)},

Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

C : F2 Rep(3) F32
x = b 7 y = (bbb).

Un cdigo de repeticin (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin

1. Modelo probabilstico. Sea un KBSC con probabilidad


de error en un bit 0 < p < 12 . Y un nico alfabeto
fuente y canal, A = B = F2 = {0, 1}.
2. Cdigo. Usamos un cdigo de repeticin 3,
Rep(3) = {(000), (111)},

Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

C : F2 Rep(3) F32
x = b 7 y = (bbb).
3. Esquema de decisin. Ser la regla de
decodificacin por lgica mayoritaria,
f : F32 Rep(3)

(000),
0
0
0
0
z = (b1 b2 b3 ) 7 y = (111),

si 2 o 3 de los bi0 son ceros,


si 2 o 3 de los bi0 son unos.

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en la
decodificacin.

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en la
decodificacin. En nuestro caso,

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

P(Ef ) = P(2 o 3 errores)




= 32 p2 (1 p) + 33 p3 = 3p2 2p3 .

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en la
decodificacin. En nuestro caso,

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

P(Ef ) = P(2 o 3 errores)




= 32 p2 (1 p) + 33 p3 = 3p2 2p3 .
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0,

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en la
decodificacin. En nuestro caso,

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

P(Ef ) = P(2 o 3 errores)




= 32 p2 (1 p) + 33 p3 = 3p2 2p3 .
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, lo
cual siempre es cierto para 0 < p < 12 , ya que
2p2 3p + 1 = 2(p 12 )(p 1)

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en la
decodificacin. En nuestro caso,

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

P(Ef ) = P(2 o 3 errores)




= 32 p2 (1 p) + 33 p3 = 3p2 2p3 .
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, lo
cual siempre es cierto para 0 < p < 12 , ya que
2p2 3p + 1 = 2(p 12 )(p 1)
La regla de decodificacin usada ha disminuido
el error en recepcin.

Un cdigo de repeticin (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

4. El decodificador dar a R el bit x 0 = 0 o 1 segn sea


y 0 = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en la
decodificacin. En nuestro caso,

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

P(Ef ) = P(2 o 3 errores)




= 32 p2 (1 p) + 33 p3 = 3p2 2p3 .
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, lo
cual siempre es cierto para 0 < p < 12 , ya que
2p2 3p + 1 = 2(p 12 )(p 1)
El costo: multiplicar por 3 la longitud del mensaje. . .

Conjunto de errores
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Conjunto de errores
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar

Definicin
Dada una regla de decodificacin, f : B n C, tal que
f (z) = y 0 , siendo y la palabracdigo enviada al canal, el
conjunto de errores es


Ef = (y, z) C Bn : f (z) = y 0 6= y ,

Otro ejemplo

Segundo
teorema de
Shannon, CCT

siendo C B n un

(n, M) cdigo q-ario

y B el alfabeto del canal.

Conjunto de errores
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar

Definicin
Dada una regla de decodificacin, f : B n C, tal que
f (z) = y 0 , siendo y la palabracdigo enviada al canal, el
conjunto de errores es


Ef = (y, z) C Bn : f (z) = y 0 6= y ,

Otro ejemplo

Segundo
teorema de
Shannon, CCT

siendo C B n un

(n, M) cdigo q-ario

y B el alfabeto del canal.

Transmitida la palabracdigo y, la probabilidad de error


es
X
P(Ef |y) =
P(z|y).
z f
/ 1 (y)

Probabilidad media de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Probabilidad media de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, la probabilidad media de error se puede


escribir de las siguientes formas

Probabilidad media de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, la probabilidad media de error se puede


escribir de las siguientes formas
P
P(Ef ) =
P(Ef |y)P(y)
yC
P P
P(z|y)P(y)
=
yC z f
/ 1 (y)
P
=
P(y, z)
(y,z)Ef
P
= 1
P(f (z), z).
zBn

Probabilidad media de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, la probabilidad media de error se puede


escribir de las siguientes formas
P
P(Ef ) =
P(Ef |y)P(y)
yC
P P
P(z|y)P(y)
=
yC z f
/ 1 (y)
P
=
P(y, z)
(y,z)Ef
P
= 1
P(f (z), z).
zBn

Ntese que la probabilidad media de error depende de la


distribucin de la fuente, ya que P(y) = P(C(x)) = P(x) .

Mnima probabilidad media de error


Decodificacin por mnima probabilidad
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Mnima probabilidad media de error


Decodificacin por mnima probabilidad
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Definicin
Un observador ideal es una regla de decodificacin f tal
que
P(f (z), z) = max{P(y, z) : y C}, z B n .

Mnima probabilidad media de error


Decodificacin por mnima probabilidad
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo

Definicin
Un observador ideal es una regla de decodificacin f tal
que
P(f (z), z) = max{P(y, z) : y C}, z B n .

Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Proposicin
Dado un canal K = (X , Y , T ) y un cdigo C, el mnimo de
la probabilidad media de error, para todas las reglas de
decodificacin f , se obtiene en un observador ideal.

Probabilidad mxima de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Probabilidad mxima de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Definicin
La probabilidad mxima de error asociada a una regla
de decodificacin f se define
P max (Ef ) = max{P(Ef |y) : y C}.

Probabilidad mxima de error


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo

Definicin
La probabilidad mxima de error asociada a una regla
de decodificacin f se define
P max (Ef ) = max{P(Ef |y) : y C}.

Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Proposicin
Fijada una regla f de decodificacin, la P max (Ef ) es una
cota superior de la probabilidad de error P(Ef ), para todas
las distribuciones X de la fuente F .

Decodificacin por mxima verosimilitud


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Decodificacin por mxima verosimilitud


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Definicin
Una regla de decodificacin f es de mxima
verosimilitud si
P(z|f (z)) = max{P(z|y) : y C}, z B n .

Decodificacin por mxima verosimilitud


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo

Definicin
Una regla de decodificacin f es de mxima
verosimilitud si
P(z|f (z)) = max{P(z|y) : y C}, z B n .

Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Proposicin
Si la distribucin X de la fuente es uniforme coinciden
ambas reglas de decodificacin: la de mnima probabilidad
de error (u observador ideal) y la de mxima verosimilitud.

Otro ejemplo: Bits de paridad (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Otro ejemplo: Bits de paridad (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Consideramos una fuente F que emite bits segn una v.a.


X , tal que P(X = 1) = 00 3.

Otro ejemplo: Bits de paridad (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

Consideramos una fuente F que emite bits segn una v.a.


X , tal que P(X = 1) = 00 3.
El alfabeto fuente es
A = {x 0 , x 1 , x 2 , x 3 } = {(00), (01), (10), (11)}.

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Y el canal es un BSC con p = 00 2.

Otro ejemplo: Bits de paridad (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

Consideramos una fuente F que emite bits segn una v.a.


X , tal que P(X = 1) = 00 3.
El alfabeto fuente es
A = {x 0 , x 1 , x 2 , x 3 } = {(00), (01), (10), (11)}.

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Y el canal es un BSC con p = 00 2.


Codificamos aadiendo a cada x i un bit de paridad par. Es
fcil ver que
C : F22 C F32
x = (b1 , b2 ) 7 y = (b1 , b2 , b1 + b2 ).

Otro ejemplo: Bits de paridad (I)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin

Consideramos una fuente F que emite bits segn una v.a.


X , tal que P(X = 1) = 00 3.
El alfabeto fuente es
A = {x 0 , x 1 , x 2 , x 3 } = {(00), (01), (10), (11)}.

Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Y el canal es un BSC con p = 00 2.


Codificamos aadiendo a cada x i un bit de paridad par. Es
fcil ver que
C : F22 C F32
x = (b1 , b2 ) 7 y = (b1 , b2 , b1 + b2 ).
O lo mismo matricialmente

y = (b1 , b2 )


1 0 1
.
0 1 1

Bits de paridad (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Bits de paridad (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, C = {(000), (011), (101), (110)}: un (3, 4)


cdigo binario.

Bits de paridad (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, C = {(000), (011), (101), (110)}: un (3, 4)


cdigo binario.
La matriz de transicin T z|y = P(z|y) es

Bits de paridad (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, C = {(000), (011), (101), (110)}: un (3, 4)


cdigo binario.
La matriz de transicin T z|y = P(z|y) es
(000)
(011)
(101)
(110)

(000)
0512
0032
0032
0032

(001)
0128
0128
0128
0008

(010)
0128
0128
0008
0128

(011)
0032
0512
0032
0032

(100)
0128
0008
0128
0128

(101)
0032
0032
0512
0032

(110)
0032
0032
0032
0512

(111)
0008
0128
0128
0128

Bits de paridad (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, C = {(000), (011), (101), (110)}: un (3, 4)


cdigo binario.
La matriz de transicin T z|y = P(z|y) es
(000)
(011)
(101)
(110)

(000)
0512
0032
0032
0032

(001)
0128
0128
0128
0008

(010)
0128
0128
0008
0128

(011)
0032
0512
0032
0032

(100)
0128
0008
0128
0128

(101)
0032
0032
0512
0032

(110)
0032
0032
0032
0512

(111)
0008
0128
0128
0128

La regla de decodificacin por mxima verosimilitud, fMV ,


decodifica cada z F32 como la y C con mayor
probabilidad en la columna correspondiente de T z|y :

Bits de paridad (II)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Por lo tanto, C = {(000), (011), (101), (110)}: un (3, 4)


cdigo binario.
La matriz de transicin T z|y = P(z|y) es
(000)
(011)
(101)
(110)

(000)
0512
0032
0032
0032

(001)
0128
0128
0128
0008

(010)
0128
0128
0008
0128

(011)
0032
0512
0032
0032

(100)
0128
0008
0128
0128

(101)
0032
0032
0512
0032

(110)
0032
0032
0032
0512

(111)
0008
0128
0128
0128

La regla de decodificacin por mxima verosimilitud, fMV ,


decodifica cada z F32 como la y C con mayor
probabilidad en la columna correspondiente de T z|y :
fMV (000)
fMV (001)
fMV (010)
fMV (011)

=
=
=
=

(000),
(000),
(000),
(011),

fMV (100)
fMV (101)
fMV (110)
fMV (111)

=
=
=
=

(000),
(101),
(110),
(011).

Bits de paridad (III)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Bits de paridad (III)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Como (p0 , p1 , p2 , p3 ) = (00 49, 00 21, 00 21, 00 09), la matriz de


la probabilidad conjunta P(y, z) es

Bits de paridad (III)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Como (p0 , p1 , p2 , p3 ) = (00 49, 00 21, 00 21, 00 09), la matriz de


la probabilidad conjunta P(y, z) es
(000)
(011)
(101)
(110)

(000)
0251
0007
0007
0003

(001)
0063
0027
0027
0001

(010)
0063
0027
0002
0012

(011)
0016
0107
0007
0003

(100)
0063
0002
0027
0012

(101)
0016
0007
0107
0003

(110)
0016
0007
0007
0046

(111)
0004
0027
0027
0012

Bits de paridad (III)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo

Como (p0 , p1 , p2 , p3 ) = (00 49, 00 21, 00 21, 00 09), la matriz de


la probabilidad conjunta P(y, z) es
(000)
(011)
(101)
(110)

(000)
0251
0007
0007
0003

(001)
0063
0027
0027
0001

(010)
0063
0027
0002
0012

(011)
0016
0107
0007
0003

(100)
0063
0002
0027
0012

(101)
0016
0007
0107
0003

(110)
0016
0007
0007
0046

(111)
0004
0027
0027
0012

Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

La regla de decodificacin por mnima probabilidad u


observador ideal, fmP , decodifica cada z F32 como la
y C con mayor probabilidad en la columna
correspondiente de la matriz P(y, z):

Bits de paridad (III)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo

Como (p0 , p1 , p2 , p3 ) = (00 49, 00 21, 00 21, 00 09), la matriz de


la probabilidad conjunta P(y, z) es
(000)
(011)
(101)
(110)

(000)
0251
0007
0007
0003

(001)
0063
0027
0027
0001

(010)
0063
0027
0002
0012

(011)
0016
0107
0007
0003

(100)
0063
0002
0027
0012

(101)
0016
0007
0107
0003

(110)
0016
0007
0007
0046

(111)
0004
0027
0027
0012

Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

La regla de decodificacin por mnima probabilidad u


observador ideal, fmP , decodifica cada z F32 como la
y C con mayor probabilidad en la columna
correspondiente de la matriz P(y, z):
fmP (000)
fmP (001)
fmP (010)
fmP (011)

=
=
=
=

(000),
(000),
(000),
(011),

fmP (100)
fmP (101)
fmP (110)
fmP (111)

=
=
=
=

(000),
(101),
(110),
(011).

Bits de paridad (IV)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Bits de paridad (IV)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Segn la matriz de transicin T z|y , se trata de un canal simtrico a


la entrada pero no a la salida:

Bits de paridad (IV)


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Introduccin
Ejemplo
Probabilidades de error
al decodificar
Otro ejemplo

Segundo
teorema de
Shannon, CCT

Segn la matriz de transicin T z|y , se trata de un canal simtrico a


la entrada pero no a la salida: para calcular su capacidad
habra que ver si existe solucin al sistema

(p0 , p1 , p2 , p3 )T z|y =

1 1 1 1 1 1 1 1
, , , , , , ,
8 8 8 8 8 8 8 8

, siendo pi = P(x i ).

ndice
Capacidad de
canal

Canal:
definiciones y
tipos

Canal: definiciones y tipos

Codificacin

Segundo teorema de Shannon, CCT

Codificacin
Segundo
teorema de
Shannon, CCT

Notacin
Tasas de informacin y de redundancia
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Notacin
Tasas de informacin y de redundancia
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Un conjunto C es un (n, M) cdigo q-ario cuando est
formado por M palabrascdigo de longitud n sobre un
alfabeto con q elementos.

Notacin
Tasas de informacin y de redundancia
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Definicin
Un conjunto C es un (n, M) cdigo q-ario cuando est
formado por M palabrascdigo de longitud n sobre un
alfabeto con q elementos.
Definicin
Dado un (n, M) cdigo q-ario C, se llama tasa de
informacin o ratio del cdigo a
R(C) =

logq M
.
n

El valor 1 R(C) es la tasa de redundancia.

Segundo teorema de Shannon


CCT, Channel Coding Theorem
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Segundo teorema de Shannon


CCT, Channel Coding Theorem
Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Teorema (CCT)
Sea K un canal con ruido con capacidad C(K) y sea
R R, tal que 0 < R < C(K). Entonces existe una
sucesin (Cn , fn )nN de (n, Mn ) cdigos bloque q-arios y de
esquemas de decisin, tales que
1
2

R R(Cn ) =

logq Mn
.
n

lim P max (Efn ) = 0.

Teorema recproco del CCT


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Teorema recproco del CCT


Capacidad de
canal

Canal:
definiciones y
tipos
Codificacin
Segundo
teorema de
Shannon, CCT

Teorema (Recproco del CCT)


Sea K un canal con ruido con capacidad C(K). Sea
(Cn , fn )nN una sucesin de (n, Mn ) cdigos bloque q-arios
y de esquemas de decisin. Si la tasa de informacin es
R(Cn ) > C(K), n, entonces lim P max (Efn ) = 1.
n