Vous êtes sur la page 1sur 1

TINF formule za 1. MI 2010/2011

v1.2

1

VJEROJATNOSTI U KOMUNIKACIJSKOM SUSTAVU

∑ ∑ ∑ ( ) ∑ ( ) ( | ) ( ) ( )
(
)
(
)
(
|
)
(
)
(
)
(
)
(
|
)
(
|
)
(
)
(
)
(
|
)
 p
(
x y
,
)
p x y
(
,
)
p x y
(
,
}
) 
 
p x
(
)
1
1
1
2
1
m
1
}
p
(
x
,
y
)
p x
(
,
y
)
p x
(
,
y
)
 
p
(
x
)
2
1
2
2
2
m
2
p x y
(
,
) 
i
i
}
p
(
x
,
y
)
p x
(
,
y
)
p x
(
,
y
)
 
p
(
x
)
n
1
n
2
n
m
n
 
p y
(
)
 
p y
(
)
 (
p y
)
1
2
m
ENTROPIJA
Svojstva entropije:
1.
2.
3.
4.
Entropija na ulazu sustava:
Entropija na izlazu sustava:
(
)
Združena entropija ili entropija para slučajnih varijabli:
(
)
(
)
Entropija šuma, irelevantnost:
(
)
(
)
Ekvivokacija, mnogoznačnost:
(
)
(
)
}
TRANSINFORMACIJA
Srednji uzajamni sadržaj informacije, transinformacija:
(
)
(
)
(
)
}
}
transinformacija: ( ) ∑ ∑ ( ) ( ) } } KAPACITET DISKRETNOG KOMUNIKACIJSKOG KANALA RELATIVNA

KAPACITET DISKRETNOG KOMUNIKACIJSKOG KANALA

RELATIVNA ENTROPIJA

KASKADIRANJE KANALA

x1 1  y1 1  1  y2 x2 1  PROSJEČNA DULJINA KODNE
x1
1 
y1
1 
1 
y2
x2
1 
PROSJEČNA DULJINA KODNE RIJEČI
efikasnost koda:

z

1

z2

KRAFTOVA NEJEDNAKOST

HUFFMANOVO KODIRANJE

ako

dodajemo

simbola

ARITMETIČKO KODIRANJE

TRAJANJE I BRZINA GENERIRANJA SIMBOLA