Fundamentos de Reconocimiento de Patrones

Presentacin del seminario
Universidad de Vigo
Doctorado en Ingeniera
Medioambiental
Curso de verano
- Junio 2009 -
Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 1
Informacin sobre el docente
Francesco Bianconi
Dipartimento Ingegneria Industriale
Universit degli Studi di Perugia
(ITALIA)
Tel.: +39 075 585 3706

E-mail: bianco@ieee.org
rea de docencia: expresin grfica

rea de investigacin: procesamiento digital de la
imagen
1
Qu vamos a ver en este seminario ?
Fundamentos de reconocimiento de patrones
Representacin y anlisis de la textura
Representacin y anlisis del color
A qu sirve todo esto ?
Existen muchas aplicaciones. Entre ellas destacan las

siguientes:
Clasificacin (de imgenes)

Segmentacin (de imgenes)
Bsqueda de imgenes en bases de
datos (CBIR
CBIR)
CBIR
2
Clasificacin / 1
Consiste en asignar a una imagen una etiqueta de clase

o categora, de entre varias predefinidas, segn el
criterio de mxima semejanza.
semejanza
Representacin en un espacio
de caractersticas adecuado,
(por ejemplo mediante un
vector o un histograma);
definicin de una forma de
medir la distancia entre los
vectores o la disimilitud entre
los histogramas
Clasificacin / 2
La clasificacin puede ser de dos tipos:
Clasificacin monoclase Clasificacin multiclase

nicamente hay una Existen varias categoras
categora definida, y hay predefinidas, y un
que tomar una decisin patrn va asignado
de aceptacin o rechazo forzosamente a una de
ellas
3
Segmentacin / 1
Consiste en dividir una determinada imagen en reas o

regiones que tengan la misma apariencia visual.
visual
Ejemplo:
Segmentacin de
imgenes areas
Imagen area Campo
Zona residencial Vegetacin
Segmentacin / 2
Para evaluar los diferentes algoritmos de segmentacin,

se suelen combinar diferentes texturas en una nica
imgen.
Imagen a Resultado de la
Ground truth
segmentar segmentacin
A continuacin se comparan las regiones en que resulta

dividida la imagen con las regiones originales
4
datos (CBIR)
Consiste en filtrar una base de datos de informacin
visual (imgenes, vdeos). La bsqueda se basa en el
contenido visual (textura, color y otras caractersticas)
Aplicacin en:
Medicina;
Arte;
Periodismo;
Logotipos
Investigaciones policiales
Bsqueda de materiales
Ejemplos de aplicaciones
Materiales
Baldosas en piedra natural
mrmol
granito
Tablas de madera (parquet)
Baldosas en cermica
Papel
Cuero
Aplicaciones
Clasificacin formacin de lotes de
aspecto uniforme
Segmentacin bsqueda de defectos
(agujeros, grietas, vetas, etc.)
CBIR bsqueda de material
almacenado
5
Presentacin
Fundamentos de reconocimiento de
patrones
Francesco Bianconi
(ITALIA)
Fundamentos de
Francesco Bianconi Doctorado en Tecnologa Medioambiental 1
reconocimiento de patrones
Qu es el reconocimiento de patrones ?
Existen varias definiciones:

1. Asignar un objeto a una categora (clase) predefinida
(R.O. Duda);
2. Dividir un espacio multidimensional en clases (K.
Fukunaga);
3. Tomar decisiones a partir de ejemplos (B.D. Ripley)
Fundamentos de
1
Aplicaciones
Principales aplicaciones:
Visin por ordenador
Reconocimiento de caracteres
Diagnstico asistido por ordenador
Reconocimiento vocal
...muchas ms
Fundamentos de
Elementos bsicos de un sistema de

En un sistema de reconocimiento de patrones siempre
habr:
Un espacio de caractersticas;
Un clasificador
Fundamentos de
2
Etapas del proceso de clasificacin
Adquisicin
(sacar fotos del pescado)
Pre-
Pre-procesamiento
(separar el primer plano
del fondo)
Extraccin de los
parmetros caractersticos
(determinar ancho y brillo)
Clasificacin
Salmn Lubina
Fundamentos de
Clasificacin
Supongamos ahora que ya se conocen los parmetros

caractersticos (vectores caractersticos) de los objetos a
clasificar. La clasificacin puede ser de dos tipos:
Supervisada No supervisada
Datos de entrada: Datos de entrada:
Patrones de clase conocida y Patrones de clase desconocida
sus etiquetas (ejemplo: serie de (ejemplo: serie de datos como
datos como brillo + ancho + tipo brillo + ancho);
de pescado);
Nmero de clases (N), es decir:
Patrones de clase desconocida nmero de subconjuntos a
(ejemplo: serie de datos como formar
brillo + ancho)
Datos de salida:
Datos de salida:
Patrones agrupados en N
Etiquetas de los patrones de grupos
clase desconocida
Fundamentos de
3
Teora de la decisin Bayesiana
Segn la teora de la decisin Bayesiana el problema de

la decisin se puede expresar en trminos
probabilsticos, siempre y cuando se conozcan todas las
probabilidades relevantes :
Lubina 1
Salmn 2
p(x |j): probabilidad

condicional que el brillo del
pescado es x si ste es de
clase i
P(j): probabilidad a priori

que el pescado es de clase j
Densidad de probabilidad en
funcin del parmetro brillo
Fundamentos de
Regla de decisin Bayesiana
La regla de Bayes nos dice que la probabilidad a

posteriori se puede estimar as:
P (1)p (x | 1)
P (1 | x ) =
p (x | 1)P (1) + p (x | 2 )P (2 )
Es decir: la regla de Bayes nos permite pasar de p(x | i)
a P( i |x). La regla de decisin Bayesiana dice:
: P (1 | x ) > P (2 | x )
= 1
2: P (1 | x ) < P (2 | x )
El problema de la clasificacin se reduce a conocer las

distribuciones de probabilidad que aparecen en la regla
de Bayes.
Fundamentos de
4
Clasificadores
Dependiendo del mtodo que se utilice para estimar las

funciones de probabilidad los clasificadores pueden ser:
Paramtricos No paramtricos
1. Se establece a priori una Estn basados en tcnicas de
forma funcional para la clasifiacin que no requiere el
distribucin de probabilidad clculo de la distribucin de
(por ejemplo gaussiana); probabilidad
2. Se estiman los parmetros
de dicha distribucin ( y Mtodos basados en la distancia
en el caso de gaussiana)
para que sta se ajuste a los Nearest Neighbour
datos que tenemos K-Nearest Neighbours
Clasificadores bayesianos
Clasificador Bayesiano
Clasificador Naive Bayes
Fundamentos de
Clasificador Bayesiano
En el caso general habr que clasificar entre N clases a

partir de M caractersticas. En este caso la regla de Bayes
es:
p (x | i )P (i ) i = {1,...,N }
P (i | x ) = N
p (x | j )P ( j ) x = {x1,...,x M }
j =1
Por lo general se conocen las probabilidades a priori

P(i), y hay que estimar las probabilidades condicionales
p(x|i). La hiptesis ms tpica es la de distribucin
gaussiana:
p (x | j ) ~ N ( j , j )
En este caso necesitamos estimar, para cada clase, el

vector j y la matriz de covarianza j.
Fundamentos de
5
Clasificador naive Bayes
En la prctica resulta muy difcil estimar todos los

parmetros que precisa un clasificador bayesiano.
Hiptesis simplificadora: considerar las variables xi
independientes. En este caso se obtiene:
p (x i | j ) ~ N (ij , ij )
A partir de la regla de bayes se determinan los valores

de probabilidad a posteriori:
P (i | x i )
A continuacin se asigna al vector x la clase c que
maximiza el producto de las probabilidades a posteriori
(regla
regla del producto):
producto
argmax M
c = P ( j | x i )
j {1,...,N } i =1
Fundamentos de
Clasificadores basados en distancias
Entre los mtodos no paramtricos destacan los basados

en distancias. Las ideas bsicas de estos mtodos son
las siguientes:
El espacio de caractersticas es mtrico (es decir: es
posible definir una distancia);
En el espacio de caractersticas se define una medida
de distancia o de disimilitud;
disimilitud
En el espacio de caractersticas existen unos cuantos
ejemplos de clase conocida;
conocida
La probabilidad a posteriori de que un determinado
punto x pertenezca a una clase c se estima en base a la
distancia de los ejemplos
Fundamentos de
6
Clasificador k-NN
Es uno de los clasificadores ms utilizados por su

sencillez de implantacin.
1. En un espacio de
caractersticas se define
k=9
una medida de distancia x2 531
y se dan unos patrones
como ejemplo (crculo,
tringulo y cuadrado)
2. Se traza una hiperesfera
cuyo centro es el punto
(patrn) a clasificar que
abarca k ejemplos;
3. Se asigna al patrn la
clase representada
mayormente entre los k
ejemplos
x1
Fundamentos de
Clasificador 1-NN (nearest neighbour)
Es una variante del clasificador k-NN que se obtiene

poniendo k = 1. En este caso se asigna al patrn que se
va a clasificar la clase del ejemplo ms prximo.
Ventajas:
Ventajas x2
Implantacin sencilla;
Clasificacin rpida
Desventajas:
Desventajas
Sensible a outliers
x1
Fundamentos de
7
1-NN y teselacin de Voronoi
En el caso bidimensional, el clasificador 1-NN divide el

espacio de caractersticas en regiones poligonales. Dicha
subdivisin del plano es conocida como teselacin de
Voronoi.
Voronoi
Fundamentos de
Clasificador de mnima distancia
Se calcula el centroide de cada clase. A continuacin se

le asigna, al patrn a clasificar, la clase cuyo centroide
es ms prximo.
Ventajas:
Ventajas x2
Respeto al 1-NN es
menos sensbile a outliers
Desventajas:
Desventajas
Si los puntos estn muy
dispersos el centroide es
poco significativo
x1
Fundamentos de
8
Distancia
Dado un espacio de M dimensiones, se denomina

distancia una funcin d que, dados tres puntos
cualesquiera a, b y c; satisfaga las siguientes relaciones:
d(a,b) 0 (no
no negatividad);
negatividad
si a = b , entonces d(a,b) = 0 (reflexividad
reflexividad);
reflexividad
si d(a,b) = 0, entonces a = b (identidad
identidad de los
indiscernibles);
indiscernibles
d(a,b) = d(b,a) (simetr
simetr
simetra);
d(a,b) + d(b,c) d(b,c) (desigualdad
desigualdad triangular)
triangular
Fundamentos de
Distancias ms utilizadas
f2 Distancia eucl EU = c
eucldea (EU
EU) 1
c
r a MA = a+b
Distancia de Manhattan (MA
MA)
b 2

s
CH = max(a,b)
Distancia de Chebychev (CH
CH) 3
f1
Distancia eucl
eucldea Distancia correlac
correlacin (CR
CR)
CR Distancia coseno (CO
CO)
CO
estndar (ES
ES)
ES = [1cos()]/2
p
2 (x ri r )(x si s )

p
x ri x si

p x ri x si rs = 1 i =1
rs = p p rs = 1 i =1
/2
i =1 i (x ri r ) (x si
2
s )2
p
2
p
2
i =1 i =1 x ri x ri
4 5 6 i =1 i =1
Fundamentos de
9
Cmo se puede estimar la bondad de
un clasificador ?
La idea bsica es la siguiente:
1. Se parte de un conjunto de patrones de clase
conocida;
2. se divide el conjunto en dos subconjuntos: uno para
el aprendizaje (training
training set)
set y el otro para la
clasificacin (validation
validation set);
set
3. se lleva a cabo la clasificacin;
4. se calcula la tasa de acierto:
nc
t =
nv
siendo nc el nmero de los ejemplos del grupo de test
que se han clasificado correctamente, nv el nmero total
de ejemplos del validation set.
Fundamentos de
Mtodo split sample
Los patrones se dividen aleatoriamente en el training set

y el validation set (se trata de un mtodo de estimacin
aleatorio).
aleatorio La divisin se puede hacer de dos formas:
a) garantizando que la proporcin de ejemplos de cada clase sea la
misma en los dos subconjuntos (y que coincida con la proporcin de
ejemplos de cada clase en la totalidad de los datos) stratified
sampling;
sampling
b) sin garantizar dicha proporcin (full

full sampling)
sampling
x2 x2
Stratified sampling
Full sampling
x 1 x1
Fundamentos de
10
Mtodo leave-one-out cross validation
Del conjunto de patrones completo se saca un slo

patrn a la vez. Este patrn va a formar el validation set.
El proceso se repite un nmero de veces igual al nmero
de patrones.
1 2
x2 x2
Repetir
18 veces
x1 x1
Se trata de un mtodo determinista:
determinista a partir de los
ejemplos disponibles siempre se obtiene la misma
estimacin del error.
Fundamentos de
Bibliografa
1. R.O. Duda, P.E. Hart, D.G. Stork; Pattern

Classification. Second Edition. John Wiley and Sons,
2001
2. C.M. Bishop; Pattern Recognition and Machine
Learning; Springer, 2006
Fundamentos de
11
Presentacin
Representacin y anlisis del color
Francesco Bianconi
(ITALIA)
Representacin y anlisis del

color
El ojo humano

color
1
La retina
La parte sensible del ojo es la retina. sta se puede

considerar un detector de energa.

color
Sensibilidad del sistema visual
En la retina hay dos tipos de fotorreceptores: conos y

bastones.
bastones
Nivel de iluminacin escotpico
(< 10-3 cd/m2 ): funcionan slo
los bastones
Nivel de iluminacin fotpico
otpico
(> 1 cd/m2 ): los bastones
estn saturados y funcionan
slo los conos
Nivel de iluminacin mespico:
funcionan ambos

color
2
Visin escotpica
En condiciones escotpicas funcionan slo los bastones.

Los bastones no son sensibles al color.
color
Slo se pueden percibir cambios de intensidad.

color
Visin escotpica: tipos de conos
En condiciones fotpicas dominan los conos. Estos son

reponsables de la percepcin del color. Existen tres tipos
de conos, sensibles a diferentes longitudes de onda.
Rojo Azul Verde

color
3
Sensibilidad de los conos
En la grfica se muestra la sensibilidad de los tres tipos

de conos. Los picos se localizan en 430 nm, 560 nm y
610 nm.

color
Estmulo visual
Cuntos parametros precisamos para describir, de

manera unvoca, un estmulo visual aislado?
Visin escotpica Visin fotpica

1 parmetro 3 parmetros
Visin univariante Visin trivariante

color
4
Cmo veramos si tuvisemos slo dos
tipos de conos?
Visin bivariante Visin trivariante
La mayora de los mamferos tiene tan slo dos tipos de

conos. Por lo tanto su sistema de visin es bivariante.
Los seres humanos y otros primates tienen visin
trivariante. Se supone que la trivarianza puede haber
proporcionado una ventaja en el proceso de evolucin
(e.g.: capacidad de reconocer fruta madura).
madura
No se sabe si existen especies con visin tetravariante.
color
Leyes de Grassmann
1) Todo color se puede reproducir a travs de la mezcla

de tres colores (colores primarios), siempre y cuando
ninguno de ellos se pueda obtener a partir de los
otros dos (principio
principio de la trivarianza visual);
visual
2) el resultado de una mezcla de luces coloreadas no
depende de la composicin espectral sino slo de la
caracterizacin psicofsica;
3) si el componente de una mezcla cambia, el color de
la mezcla cambia de manera correspondiente

color
5
Metamerismo
La segunda ley de Grasmman est relacionada con el

siguiente fenmeno:
dos fuentes de luz con diferente distribucin espectral
pueden engendrar el mismo estmulo de color.
Esto se conoce como metamerismo.
metamerismo

color
Representacin numrica del color
Cmo se puede medir el color ?

1) Se escoge una terna de colores primarios cuyos
espectros sean conocidos;
2) se determina la cantidad de cada color primario
necesaria a reproducir el color a medir
C = k1C 1 + k2C 2 + k3C 3

Siendo:
C el color a medir;
Ci los colores primarios;
ki las cantidades de cada color primario
Cada color est representado por la terna (k1, k2, k3)

color
6
Espacio de color CIE-RGB (1931)
En este espacio se adoptan colores primarios rojo, verde

y azul:
blanco
= 700 nm = 546.1 nm = 435.8 nm equienergtico
+ + =
Y WR = 1 Y WV = 4.5907 Y WA = 0.0601 Y W= 5.6508
cd/m2
Donde es la longitud de onda, Y la luminancia.

Ahora pues, cada color se puede representar a travs de
las unidades de luminancia que necesitamos para
reproducirlo (valores triestmulo):
YR Y Y
Rc = ;Vc = V ; Ac = A C = Rc R +VcV + Ac A
YWR YWV YWA

color
Color a partir del espectro
Resultara trabajoso determinar los valores tricromticos

de un estmulo luminoso a travs del proceso de
igualacin que acabamos de describir.
Podemos calcular el color directamente del espectro ?
Supongamos que para cada color espectral (longitud de
onda , energa Eo) se hayan determinado previamente
los valores triestmulo r, g, b.
Ahora pues, dado un color espectral de longitud de onda
, energa E, resultara:
R = E r ;G = E g ;B = B r
Mientras que para un color genrico tendramos:
n n n
R = E i ri ;G = E i g i ;B = E i b i
i =1 i =1 i =1
color
7
Funciones de igualacin RGB
En efecto los valores triestmulo de cada color espectral

se han determinado experimentalmente. Al conjunto de
estos valores se le denomina funciones de igualacin.
1,2
1,0
0,8
Valor triestmulo
0,6
0,4
0,2
0,0
400 450 500 550 600 650 700
-0,2
-0,4
Longitud de onda (nm)
Funciones de igualacin rgb
Problema: no todos los colores resultan definidos a

travs de cantidades positivas.
color
Funciones de igualacin XYZ
Las funciones de igualacin XYZ han sido determinadas

de manera que cada color se puede representar por tres
valores triestmulo positivos.
positivos
Funciones de igualacin xyz

color
8
Espacio de color CIE-XYZ
Las funciones de igualacin que acabamos de ver

definen el espacio CIE-XYZ, en que cada color se
representa a travs de las coordenadas X, Y, Z.
Si normalizamos los valores:

X
x =
X +Y + Z
Y
y =
X +Y + Z
z = 1 x y
Cada color se puede ahora
representar mediante un
punto en un plano (diagrama
de cromaticidad) Diagrama de cromaticidad xy

color
Espacio de color CIE-Luv
El espacio CIE-XYZ no es perceptualmente uniforme,

uniforme es
decir: diferencias iguales (percibidas) entre colores no
corresponden a distancias iguales en el espacio.
Para obviar este problema

se han creado espacios
perceptualmente
uniformes,
uniformes como el CIE-
Luv y el CIE-Lab
Diagrama de cromaticidad uv

color
9
Espacios de color dependientes e
independientes del dispositivo
Los espacios de color que acabamos de ver son
independientes del dispositivo (espacios colorimtricos).
Es decir: los valores triestmulo de un color no dependen
del dispositivo con que se han adquirido.
En cambio, en los espacios dependientes del dispositivo
los valores triestmulo de un color dependen del
dispositivo con que se han adquirido.
Espacios independientes del Espacios dependientes del

dispositivo dispositivo
CIE-RGB RGB
CIE_XYZ HSV
CIE-Luv YIQ
CIE-Lab ...
...

color
Espacio RGB
Cada color se representa a travs de la intensidad del

rojo, del verde y el azul.
Dichos valores son la
respuesta en los canales R,
G y B proporcionada por el
dispositivo de adquisicin,
que depende de su
sensibilidad espectral (por
lo tanto los valores
dependen del dispositivo
utilizado).
Es el espacio ms utilizado en dispositivos comerciales
(cmaras digitales). Es un espacio perceptualmente no
uniforme.
uniforme

color
10
Espacio HSV
Se obtiene a partir del espacio RGB por medio de una

transformacin.
H = hue (tonalidad). Se
representa como un ngulo.
A cada valor corresponde una
tonalidad de color (verde,
rojo, etc.)
S = saturation (saturacin).
Indica la pureza del color.
Cuanto menos sea la
saturacin, ms decoloreado
el color.
V = value (intensidad). Indica
la posicin del color en el eje
blanco-negro.
El HSV es un espacio aproximadamente uniforme.

uniforme

color
Qu es el color de un material ?
Ahora preguntmonos lo sigiuente: Qu es el color de

un material ?
El color no es un caracterstica de un material, sino de
un estmulo luminoso.
luminoso
Cuando hablamos de color de un material por lo tanto
nos referimos al estmulo de color que genera un
material bajo ciertas condiciones de iluminacin.
iluminacin
Fuente de luz Receptor
Material

color
11
Iluminantes estndares
No tiene sentido por lo tanto decir: este material tiene

un color (Xc, Yc, Zc) en el espacio CIE-XYZ. Slo podemos
decir: este material tiene un color (Xc, Yc, Zc) en el
espacio CIE-XYZ bajo un iluminante de cierto tipo.
tipo
Iluminante E. Equienergtico. Iluminante A. Simula la luz de una

bombilla.
Iluminante D50.
D50 Simula la luz de Iluminante D65.
D65 Simula la luz de
un da despejado. un da nublado.

color
Cmo se mide el color de un material ?
Necesitamos un colormetro o un espectrofotmetro.

espectrofotmetro Se
trata de instrumentos que tienen iluminacin propia
(iluminantes estndares) y que analizan la luz reflejada
por el material.
Colormetro / Colormetro
espectrofotmetro
Estos instrumentos proporcionan una respuesta en un

espacio independiente del dispositivo.
color
12
Qu informacin podemos sacar con
una cmara digital ?
Una cmara digital proporciona informaciones en un
espacio dependiente del dispositivo (tpicamente RGB).
RA,GA,BA
Cmara A
RB,GB,BB
Cmara B
Material
Estos instrumentos proporcionan una respuesta en un

espacio dependiente del dispositivo.
dispositivo Al cambiar
instrumento cambia la respuesta.
Para obtener resultados independientes del dispositivo
se debe hacer una calibracin colorimtrica.
colorimtrica
color
Descripcin del contenido de color de

una imagen
Cualquiera que sea el espacio de color utilizado, a la
hora de caracterizar la apariencia visual, precisamos un
conjunto de parmetros que describa el contenido de
color de una imagen.
3D
Histogramas
Marginales
Descriptores
basados en el
color
Y
Descriptores estadsticos Percentiles
Momentos
Soft colour descriptors

color
13
Histograma de color
1. Se divide el espacio de color en un determinado

numero de celdas (cuantizacin);
2. se estima la distribucin de probabilidad del color en
cada celda
Imagen en colores Histograma de color en el

espacio RGB

color
Histogramas marginales
Se calcula el histograma separadamente para cada canal.

Teoricamente es correcto slo si los canales son
independientes.
Histograma
del canal R
Histograma
del canal G
Imagen en colores Histograma del

canal B
Histogramas marginales en el
espacio RGB
color
14
Descriptores estadsticos: media y
desviacin tpica
Son los descriptores estadsticos ms sencillos. Se
calcula el promedio y la desviacin tpica en cada canal.
R , R
G , G
B , B
Imagen en colores
Ventaja: calculo rpido. Se utilizan en el grading on-

line de baldosas en cermica.

color
Descriptores estadsticos: percentiles
El percentil es un valor que divide una distribucin en

partes de frecuencia asignada. Por ejemplo el percentil
del 25 % (p25%) corta la distribucin en dos partes tales
que el 25 % de la poblacin tiene un valor menor de p25%,
mientras que el otro 75 % lo tiene mayor.
Percentiles del
canal R
Percentiles del
canal G
Percentiles del
Imagen en colores canal B

color
15
Descriptores estadsticos: momentos
Los momentos muestrales centrados se utilizan para

describir la poblacin estadstica de cada canal de color.
El momento muestral centrado de orden k es:
1 n
(x i x )
k
mk =
n i =1
El momento de orden 2 es la varianza.

Para cada canal del espacio de color utilizado se calculan
momentos de diferente orden (tpicamente de 2 a 5).

color
Ventajas y deventajas de los mtodos

basados en el color
Ventajas
Invariantes a rotacin y a cambio de
escala;
tiempo de cmputo moderado
Desventajas
Muy sensibles a cambios de
iluminacin;
sensibles a cambios de sistemas de
adquisicin (en el caso de espacios
dependientes del dispositivo)

color
16
Bibliografa
1. P. Capilla, J.M. Artigas and J. Pujol; Fundamentos de

colorimetra, Publicacions de la Universitat de
Valencia, 2002
2. G. Wyszecki & W.S. Stiles; Color Science. Concepts
and Methods, Quantitative Data and Formula. Second
Edition. John Wiley & Sons, 1982
3. H.R. Kang; Computational Color Technology. Spie
Press, 2006

color
17
Presentacin
Representacin y anlisis de la
textura
Francesco Bianconi
(ITALIA)
textura
Qu es una textura ?
Resulta difcil dar una definicin de textura.

Texture has been extremely refractory to precise
definition (Haralick et al., 1973)
The difficult in giving a definition of texture is the
extremely large number of attributes of texture that we
would like to subsume under a definition (Cross and
Jain, 1983)
Texture, despite eluding formal definition, has found
many applications in computer vision (Jain and Karu,
1996)
textura
1
Propiedad de una textura
Resulta ms sencillo caracterizar el concepto de textura

de manera indirecta.
1. Puede verse como un patrn visual
caracterizado por una distribucin
estructural
2. est relacionado con la variacin
espacial de la intensidad de los
pxeles
3. desempea un papel importante en la
percepcin visual humana
textura
Problemas relacionados con la textura
Clasificacin
Segmentacin
Sntesis
Forma a partir de la textura (shape
from texture)
datos (CBIR)
textura
2
Forma a partir de la textura
Consiste en estimar la forma tridimensional a partir de la

distorsin que sufren las caractersticas de textura
debidas a la orientacin y la forma de la superficie.
Se trata de tcnicas que entraan una notable dificultad.
textura
Sntesis
Obtener un textura de uniforme apariencia visual a partir

de una muestra.
Aplicacin en computer graphics y en compresin de
imgenes digitales.
Muestra
Textura obtenida por sntesis

Es ms complicado que la clasificacin y la
segmentacin, pues requiere una descripcin ms
detallada de la textura.
textura
3
Propiedades de las texturas
La textura:
es una propiedad de reas (un slo
punto no define una textura)
est relacionada con la distribucin
espacial de los niveles de gris
depende de la escala;
escala
Est formada por un elevado

nmero de patrones elementales
textura
Mtodos para la caracterizacin de

texturas
Se suelen clasificar en cuatro grupos: estadsticos,
estadsticos
basados en modelo,
modelo basados en anlisis de la seal y
geomtricos
Mtodos estadsticos Mtodos basados en

anlisis de seales
Describen la textura a
travs de parmetros Se basan en la respuesta
estadsticos. de filtros digitales.
Mtodos basados en Mtodos geomtricos

modelo
Describen la textura a
Describen la textura a travs de primitivas
travs de los parmetros geomtricas.
de un modelo matemtico
establecido previamente.
textura
4
Mtodos estadsticos
Debido a que una caracterstica bsica de la textura es la

distribucin espacial de niveles de gris, tiene sentido el
uso de mtodos estadsticos.
Matrices de co-
co-
occurrencia
Mtodos estadsticos
Autocorrelacin
textura
Autocorrelacin / 1
La funcin autocorrelacin de una imagen proporciona

informaciones sobre la regularidad de la textura as
como su granulacin.
granulacin
N M
I (x ,y )I (x + u ,y + v )
(u ,v ) = x =1y =1 N M
I (x ,y )
2
x =1y =1
siendo MxN el tamao de la imagen. Por lo general la

funcin autocorrelacin se calcula despus de haberle
restado el valor promedio a la imagen original:
1 N M
I =I I (x ,y )
NM x =1y =1
donde I es la imagen original.
textura
5
Autocorrelacin / 2
Imagen original Superficie autocorrelacin
Autocorrelacin en x Autocorrelacin en y
textura
Autocorrelacin / 3
La funcin autocorrelacin es algo complicada. Cmo

podemos extraer parmetros caractersticos de la
textura ?
Se aproxima la parte central de
la superficie autocorrelacin
con un polinomio (paraboloide)
(x ,y ) = Ax 2 + By 2 + Cxy + Dx + Fy + G
Parmetros caractersticos
textura
6
Matrices de co-ocurrencia / 1
Probabilidad que pxeles desplazados por un vector d

tengan ciertos valores de intensidad.
Columna n
dy
d
Fila m
dx
En frmulas:
Pr ob{[I (m ,n ) = i ] | [I (m + d x ,n + d y ) = j ]}
textura
Supongamos por ejemplo que d = (0,1). La matriz de

co-ocurrencia en este caso proporciona la probabilidad
que si un pixel tiene intensidad i, el pixel a la derecha
tiene intensidad j.
50
100
150
200
250
50 100 150 200 250
Imagen original Matriz de co-

occurrencia
textura
7
Aqu vemos las matrices de co-ocurrencia calculadas

con diferentes vectores de desplazamiento.
50 50
100 100
150 150
200 200
250 250
50 100 150 200 250 50 100 150 200 250
d = (5,0) d = (30,0)
Se puede apreciar que cuando mayor es el mdulo del

vector desplazamiento, mayor es la dispersin de la
matriz de co-ocurrencia.
textura
Cmo podemos extraer parmetros caractersticos a

partir de las matrices de co-ocurrencia ?
G 1 G 1
Energa = p (m ,n )2
m =0 n =0
G 1 G 1
Entropa = p (m ,n )log[p (m ,n )]
m =0 n =0
1 G 1 G 1
Contraste = m ( n ) p (m ,n )
2
(G 1) 2 m =0 n =0
G 1 G 1 p (m ,n )
Homogeneidad =
m =0 n =0 1+ m n
Siendo G el nmero de niveles de gris de la imagen (por

lo general G = 256).
256
textura
8
En resumen:
1) Se establece un conjunto de vectores de
desplazamiento (vectores cortos = micro-textura;
vectores largos = macro-textura);
2) Se calcula la matriz de co-ocurrencia de cada vector
de desplazamiento;
3) Se establece un conjunto de caractersticas a extraer
de cada matriz de co-ocurrencia;
4) Se extraen las caractersticas de cada matriz.
textura
Mtodos basados en anlisis de seales
Resultados experimentales han evidenciado que en el

cerebro se realiza un anlisis tiempo-frecuencia de las
seales visuales. Sobre esta base tiene sentido
caracterizar texturas a travs del anlisis de seales.
Filtros de Gabor
Mtodos basados en
anlisis de seales
Wavelets
textura
9
Filtros de Gabor / 1
Un filtro de Gabor (unidimensional) es una funcin

armnica modulada por una gausiana.
1/
1/
Dominio del tiempo Dominio de la

(espacio) frecuencia
textura
Filtros de Gabor en dos dimensiones.

1/
1/F

1/
1/ 1/
1/F
F

Dominio del espacio Dominio de la frecuencia
textura
10
Caractersticas peculiares de los

filtros de Gabor
Aspecto matemtico Aspecto fisiolgico
ptima resolucin cruzada Capacidad de modelar la

espacio/frecuencia. respuesta de algunos tipos de
clulas encargadas de elaborar
las seales visuales en los
mamferos.
textura
Transformada de Gabor.
Imagen I(a,b) Filtro G (x,y)
Convolucin
Matriz de nmeros complejos
Re Im Mdulo
Matriz de nmeros reales

Vector de las
Clculo de los parmetros caractersticos caractersticas
Abs (features)
Valor promedio Desviacin tpica
textura
11
Cada imagen se suele procesar con un conjunto de

filtros en diferentes frecuencias e inclinaciones (banco
banco
de filtros).
filtros
Nmero de frecuencias nF = 6
Nmero de inclinaciones n = 6
Ejemplo de banco de filtros en Vector de las

el dominio de la frecuencia caractersticas
(features)
Vector de caractersticas:
{
V = 11, 11,..., 1n , 1n ,..., nF n , nF n }
textura
Wavelets / 1
El anlisis wavelet se realiza a travs de pares de filtros

paso-alto y paso-bajo.
Filtros tipo Haar (en frecuencia)

1.5 1.5
Respuesta del filtro
Respuesta del filtro
1 1
0.5 0.5
0 0
1 1. 1 1.2 1. 3 1.4 1. 5 1.6 1. 7 1.8 1. 9 2 1 1. 1 1.2 1. 3 1.4 1. 5 1.6 1. 7 1.8 1. 9 2
Frecuencia Frecuencia
Filtro paso-bajo Filtro paso-alto
textura
12
Wavelets / 2
Idea bsica: dividir de manera recursiva el espacio de la

frecuencia en regiones y evaluar la energa en cada
regin.
Subdivisin uniforme: packet wavelet analysis.
uy uy
E4 E3
high_y / high_y /
low_x high_x
low_y / high_x /
low_x low_y
ux ux
E1 E2
Vector de caractersticas: V = {E 1,...E n }

textura
Wavelets / 3
La subdivisin del dominio de la frecuencia se puede

tambin hacer de manera no uniforme.
Subdivisin no uniforme: tree wavelet analysis.

uy uy
ux ux
textura
13
Wavelets / 4
Cmo se hace, en la prctica, esta subdivisin ?

columnas
filas Filtro_PA 12 Lx_Hy
Filtro_PB 21
columnas
Filtro_PB 12 Lx_Ly
I
columnas
Filtro_PA 12 Hx_Hy
filas
Filtro_PA 21 columnas
Filtro_PB 12 Hx_Ly
Siendo:
= convolucin 21 = diezmado por columnas
12 = diezmado por filas
textura
Wavelets / 5
Existen muchos tipos de filtros para el anlisis wavelet.
1.5 1.5
Daubechies / 5
Filtros tipo
1 1
0.5 0.5
0 0
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6

1.5
1.5
Filtros tipo
coiflet / 1
1
1
0.5
0.5
0
1 1.5 2 2.5 3 3.5 4 0
1 1.5 2 2.5 3 3.5 4
textura
14
Wavelets / 6
Ejemplo de descomposicin. Filtros tipo Haar, 1 nivel.

uy
ux
textura
Mtodos basados en modelo
Estn basados en modelos matemticos (funciones

paramtricas) que describen la relacin entre el valor de
un pxel y el de los pxeles prximos. Las funciones del
modelo se establecen a priori. Los parmetros dependen
de la textura a analizar.
Modelos autoregresivos
Mtodos basados en
modelo
Campos aleatorios de
Markov
textura
15
Modelos autoregresivos / 1
Idea bsica: describir la relacin entre un pxel y los

pxeles prximos.
v1 v2 v3
v4 vp v5
v6 v7 v8
Por ejemplo:
v p = a1v 1 + a2v 2 + a3v 3 + a4v 4 + a5v 5 + a6v 6 + a7v 7 + a8v 8 + +
textura
Generalicemos: la textura se describe a travs de los

coeficientes de una funcin polinomial
vp = aqv q +a0 +
q W
siendo:
Vp: valor del pxel p;
Vq: valor del pxel q que pertenece al
conjunto W:
W: vecindario de pxeles alrededor de p;
a0: valor medio de la imagen;
: ruido gaussiano de media nula y varianza
2
textura
16
Significado de los parmetros del modelo autoregresivo:

aq: caracterizan la direccionalidad de la textura;
: caracteriza la granularidad de la textura
textura
Cmo se determinan los parmetros ? Si desplazamos

la ventana W a lo largo de la imagen por k posiciones
obtenemos un conjunto de ecuaciones (una por cada
posicin):
v p 1 = aq1v q 1 + a0 + 1
q W
Vp = Vq A + E
...
v = a v + a0 + k
pk q W qk qk
El mtodo
cuadrados
de mnimos
proporciona la (
= VqT Vq
A )1 T
Vq Vp
solucin del sistema
v p1 1 v 11 ... v q1 a0 1

Vp = ... Vq = 1 ... ... ... A = ... E = ...
v a
pk 1 v 1k ... v qk q k
textura
17
Campos aleatorios de Markov / 1
La textura se describe a travs de un campo aleatorio

bidimensional que tiene las siguientes caractersticas:
1) P (V ) > 0 V
(
2) P (v i v k ,k i ) = P v i v j , j W ) vk
( )
3) P v i v j , j W es invariante
a traslacin vi
Siendo:
vj
V el conjunto las posibles
coloraciones de la imagen
(espacio de configuraciones);
W
vi el valor del pxel i.
A una distribucin de probabilidad P(V) que satisfaga las
condiciones 1), 2) y 3) se le denomina campo aleatorio
de Markov
textura
Hay varias funciones de distribucin de probabilidad P(X)

que se pueden utilizar para definir los campos aleatorios
de Markov. Es muy utilizada la funcin binomial:
G e ks Siendo:
P (v i |v W ) =
n (1+ e s )
G
vW la intensidad de los pxeles
del vecindario W;
G el nmero de niveles de gris
de la imagen
s un parmetro que depende
de la intensidad de los pxeles
del vecindario W
n el nmero de pxeles del
vecindario W
textura
18
Segn el tipo de vecindario W, se obtienen distintos

modelos de Markov.
v4
V1 vi v3 s = a1(v 1 + v 3 ) + a2 (v 2 + v 4 )
v2
v1 v8 v7
s = a1(v 2 + v 6 ) + a2 (v 4 + v 8 ) +
v2 vi v6
a3 (v 1 + v 5 ) + a4 (v 3 + v 7 )
v3 v4 v5
Los parmetros ai se denominan parparmetros de Markov,

Markov
y son los que caracterizan la textura.
textura
Cmo se pueden estimar los parmetros de Markov ?

Volvamos a escribir la funcin densidad de probabilidad
del campo de Markov as: W1
P (v i |v W ;a1,...an )
Imaginemos ahora que vi1

tenemos M observaciones
independientes:
(vi 1,vW 1)
...
(viM ,vWM )
viM
WM
textura
19
Se busca la combinacin de parmetros del modelo

(a1,...,an) que maximice la probabilidad de que el modelo
proporcione la misma distribucin observada.
Entonces, maximizando la probabilidad conjunta por
cada observacion k obtenemos:
argmax M
(a1,...,an ) = P (v |v ;a ,...a )
(a1,...,an )k=1 ik Wk 1 n
Este mtodo se conoce como criterio de m

mxima
probabilidad.
probabilidad
textura
Mtodos geomtricos
La idea bsica es que la textura pueda caracterizarse

por:
-un conjunto de estructuras geomtricas elementales;
elementales
-la distribucin estadstica de dichas estructuras
Por lo tanto los mtodos geomtricos siempre entraan
alguna descripcin de tipo estadstico.
Local Binary Patterns

(LBP)
Coordinated Clusters
Mtodos geomtricos
Representation (CCR)
Ranklets
textura
20
Coordinated Clusters Representation / 1
La CCR es un mtodo para caracterizar texturas binarias.

Est basado en el estudio de la frecuencia con que
aparecen los posibles patrones binarios definidos por
una ventana 3x3.
textura
Quedan definidos 512 (= 29) posibles patrones

elementales. A cada patrn se le puede asignar un
cdigo unvoco.
256 128 64
b1,1 b1,2 b1,3
(28) (27) (26)
[
32 16 8
b2,1 b2,2 b2,3 .* (25) (24) (23) ]
4 2 1
b3,1 b3,2 b3,3
(22) (21) (20)
Patrn Cdigo binario BCD
5
000000101
(22+20)
97
001100001
(26+25+20)
textura
21
La textura binaria se caracteriza por el nmero de veces

que cada patrn aparece en la imagen (histograma de
patrones binarios).
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
0 100 200 300 400 511
Textura binaria Histograma de patrones CCR
textura
Cmo se puede aplicar el mtodo en texturas que no

sean binarias ?.
0.4
Histograma CCR
0.35
Imagen RGB
0.3
0.25
0.2
0.15
0.1
0.05
0
0 50 100 200 300 400 511
escala de gris
Imagen en
binarizada
Imagen
textura
22
El valor del umbral de binarizacin afecta los resultados

del mtodo.
50 60 80
textura
Cmo se escoge un umbral de binarizacin adecuado ?

Existen muchas tcnicas. La mayora se basa en el
estudio del histograma de niveles de gris:
-mtodos basados en la forma del histograma;
-mtodos basados en tcnicas de clustering;
-mtodos basados en la entropa
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 50 100 150 200 255
Imagen en escala de gris Histograma de niveles de gris

textura
23
Local Binary Patterns / 1
Tcnica parecida a la CCR, pero el umbral de

binarizacin es local (valor del pxel central de la
ventana 3x3).
textura
Quedan definidos 256 (= 28) posibles patrones

elementales. A cada patrn se le puede asignar un
cdigo unvoco.
128 64 32
b1,1 b1,2 b1,3
(27) (26) (25)
[
16 8
b2,1 b2,3 .* (24) (23) ]
4 2 1
b3,1 b3,2 b3,3
(22) (21) (20)
Patrn Cdigo binario BCD
13
00001101
(23+22+20)
96
01100011
(26+25+20)
textura
24
La textura se caracteriza por el nmero de veces en que

cada patrn aparece en la imagen (histograma de
patrones binarios).
0.12
0.1
0.08
0.06
0.04
0.02
0
0 50 100 150 200 250
Imagen en escala de gris Histograma de patrones LBP
textura
Diferencias entre LBP y CCR
CCR LBP
Dimensin
512 256
del espacio
Global (a nivel Local (a nivel

Binarizacin
de imagen) de ventana)
Fijo (igual para Variable
Umbral toda la (depende de la
imagen) ventana)
textura
25
Ranklets / 1
Los ranklets son un mtodo no parmetrico para

caracterizar texturas. Al igual que la LBP y la CCR estn
basados en una ventana que se desplaza a lo largo de la
imagen.
20 45 12 110
Valores (escala
Idea bsica:
de gris)
14 80 130 205
1) dividir la ventana en dos
subconjuntos (ejemplo: rojo y 23 30 190 135
azul);
230 210 34 81
2) ordenar todos los pxeles de
la ventana por valor (ranking) 14 10 16 7
3) Calcular la diferencia de
Ranking
15 9 6 3
ranking entre los dos
subconjuntos 13 12 4 5
4) Normalizar el valor (R) entre 1 2 11 8
0y1
textura
Ranklets / 2
Qu significado tienen los ranklets ?
Consideremos la ventana a la derecha.

Si todos lo pxeles del subconjunto
rojo tienen un valor mayor que los
pxeles del subconjunto azul significa
que hemos detectado una lnea
vertical En este caso R = 1.
vertical.
Al contrario si R = 0 quiere decir que
no hay diferencia significativa entre la
parte derecha y la parte izquierda.
textura
26
Ranklets / 3
En la versin bsica se utilizan los siguientes

subconjuntos:
Deteccin de lneas Deteccin de lneas Deteccin de

verticales horizontales interseccin de lneas
R = 1 linea vertical R = 1 linea horizontal R = 1 interseccin

detectada; detectada; detectada;
R = 0 linea vertical R = 0 linea horizontal R = 0 interseccin no
no detectada; no detectada; detectada;
textura
Ranklets / 4
Al igual que la CCR y la LBP se hace un barrido de la

imagen y se evala el valor de R para cada posicin de la
ventana. En este caso la ventana debe contener un
nmero par de pxeles.
R1
Ri
Rk
R , R
textura
27
Bibliografa
1. M. Petrou and P. Garca Sevilla. Image Processing.

Dealing with Texture. John Wiley & Sons, 2006
2. M . Tuceryan and A.K. Jain. Texture Analysis. In The
Handbook of Pattern Recognition and Computer
Vision (2nd edition). C.H. Chen, L.F. Pau and P.S.P.
Wang editors. Word Scientific Publishing, 1998.
3. M. Mirmehdi, X. Xie and J. Suri eds. Handbook of
Texture Analysis. Imperial College Press, 2008
textura
28

Fundamentos de Reconocimiento de Patrones

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Fundamentos de Reconocimiento de Patrones

Transféré par

Droits d'auteur :

Formats disponibles

Presentacin del seminario

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 1

Informacin sobre el docente

Tel.: +39 075 585 3706

rea de docencia: expresin grfica

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 2

Fundamentos de reconocimiento de patrones

Representacin y anlisis de la textura

Representacin y anlisis del color

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 3

A qu sirve todo esto ?

Existen muchas aplicaciones. Entre ellas destacan las

Clasificacin (de imgenes)

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 4

Consiste en asignar a una imagen una etiqueta de clase

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 5

La clasificacin puede ser de dos tipos:

Clasificacin monoclase Clasificacin multiclase

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 6

Consiste en dividir una determinada imagen en reas o

Imagen area Campo

Zona residencial Vegetacin

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 7

Para evaluar los diferentes algoritmos de segmentacin,

A continuacin se comparan las regiones en que resulta

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 8

Francesco Bianconi Introduccin Doctorado en Tecnologa Medioambiental 9

Existen varias definiciones:

Elementos bsicos de un sistema de

Supongamos ahora que ya se conocen los parmetros

Segn la teora de la decisin Bayesiana el problema de

p(x |j): probabilidad

P(j): probabilidad a priori

Regla de decisin Bayesiana

La regla de Bayes nos dice que la probabilidad a

El problema de la clasificacin se reduce a conocer las

Dependiendo del mtodo que se utilice para estimar las

En el caso general habr que clasificar entre N clases a

Por lo general se conocen las probabilidades a priori

En este caso necesitamos estimar, para cada clase, el

En la prctica resulta muy difcil estimar todos los

A partir de la regla de bayes se determinan los valores

Clasificadores basados en distancias

Entre los mtodos no paramtricos destacan los basados

Es uno de los clasificadores ms utilizados por su

Clasificador 1-NN (nearest neighbour)

Es una variante del clasificador k-NN que se obtiene

En el caso bidimensional, el clasificador 1-NN divide el

Clasificador de mnima distancia

Se calcula el centroide de cada clase. A continuacin se

Dado un espacio de M dimensiones, se denomina

Mtodo split sample

Los patrones se dividen aleatoriamente en el training set

b) sin garantizar dicha proporcin (full

Del conjunto de patrones completo se saca un slo

1. R.O. Duda, P.E. Hart, D.G. Stork; Pattern

Representacin y anlisis del color

Representacin y anlisis del

Representacin y anlisis del

La parte sensible del ojo es la retina. sta se puede

Representacin y anlisis del

Sensibilidad del sistema visual

En la retina hay dos tipos de fotorreceptores: conos y

Representacin y anlisis del