Introduccin

Over recent years flexible models have become increasingly important for the interpretation of images in
computer vision. En los ltimos aos modelos flexibles se han convertido en cada vez ms importante para
la interpretacin de imgenes en visin por computador. They are used to represent both the shape and greylevel appearance of image structures. Se utilizan para representar la forma y nivel de aspecto gris de las
estructuras de la imagen. They can be used to locate examples of structures in new images, to classify
objects found in images and to filter images to pick out interesting features. Se pueden utilizar para localizar
ejemplos de estructuras en las nuevas imgenes, para clasificar los objetos encontrados en las imgenes y
filtrar las imgenes para seleccionar caractersticas interesantes.
We have developed both flexible models of the shape and appearance of variable image structures. We have
also developed search techniques which allow such structures to be located in new images. Hemos
desarrollado dos modelos flexibles de la forma y apariencia de las estructuras de la imagen variable.
Tambin hemos desarrollado las tcnicas de bsqueda que permiten a este tipo de estructuras que se ubicar
en las nuevas imgenes. The models are generated from the statistical analysis of sets of training images,
and can represent a wide variety of classes of object. Los modelos se generan a partir del anlisis estadstico
de series de imgenes de entrenamiento, y puede representar una gran variedad de clases de objeto.
These techniques have been successfully applied to various practical problems such as face recognition,
industrial inspection and medical image analysis. Estas tcnicas se han aplicado con xito a diversos
problemas prcticos tales como el reconocimiento facial, inspeccin industrial y anlisis de imgenes
mdicas.
The EPSRC Fellowship project is devoted to extending the theory of flexible models, to developing new
forms of model and applying the models to new problem areas. La comunidad del proyecto EPSRC se
dedica a la extensin de la teora de modelos flexibles, para el desarrollo de nuevas formas de modelo y la
aplicacin de los modelos a los nuevos problemas.
1) Statistical Shape Models. 1) Forma de modelos estadsticos.
Dado un conjunto de ejemplos de una forma, podemos construir un modelo de forma estadstica. Each shape
in the training set is represented by a set of n labelled landmark points, which must be consistant from one
shape to the next. Cada forma en el conjunto de entrenamiento est representada por un conjunto de puntos
etiquetados hito n, que debe ser consistente de una forma a otra. For instance, on a hand example, the 7th
point may always correspond to the tip of the thumb. Por ejemplo, en un ejemplo a mano, el punto sptimo
siempre corresponden a la punta del pulgar.
Given a set of such labelled training examples, we align them into a common co-ordinate frame using
Procrustes Analysis. Dado un conjunto de tales ejemplos de enseanza identificado, que alinearlos en una
coordenada marco comn con Procrustes Analysis. This translates, rotates and scales each training shape so
as to minimise the sum of squared distances to the mean of the set. Esto se traduce, rota y las escalas de cada
forma de capacitacin a fin de minimizar la suma de los cuadrados de las distancias a la media del conjunto.
Each shape can then be represented by a 2n element vector Cada forma puede ser representada por un vector
elemento 2n
x = (x_1, ... , x_n, y_1, ... , y_n). x = (x_1, ..., x_n, y_1, ..., y_n).
The aligned training set forms a cloud in the 2n dimensional space, and can be considered to be a sample
from a probability density function. El conjunto de entrenamiento alineados forma una nube en el espacio de
dimensin 2n, y puede ser considerado como una muestra de una funcin de densidad de probabilidad.
In the simplest formulation, we approximate the cloud with a gaussian We use Principal Component
Analysis (PCA) to pick out the main axes of the cloud, and model only the first few, which account for the
majority of the variation. En la formulacin ms simple, se aproxima la nube con un gaussiano Utilizamos

Anlisis de Componentes Principales (ACP) para seleccionar los ejes principales de la nube, y el modelo
slo los primeros, que representan la mayora de la variacin.
The shape model is then El modelo de la forma es entonces
x = x_mean + Pb x = x_mean + Pb
where x_mean is the mean of the aligned training examples, P is a 2n xt matrix whose columns are unit
vectors along the principal axes of the cloud, and b is at element vector of shape parameters. donde x_mean
es la media de los ejemplos de formacin alineados, P es un xt 2n de la matriz cuyas columnas son vectores
unitarios a lo largo de los ejes principales de la nube, y b es vector elemento de parmetros de forma.
(This model has been dubbed a "Point Distribution Model" (PDM), but has little to do with the Point
Distribution in statistics) (Este modelo se ha denominado un "punto de distribucin Modelo" (PDM), pero
tiene poco que ver con el punto de distribucin en las estadsticas)
By varying the shape parameters within limits learnt from the training set, we can generate new examples.
Al variar los parmetros de forma dentro de los lmites de aprender el conjunto de entrenamiento, podemos
generar nuevos ejemplos.
Such models are used in the Active Shape Model framework to locate new examples in new images. Estos
modelos se utilizan en la forma activa de modelo marco para localizar nuevos ejemplos de nuevas imgenes.
Hand
Example
Ejemplo
de
la
mano
Consider the outline of a hand, represented by 72 labelled points. Tenga en cuenta el contorno de una mano,
representada por 72 puntos etiquetados.
Here are some examples from a training set: stos son algunos ejemplos de un conjunto de entrenamiento:

By varying the first three parameters of the shape vector, b, one at a time, we can demonstrate some of the
modes of variation allowed by the model: Variando los tres primeros parmetros del vector de la forma, b,
uno a la vez, podemos demostrar algunos de los modos de variacin permitido por el modelo:

(Each row obtained by varying on parameter and fixing others at zero) (Cada fila obtenidos al variar el
parmetro y los dems se fijan en cero)
More Complex Shape Models Modelos ms complejos de forma

In some situations, the gaussian approximation is simplistic, as the pdf for the shapes is significantly nongaussian. En algunas situaciones, la aproximacin gaussiana es simplista, ya que el pdf de las formas es
significativamente no-gaussiano. This can arise if sub-parts of the modelled object rotate, leading to curved
clouds of training points in the shape space. Esto puede surgir si sub-partes del objeto modelado girar, lo que
lleva a las nubes curva de puntos de entrenamiento en el espacio forma.
Several methods have been used to model such clouds. Varios mtodos han sido utilizados para modelar
estas nubes. Polynomial approximations (Sozou et al), neural-net formulations (Sozou et al), and polar coordinates (Heap & Hogg) have all been tried. aproximaciones polinmicas (Sozou et al), red de
formulaciones neural (Sozou et al), y coordenadas polares (Heap y Hogg) han sido juzgados. The most
recent approach is to treat the cloud as a sample from a pdf, use kernel methods to estimate the pdf, and then
to approximate this pdf using a mixture of gaussians. El mtodo ms reciente consiste en tratar la nube como
una muestra de un pdf, utilice los mtodos del ncleo para estimar el pdf, y luego a la aproximacin de este
pdf con una mezcla de gaussianas. The Expectation Maximisation algorithm is used to fit the mixture to the
data. El algoritmo de maximizacin expectativa se utiliza para ajustar la mezcla a los datos. To simplify the
calculations, PCA is used to determine a low dimensional sub-space containing most of the variation, before
the kernel method is applied. Para simplificar los clculos, la ACP se utiliza para determinar la mnima
dimensin sub-espacio que contiene la mayor parte de la variacin, antes de que el mtodo del ncleo se
aplica. In effect, we use the same model as above, but determine stricter limits on the allowed values of the
shape parameters b, modelling their distribution with a mixture of gaussians instead of a single gaussian. En
efecto, se utiliza el mismo modelo que el anterior, sino que determinan lmites ms estrictos a los valores
permitidos de los parmetros b forma, el modelado de su distribucin con una mezcla de gaussianas en lugar
de una sola gaussiana. The allowed values are those for which the pdf is above a threshold, which can be
determined using monte-carlo methods from the mixture Los valores permitidos son aquellos para los que el
pdf est por encima de un umbral, lo cual puede determinarse utilizando mtodos de Monte-Carlo de la
mezcla

2) Active Shape Models. 2) Forma Modelos activo.

Modelos de forma activa son modelos estadsticos de las formas de los objetos que se deforman iterativo
para adaptarse a una muestra de los objetos en una nueva imagen. The shapes are constrained by a Statistical
Shape Model to vary only in ways seen in a training set of labelled examples. Las formas se ven limitadas
por una forma de modelo estadstico que varan en formas visto en un entrenamiento conjunto de ejemplos
etiquetados.
In addition to the shape model, we require models of the image appearance around each model point.
Adems del modelo de la forma, se requieren modelos de la apariencia de la imagen alrededor de cada punto
del modelo. The simplest is to assume the points lie on strong edges. El ms simple es asumir los puntos
fuertes se encuentran en los bordes. More complex models can be built to represent the statistical variation
of the gradient along profiles through the points, normal to the boundary curve at that point. Los modelos
ms complejos pueden ser construidos para representar la variacin estadstica de la pendiente a lo largo de
los perfiles a travs de los puntos, normal a la curva de frontera en ese punto.
We assume we have an initial estimate for the pose and shape parameters (eg the mean shape). Nosotros
asumimos que tenemos una estimacin inicial de la pose y la forma de parmetros (por ejemplo, la forma de
media). This is iteratively updated as follows: Esta es la forma iterativa actualizada de la siguiente manera:

Look along normals through each model point to find the best local match for the model of the image
appearance at that point (eg strongest nearby edge) Mira a lo largo de las normales a travs de cada
punto de modelo para encontrar la mejor opcin local para el modelo de la apariencia de la imagen
en ese momento (por ejemplo, ms fuerte ventaja en las cercanias)

Update the pose and shape parameters to best fit the model instance to the found points Actualizacin
de la pose y la forma de los parmetros para adaptarse mejor a la instancia de modelo a los puntos
que se encuentran

Repeat until convergence Repita hasta que la convergencia

The performance can be significantly improved using a multi-resolution implementation, in which we start
searching on a coarse level of a gaussian image pyramid, and progressively refine. El rendimiento se puede
mejorar significativamente utilizando una aplicacin multi-resolucin, en el que empieza a buscar en un
nivel grueso de una imagen gaussiano pirmide, y perfeccionar progresivamente. This leads to much faster,
more accurate and more robust search. Esto conduce a ms rpido, ms preciso y ms robusto de bsqueda
mucho ms.
Face
Example
Cara
Ejemplo
Example of a multi-resolution search (displayed at highest resolution): Ejemplo de una resolucin de la
bsqueda de mltiples (que aparecen en la resolucin ms alta):

Initial Pose Postura After

5
iterations Convergence
inicial
Despus de 5 iteraciones Convergencia

3) Combined Appearance Models. 3) Aspecto modelos combinados.

Podemos modelar el cambio de forma de un objeto utilizando un modelo estadstico de forma. . We can use
a similar statistical model to represent the intensity variation across a region. Podemos utilizar un modelo
estadstico similar para representar la variacin de la intensidad a travs de una regin. Given a set of
training images, labelled with landmark points, we can use image warping to deform each image so that the
object has the mean shape, then build a statistical model of the grey-levels across the object. Dado un
conjunto de imgenes de entrenamiento, marcado con puntos de referencia, podemos usar la imagen de
deformacin para deformar cada imagen para que el objeto tiene la forma de decir, a continuacin, construir
un modelo estadstico de los niveles de gris a travs del objeto.
We can then use the shape and grey-level parameters to synthise new examples. A continuacin, puede
utilizar la forma y el nivel de los parmetros de color gris a synthise nuevos ejemplos. Given a set of greylevel parameters, we generate the grey-level image with a mean shape. Dado un conjunto de parmetros de
nivel de gris, que generan la imagen a nivel de gris con una forma de decir. We then warp that image to
match the shape defined by the shape parameters. A continuacin, la deformacin que la imagen para que
coincida con la forma definida por los parmetros de forma.
Of course, in many cases the shape and grey-level parameters will be correllated, and we can build a model
to represent this. Por supuesto, en muchos casos, el gris y el nivel de los parmetros en forma se correllated,
y podemos construir un modelo para representar esto. For instance, we have built a model of the appearance
of my face. Por ejemplo, hemos construido un modelo de la apariencia de la cara. Here is one of the modes
of combined shape and grey-level appearance: Aqu est uno de los modos de forma combinada, as como a
nivel de apariencia gris:

(The central image is the mean) (La imagen central es la media)

4) Active Appearance Models. 4) Aspecto modelos activos.
El Active apariencia de modelo (AAM) es una generalizacin del modelo ampliamente utilizado de forma
enfoque activo, sino que utiliza toda la informacin en la regin de la imagen cubierta por el objeto de
destino, en lugar de que los bordes de modelado prximo.
An AAM contains a statistical model of the shape and grey-level appearance of the object of interest which
can generalise to almost any valid example. Un AAM contiene un modelo estadstico de la forma y el color
gris a nivel de la apariencia del objeto de inters que se puede generalizar a casi cualquier ejemplo vlido.
Matching to an image involves finding model parameters which minimise the difference between the image
and a synthesised model example, projected into the image. Se pongan en venta a una imagen consiste en
encontrar los parmetros del modelo que reduzcan al mnimo la diferencia entre la imagen y un ejemplo de
modelo de sntesis, proyecta en la imagen. The potentially large number of parameters makes this a difficult
problem. El gran nmero potencial de los parmetros hacen de este un problema difcil.
We observe that displacing each model parameter from the correct value induces a particular pattern in the
residuals. Se observa que el desplazamiento de cada parmetro del modelo del valor correcto induce un
patrn particular de los residuos. In a training phase, the AAM learns a linear model of the relationship
between parameter displacements and the induced residuals. En una fase de entrenamiento, la AAM se
entera de un modelo lineal de la relacin entre desplazamientos de los parmetros y los residuos provocados.
During search it measures the residuals and uses this model to correct the current parameters, leading to a
better fit. Durante la bsqueda que las medidas de los residuos y utiliza este modelo para corregir los
parmetros actuales, dando lugar a un mejor ajuste. A good overall match is obtained in a few iterations,
even from poor starting estimates. Un partido en general bueno se obtiene en unas pocas iteraciones, incluso
de los pobres estimaciones de partida.
We have a face model built from 400 images. Tenemos un modelo de cara construido a partir de 400
imgenes. The figure below shows frames from an AAM search for a new face, each starting with the mean
model displaced from the true face centre. La siguiente figura muestra los fotogramas de una bsqueda de
AAM de un nuevo rostro, cada una comenzando con el modelo significa desplazados del centro de la
verdadera cara.

Figure 1: Multi-Resolution search from displaced position Figura 1: Multi-Resolucin de la bsqueda de la

posicin de desplazados