Calibracion

UNIVERSIDAD AUTNOMA DE MADRID
ESCUELA POLITCNICA SUPERIOR
AUTOCALIBRACIN Y SINCRONIZACIN DE MLTIPLES CMARAS PTZ
-PROYECTO FIN DE CARRERA-
Javier Garca Ocn Mayo de 2007
AUTOCALIBRACIN Y SINCRONIZACIN DE MLTIPLES CMARAS PTZ
AUTOR: Javier Garca Ocn TUTOR: Jess Bescs Cano
Grupo de Tratamiento de Imgenes Dpto. de Ingeniera Informtica Escuela Politcnica Superior Universidad Autnoma de Madrid
-1-
PROYECTO FIN DE CARRERA
Ttulo: Autocalibracin y sincronizacin de mltiples cmaras PTZ.
Autor: D. Javier Garca Ocn Tutor: D. Jess Bescs Cano Tribunal:
Presidente: D. Jos Mara Martnez Snchez Vocal: D. Miguel ngel Garca Vocal secretario: D. Jess Bescs Cano
Fecha de lectura: Calificacin:.
-2-
Palabras clave
Calibracin, Autocalibracin, Matriz de Proyeccin, Zhang, parmetros intrnsecos, parmetros extrnsecos.
Resumen
El contexto de este proyecto es el conjunto de tcnicas orientadas a extraer cuadros o informacin clave de secuencias de vdeo obtenidas de cmaras fijas. En este caso se analizar la problemtica asociada a tres cmaras PTZ (Pan-Tilt-Zoom) situadas en el vestbulo de entrada del edificio A de la EPS, y visibles las tres entre s. Para poder guiar la seleccin de forma eficiente es necesario conocer realmente el significado de la informacin que muestran las imgenes y, en particular, poder realizar mediciones precisas de la geometra de la escena captada . Esto exige el desarrollo de tcnicas de calibracin o autocalibracin. As mismo, la obtencin de informacin complementaria de varias cmaras permite aumentar la precisin y robustez de esta tarea. Este segundo aspecto exige la sincronizacin total o parcial de las cmaras. El objetivo de este proyecto es analizar y aplicar distintas tcnicas de calibracin de cmaras fijas y autocalibracin de cmaras PTZ para as poder realizar mediciones precisas del tamao de los objetos presentes en la escena y de sus trayectorias, con aplicacin en entornos de seguridad.
Abstract
The context of this project is the set of techniques oriented to extract frames or key information of video sequences obtained by means of fixed cameras. In this case, we will analyse the problem related with three PTZ (Pan-Tilt-Zoom) cameras placed in the hall of the EPS building A, all visible among them. We will need to know really the meaning of the information provided by the images for being able to guide the selection in an efficient way and, specially, for being able to do accurate measures of the captured scene geometry. That needs the development of calibration or autocalibration techniques. Also, the acquisition of complementary information from several cameras increases the accuracy and strength of this task. It also needs the total or partial synchronization of the cameras. The objective of this project is to analyse and apply several calibration techniques for fixed cameras and autocalibration for PTZ cameras. This way, we will obtain accurate measures of the scene objects size and trajectories, specially applied to security environments.
-3-
A mi tutor, Jess Bescs, por su dedicacin y ayuda en este proyecto. Tambin en agradecimiento por la ayuda que, junto al profesor Jos Mara Martnez, nos han prestado durante toda la carrera a los alumnos. A los compaeros del laboratorio, que me han prestado su ayuda. En especial a lvaro (el hombre que sostena tableros de ajedrez) y a Juan Carlos (el que lo grababa todo). A Javi y a Kike, que dedicaron parte de sus horas felices a grabar tableros de ajedrez. A Jos Ignacio Ronda, por su inestimable ayuda en estos terrenos de la calibracin. Por supuesto a mi tablero de ajedrez, compaero infatigable de calibraciones. A mi madre, que me ha apoyado durante la carrera y, durante el ltimo ao, me ha preguntado todos los das, con infatigable constancia la misma pregunta: ...Y cuando lees el proyecto? Obteniendo siempre la misma respuesta: Esta tarde madre. A mi padre, que me ha ayudado y enseado muchas cosas de este mundo de los teleecos desde el primer da de la carrera. En espera de crear el negocio con el que revolucionaremos el sector. A Marta, que ha escuchado cada da con paciencia y sorprendente inters mis historias sobre esas cosas raras de las cmaras, y me ha mostrado siempre su confianza en que llegar a ser un gran teleeco.
-4-
ndice de contenidos
0 INTRODUCCIN....................................................................................................................10
0.1 MOTIVACIN DEL PROYECTO ..................................................................................10 0.1.1 0.1.2 0.2 0.3 Aplicaciones del proceso de calibracin .......................................................10 Sensibilidad del proceso de calibracin ........................................................10
OBJETIVOS DEL PROYECTO ....................................................................................11 ESTRUCTURA DE LA MEMORIA................................................................................12
REVISIN DE CONCEPTOS BSICOS ........................................................................13

1.1 1.2 INTRODUCCIN A LA GEOMETRA PROYECTIVA ...................................................13 COORDENADAS HOMOGNEAS EN EL PLANO......................................................14 1.2.1 1.2.2 1.2.3 1.2.4 1.3 1.4 1.5 1.6 1.7 Ecuacin afn de una recta y coordenadas homogneas de la recta ...........14 Coordenadas homogneas del punto ...........................................................14 El punto impropio ..........................................................................................15 Dualidad punto recta .....................................................................................15
EL ESPACIO PROYECTIVO PN ...................................................................................17 LA RECTA PROYECTIVA P1 ........................................................................................17 EL PLANO PROYECTIVO P2 .......................................................................................18 TRANSFORMACIONES PROYECTIVAS 2D: HOMOGRAFAS .................................19 TRANSFORMACIONES PROYECTIVAS 3D...............................................................21
CALIBRACIN DE CMARAS FIJAS ...........................................................................24

2.1 ESTUDIO DEL PROCESO DE CALIBRACIN DE UNA CMARA ............................24 2.1.1 2.1.2 2.1.3 2.2 2.2.1 2.2.2 2.2.3 2.3 Modelo pin-hole.............................................................................................24 La matriz de proyeccin ................................................................................26 Correccin de la distorsin............................................................................30 Mtodo de Faugeras [Faugeras, 1986].........................................................33 Mtodo de Zhang [Zhang, 1998][Zhang, 2000] ............................................36 Conclusiones sobre el estudio de los mtodos de calibracin .....................42
MTODOS DE CALIBRACIN DE CMARA..............................................................32
IMPLEMENTACIN DE DISTINTOS MTODOS DE CALIBRACIN DE CMARAS ....................................................................................................................43 2.3.1 2.3.2 Implementacin del mtodo de Faugeras.....................................................43 Implementacin del mtodo de Zhang..........................................................44 2.3.2.1 2.3.2.2 Programas de ejecucin del mtodo ...........................................44 Programas de interfaz de usuario................................................45
2.4
PRUEBAS SOBRE CMARAS FIJAS .........................................................................47 2.4.1 2.4.2 Cmaras fijas ................................................................................................47 Patrn utilizado..............................................................................................48
-5-
2.4.3 2.4.4 2.4.5
Requisitos de las imgenes ..........................................................................48 Desarrollo de las pruebas .............................................................................49 Resultados obtenidos de las pruebas ...........................................................51
AUTOCALIBRACIN DE CMARAS PTZ...................................................................54

3.1 ESTUDIO DE DISTINTOS MTODOS DE AUTOCALIBRACIN DE CMARA ......................................................................................................................54 3.1.1 3.1.2 3.1.3 3.1.4 3.1.5 3.2 Introduccin...................................................................................................54 Clasificacin de los mtodos de autocalibracin ..........................................54 Mtodo de Hartley [Hartley, 1994a]...............................................................55 Mtodos de autocalibracin de cmaras con movimiento de rotacin y con zoom. .....................................................................................58 Mtodo lineal de Agapito ...............................................................................59
ESTUDIO DEL ESTADO DEL ARTE DEL PROCESO DE AUTOCALIBRACIN DE CMARAS PTZ...................................................................62 3.2.1 3.2.2 Autocalibracin de un sistema arm-eye.......................................................... Calibracin de una red de cmaras PTZ ......................................................58
DISEO Y DESARROLLO DE UNA APLICACIN SOBRE TRES CMARAS PTZ QUE GRABAN UNA MISMA ESCENA..........................................72
4.1 4.2 INTRODUCCIN..........................................................................................................72 CMARAS PTZ ............................................................................................................72 4.2.1 Especificaciones de la cmara:.....................................................................73 4.2.1.1 4.2.1.2 4.2.1.3 4.2.1.4 4.2.2 4.3 Factor de escala de las cmaras PTZ .........................................73 Punto principal de las cmaras PTZ............................................74 Movimiento pan de la cmara......................................................74 Movimiento tilt de la cmara ........................................................77
Posicin de las tres cmaras .......................................................................78
CLCULO DE LOS PARMETROS INTRNSECOS DE LAS CMARAS MEDIANTE EL MTODO DE CALIBRACIN DE ZHANG..........................................79 4.3.1 4.3.2 Calibracin con el nivel ms bajo de zoom...................................................80 Calibracin con distintos niveles de zoom ....................................................80
4.4
CLCULO DE LOS PARMETROS EXTRNSECOS DE LAS CMARAS, [R T], CONOCIDA LA MATRIZ DE PARMETROS INTRNSECOS ...........................83 4.4.1 4.4.2 4.4.3 4.4.4 Introduccin...................................................................................................83 Desarrollo del mtodo ...................................................................................84 Implementacin del mtodo ..........................................................................86 Pruebas sobre el mtodo y conclusiones .....................................................86 4.4.4.1 4.4.4.2 4.4.4.3 Secuencia de imgenes grabadas con un barrido pan ...............................................................................................87 Secuencia de imgenes grabadas con un barrido tilt..................88 Anlisis del error de cuantificacin ..............................................90
4.5
DESARROLLO DE LA APLICACIN ...........................................................................92 4.5.1 Imgenes capturadas por las cmaras .........................................................93
-6-
4.5.2
Conclusiones sobre la aplicacin..................................................................96
CONCLUSIONES Y TRABAJOS FUTUROS ...............................................................54

5.1 CONCLUSIONES SOBRE EL ESTUDIO DE LOS MTODOS DE CALIBRACIN .............................................................................................................54 5.1.1 5.1.2 5.1.3 5.1.4 5.2 Conclusiones sobre la autonoma del mtodo de Zhang..............................54 Conclusiones sobre la eficiencia del mtodo de Zhang................................54 Conclusiones sobre la versatilidad del mtodo de Zhang ............................55 Conclusiones sobre la precisin del mtodo de Zhang ................................58
CONCLUSIONES SOBRE EL ESTUDIO DE LOS MTODOS DE AUTOCALIBRACIN ...................................................................................................54 5.2.1 5.2.2 5.2.3 Conclusiones sobre el estudio de mtodo de Hartley...................................54 Conclusiones sobre el estudio de mtodo de Agapito ..................................54 Conclusiones sobre el estudio de mtodo que calcula los parmetros intrnsecos de una red de cmaras PTZ....................................55
5.3
CONCLUSIONES SOBRE EL ESTUDIO DE LA CALIBRACIN DE VARIAS CMARAS PTZ QUE GRABAN UNA MISMA ESCENA ................................54 5.3.1 5.3.2 5.3.3 5.3.4 Conclusiones sobre la autonoma del mtodo propuesto.............................54 Conclusiones sobre la eficiencia del mtodo propuesto...............................54 Conclusiones sobre la versatilidad del mtodo propuesto............................55 Conclusiones sobre la precisin del mtodo propuesto ...............................58
ndice de figuras
Figura 1-1: Figura 1-2: Figura 1-3: Figura 1-4: Figura 1-5: Figura 1-6: Incidencia de lneas en un punto...............................................................................10 Cada punto de la recta proyectiva es una direccin de R2 .......................................11 Proyeccin (X, Y, Z) (x, y) .....................................................................................13 Transformacin proyectiva eucldea..........................................................................14 Transformacin 3D Eucldea .....................................................................................16 Rotacin de los ejes Z, Y y X.....................................................................................17
Figura 2-1: Figura 2-2: Figura 2-3: Figura 2-4: Figura 2-5:
Modelo de cmara pin-hole .......................................................................................19 Relacin entre el punto ideal y el punto real .............................................................24 Distorsin radial .........................................................................................................25 Distorsin tangencial .................................................................................................25 Plantilla plana ............................................................................................................31
-7-
Figura 2-6: Figura 2-7: Figura 2-8: Figura 2-9: Figura 2-10: Figura 2-11: Figura 2-12:
Puntos que hay que marcar y orden en el que se marquen en el caso de considerar 9 puntos ..............................................................................................40 Cmara fija SONY-DFW-X7 ......................................................................................41 Relacin entre pxeles totales y pxeles activos de la cmara ..................................41 Ejemplo de una imagen del patrn............................................................................42 Imgenes del patrn ..................................................................................................43 Puntos que se deben marcar cuando se consideran 9 puntos .................................44 Puntos que se deben marcar cuando se consideran 25 puntos ...............................45
Figura 3-1: Figura 3-2: Figura 3-3: Figura 3-4: Figura 3-5:
Proyeccin del mismo punto M en dos planos imagen diferentes ............................50 Cmara PTZ ..............................................................................................................56 Correspondencia entre puntos de distintas imgenes cuando hay un movimiento de rotacin y de zoom............................................................................60 Imgenes capturadas por la cmara cuando se efecta un movimiento de rotacin .................................................................................................................61 Figura extrada de [Towards Calibrating a PTZ Camera Network (Sinha y Pollefeys)] ...............................................................................................................62
Figura 4-1: Figura 4-2: Figura 4-3: Figura 4-4: Figura 4-5: Figura 4-6: Figura 4-7: Figura 4-8: Figura 4-9: Figura 4-10: Figura 4-11: Figura 4-12: Figura 4-13: Figura 4-14:
Cmara SONY SNC RZ50 ........................................................................................64 Plano imagen. Valores del parmetro AreaZoom. ..................................................67 Vista superior de la cmara. Rango de los ngulos horizontales que puede tomar la cmara..............................................................................................68 Vista lateral de la cmara. Rango de los ngulos horizontales que puede tomar la cmara..............................................................................................69 Imgenes utilizadas para la calibracin con zoom x1 ...............................................71 Puntos considerados de la DINA-4 ...........................................................................78 Secuencia de imgenes grabadas mediante un barrido pan ....................................79 Valor obtenido del vector de translacin T (m). .........................................................80 Secuencia de imgenes grabadas mediante un barrido tilt ......................................81 Valor obtenido del vector de translacin T (m). .........................................................82 Esquema de la posicin de las tres cmaras respecto al sistema de referencia...................................................................................................................84 Imgenes de la escena grabadas por PTZ 100 (barrido pan). .................................85 Imgenes de la escena grabadas por PTZ 101 (barrido pan). .................................86 Imgenes de la escena grabadas por PTZ 102 (barrido tilt).....................................87
-8-
ndice de tablas
Tabla 1-1: Matrices de rotacin de los ejes Z, Y, X ....................................................................17
Tabla 2-1: Tabla 2-2:
Parmetros de la cmara calculados segn el mtodo de Faugeras .......................30 Parmetros intrnsecos calculados mediante el mtodo de Zhang ..........................35
Tabla 4-1: Tabla 4-2: Tabla 4-3: Tabla 4-3: Tabla 4-3: Tabla 4-3:
Valores de la distancia focal y el factor de escala para cada nivel de zoom ............66 Valores obtenidos con nivel de zoom x1 (f = 3,5 mm.) .............................................72 Cdigo asociado a cada zoom ..................................................................................73 Valores obtenidos con nivel de zoom x2 (f = 7 mm.).................................................73 Valores obtenidos con nivel de zoom x3 (f = 10,5 mm.) ...........................................74 Valores obtenidos con nivel de zoom x4 (f = 14 mm.)...............................................74
-9-
Introduccin
0. Introduccin.
0.1. Motivacin del proyecto.
0.1.1. Aplicaciones del proceso de calibracin. La calibracin de una cmara es el proceso que permite la obtencin de los parmetros que definen las condiciones de formacin de la imagen dentro del campo de la visin artificial. Estos parmetros definen la geometra interna y la ptica de la cmara (parmetros intrnsecos), as como su posicin y orientacin (parmetros extrnsecos respecto a un objeto de referencia o patrn de calibracin. La calibracin es, por tanto, un procedimiento que trata de conocer cmo una cmara proyecta un objeto 3D en el plano imagen para as poder extraer informacin mtrica a partir de las imgenes. El uso de cmaras calibradas permite resolver aplicaciones relacionadas con la obtencin de la posicin 3D de los objetos en el espacio a partir de sus imgenes o para la reconstruccin tridimensional del entorno captado por las cmaras. Esto permite realizar tareas como la obtencin de mapas del entorno de la cmara, el seguimiento de un objeto especfico para aplicaciones de seguridad o la obtencin de la posicin de la cmara respecto a objetos que la rodeen. Tambin puede facilitar la navegacin por su entorno de un robot mvil, permitiendo evitar obstculos, dirigirse a objetos determinados o facilitar la definicin de la trayectoria ms adecuada para alcanzar su destino. 0.1.2. Sensibilidad del proceso de calibracin. Existen mltiples factores que influyen sobre los resultados en el proceso de calibracin de una cmara. Esto provoca que los parmetros que se obtienen tengan una alta sensibilidad a las condiciones en las que se obtienen las imgenes que se utilizan para calibrar las cmaras. As mismo el proceso de calibracin resulta muy complejo debido al elevado nmero de parmetros que es necesario obtener. Los mtodos de calibracin acotan en parte esta complejidad empleando modelos de cmara que son, en realidad, modelos ideales o simplificados de sus equivalentes fsicos. Con estas simplificaciones se consiguen resultados bastante aceptables (aunque no exactos), pero no se parametrizan muchos factores. El modelo de cmara simplificado que utilizan la mayora de los mtodos de calibracin es el modelo de agujero o pinhole. Esta simplificacin no modela aspectos pticos como
- 10 -
Introduccin
la distancia de enfoque, la profundidad de campo, la apertura o la posible desalineacin entre el plano imagen y la lente. Incluso un efecto tan importante como la distorsin de las imgenes se modela, en la mayora de los casos, de forma muy simplificada, y no en todos los casos se parametriza. Otros factores importantes que afectan a la sensibilidad de los resultados son las posibles fuentes de ruido que influyen en el proceso de formacin de la imagen como los errores de cuantificacin que introduce la cmara, o la precisin en la ubicacin real de los elementos (puntos del patrn) utilizados para realizar la calibracin.
0.2.
Objetivos del proyecto.
El objetivo principal de este proyecto es desarrollar un mtodo que permita conocer la posicin de las cmaras que graban una escena con respecto a un sistema de referencia comn. A partir del conocimiento de esta posicin se podr realizar la operacin inversa. Es decir, la obtencin de la posicin 3D de los objetos en el espacio a partir de sus imgenes. Este mtodo se aplicar sobre tres cmaras PTZ (Pan-Tilt-Zoom) situadas en el vestbulo de entrada del edificio A de la Escuela Politcnica Superior, y visibles las tres entre s. Debido a la especial complejidad formal de este proyecto, a lo largo del mismo existen una serie de objetivos parciales que se centran en el estudio de diferentes procesos de calibracin y autocalibracin, y en el anlisis de las posibilidades reales en el caso concreto de las cmaras PTZ. Desde un principio se ha planteado el proyecto como la apertura de una lnea de investigacin propia y se ha tratado por tanto de conseguir que esta lnea sea auto contenida. En concreto se van a contemplar los siguientes objetivos parciales: El desarrollo e implementacin en software propio del mtodo de calibracin de Zhang. Con esto se busca independizar nuestro estudio de otros estudios existentes que tratan con sus circunstancias especiales. El anlisis de la fiabilidad y sensibilidad del mtodo de calibracin de Zhang implementado. El desarrollo del mtodo que permita conocer la posicin de las cmaras que graban una escena con respecto a un sistema de referencia comn se va a realizar suponiendo conocidos los parmetros intrnsecos de las cmaras. Para ello es necesario calibrarlas una vez y esto se va a realizar mediante el mtodo de Zhang. Por tanto es muy importante conocer qu grado de fiabilidad tienen los resultados obtenidos. El anlisis de las posibilidades reales de autocalibracin en el contexto de las cmaras PTZ.
- 11 -
Introduccin
0.3
Estructura de la memoria.
La estructura de este PFC se organiza como sigue: En el captulo 1 se realiza una revisin de los conceptos bsicos de la geometra proyectiva relacionados con el proceso de captacin de imgenes. En este captulo se introduce la notacin que se va a seguir en el resto de la memoria. En el captulo 2 se presenta el modelo de cmara pinhole del que parten los mtodos que se van a estudiar para realizar la calibracin. A continuacin se describen los algoritmos de los mtodos de Faugeras y Zhang. El mtodo de Faugeras se plantea como un mtodo lineal y muy simple cuyo resultado es utilizado como punto de partida para la realizacin de otros mtodos iterativos ms complejos y completos como el de Zhang. Por su parte, el mtodo de Zhang se presenta como un mtodo til de calibracin de los parmetros intrnsecos de una cmara debido a su flexibilidad. Este mtodo ser utilizado para calibrar los parmetros intrnsecos de las cmaras PTZ, permitiendo utilizar los parmetros obtenidos en el desarrollo de la aplicacin que trata de conocer la posicin de las cmaras que graban una escena con respecto a un sistema de referencia comn. Por ello es necesario implementar y analizar la fiabilidad del mtodo de Zhang. El capitulo contina con una descripcin de la implementacin en software propio del mtodo de Zhang y con la presentacin de los resultados obtenidos en unas pruebas realizadas sobre cmaras fijas. Con estos resultados se analizar la sensibilidad e inestabilidad del proceso de calibracin. En el captulo 3 se realiza un estudio de distintos mtodos de autocalibracin de cmara y del estado del arte del proceso de autocalibracin de cmaras PTZ. En este captulo se analizarn los problemas que presentan las cmaras PTZ a la hora de autocalibrar y como se van a limitar las posibilidades reales de autocalibracin. En el captulo 4 se realiza la aplicacin que permite conocer la posicin de las cmaras que graban una escena con respecto a un sistema de referencia comn. Para el desarrollo de esta aplicacin es necesario conocer los parmetros intrnsecos de las cmaras. La primera parte del captulo describe el contexto de las cmaras PTZ y los resultados obtenidos en la calibracin de los parmetros intrnsecos mediante el mtodo de Zhang. La segunda parte del captulo describe el mtodo desarrollado para averiguar la posicin de las cmaras y los resultados de las pruebas realizadas del mtodo. En el captulo 5 se presentan las conclusiones del proyecto y las posibles lneas de mejora del mismo.
- 12 -
Introduccin
- 13 -
Revisin de conceptos bsicos
1.
Revisin de conceptos bsicos.
En este captulo se analizan los conceptos de geometra proyectiva que estn asociados al proceso de captacin de una imagen. El proceso de proyeccin central (modelo pinhole que se introducir en el siguiente captulo) con el que se modela el proceso de captacin de una imagen es bsicamente proyectivo. Se partir de una introduccin general sobre la geometra proyectiva que permita definir los conceptos que se van a manejar durante el trabajo.
1.1.
Introduccin a la geometra proyectiva.
La geometra proyectiva suministra un modelo lineal del proceso de captacin de imgenes (si no hay distorsiones)(1) pues estudia la relacin entre figuras geomtricas y su proyeccin. El ejemplo comn usado consiste en figuras en 3D con proyecciones en un plano 2D. Desde el punto de vista sinttico, la geometra proyectiva es una geometra que parte de los siguientes principios:

Dos puntos definen una recta. Todo par de rectas se cortan en un punto (cuando dos rectas son paralelas decimos que se cortan en un punto del infinito).
La geometra proyectiva puede entenderse, informalmente, como la imagen que se obtiene en nuestro ojo del espacio que vemos cuando nos colocamos en un punto, mirando desde ese punto. Esto es, cualquier lnea que incide en nuestro "ojo" nos parece ser slo un punto, ya que el ojo no puede "ver" los puntos que hay detrs (ver Fig. 1.1.).
Fig. 1.1. Incidencia de lneas en un punto.

(1). En realidad las lentes provocan distorsiones, lo que equivale a alinealidades, que la geometra proyectiva no puede modelar.
- 14 -
1.2. Coordenadas homogneas en el plano.

1.2.1. Ecuacin afn de una recta y coordenadas homogneas de la recta. En el sistema familiar de la geometra analtica euclidiana, un punto m se representa como un par de coordenadas (x, y) en R 2 . Comnmente, R 2 se identifica con un plano. Se puede considerar entonces R 2 como un espacio vectorial en el que (x, y) es un vector. Se asocia as, un punto a un vector. Una lnea recta en el plano R 2 est representada por su ecuacin afn: ax + by + c = 0 De esta manera, una lnea recta puede ser representada por un vector: v = [a, b, c]T. El vector v representa las coordenadas homogneas de la recta. La correspondencia entre lneas rectas y vectores no es uno a uno, ya que (a, b, c)T y [ka, kb, kc] T representan exactamente la misma lnea recta para k 0, sin embargo son vectores distintos. Estos vectores son considerados como equivalentes y se definen como vectores homogneos. En geometra proyectiva se introducen coordenadas que permiten representaciones mltiples, tanto de puntos como de rectas, con las cuales es posible estudiar nociones como punto impropio y recta proyectiva de forma analtica. 1.2.2. Coordenadas homogneas del punto. Un punto de coordenadas euclidianas m = [x, y]T en un plano R2 tiene una representacin homognea en R3 dada por M = [X Y Z]T. Siendo [X Y Z] las coordenadas homogneas del punto euclidiano [x, y]. Las coordenadas homogneas [X Y Z] son nmeros reales y la coordenada homognea Z es no nula. La relacin entre las coordenadas homogneas y euclidianas de un punto es: x=X Z e y =Y Z
Una forma sencilla para pasar de coordenadas cartesianas, [x, y], a coordenadas homogneas consiste en aadir z = 1 como coordenada Z: [x, y, 1]. La ecuacin de la recta afn en coordenadas homogneas es:
ax + by + c = 0 a
X Y + b + c = 0 aX + bY + cZ = 0 Z Z
En este trabajo se van a representar las coordenadas homogneas con letras maysculas, mientras que las euclidianas se representarn con letras minsculas.
- 15 -
A cada punto representado en coordenadas homogneas, M = [X Y Z] T, le corresponde un nico punto de coordenadas eucldeas, m = [x, y]T; pero a este punto m le corresponden infinitos puntos homogneos, ya que tanto las coordenadas (X, Y, Z) como las coordenadas [kX, kY, kZ] representan dicho punto, siempre que k sea un nmero real diferente de cero.
1.2.3. El punto impropio.
En el apartado anterior no se ha considerado el punto expresado en coordenadas homogneas [X, Y, 0]. A continuacin se va a estudiar qu representa dicho punto. Si se consideran las ecuaciones afines de dos rectas del plano:
aX + bY + cZ = 0 , a ' X + b' Y + c ' Z = 0
Se puede obtener el punto de corte de estas dos rectas (expresado en coordenadas homogneas) mediante el producto vectorial de los vectores constituidos por las coordenadas homogneas de la rectas:
[ X , Y , Z ] ~ [a, b, c] [a' , b' , c' ] En la geometra euclidiana dos rectas paralelas no se cortan en ningn punto. Sin embargo si en coordenadas homogneas tratamos hallar el punto de corte de dos rectas paralelas:
aX + bY + c = 0 , a ' X + b' Y + c ' = 0
[ X , Y , Z ] ~ [a, b, c] [a' , b' , c' ] ~ [b,a,0]

Se obtiene el vector director de las rectas paralelas. Por lo que se puede entender el punto [X, Y, 0] como el punto en que se cortan todas las rectas con vector director v = ( x, Y ) . Este punto recibe el nombre de punto impropio o punto del infinito. Los puntos del infinito forman la recta del infinito, Z = 0.
1.2.4.
Dualidad punto recta.
Lo que se consigue mediante las coordenadas homogneas es que los puntos y las rectas sean algebraicamente lo mismo. As, la representacin en coordenadas homogneas de una recta del plano est formada por un vector de tres elementos, y la representacin en coordenadas homogneas de un punto del plano tambin est formada por un vector de tres elementos.
- 16 -
1.3.
El espacio proyectivo Pn.
El espacio proyectivo es el espacio de las coordenadas homogneas que se han presentado en el apartado anterior. En este apartado se va a estudiar cmo la geometra proyectiva introduce las coordenadas que permiten representaciones mltiples, tanto de puntos como de rectas. El espacio proyectivo de dimensin n , P n est formado por todos los elementos del espacio eucldeo R n +1 excepto el elemento nulo, tal que dados x, y P n ,
T T
x = [x1 ,..., x n +1 ] e y = [ y1 ,..., y n +1 ] con algn xi 0 e yi 0, entonces x = y si existe un 0 tal que x = y.
P n = R n +1 {0} Para concretar la definicin anterior, a continuacin se van a estudiar como ejemplos los espacios proyectivos P 1 y P 2 .
1.4.
La recta proyectiva P1.
La recta proyectiva es el espacio proyectivo de dimensin uno: P 1 = R 2 {0} | si x = [x1 , x 2 ] e y = [ y1 , y 2 ] con algn xi 0 e yi 0, x, y P 1 , entonces x = y si existe un 0 tal que x = y.
T T
Consideremos un punto perteneciente a la recta proyectiva: x P 1 cuyas coordenadas T homogneas son x = [x1 , x 2 ] , como el punto x representado en la figura 1.2.. Si
x 2 0 , se pueden expresar sus coordenadas eucldeas como x = x 2 [x1 x 2 , 1] .
T
Una recta afn es aquella que pasa por el origen de coordenadas. Si dos puntos del espacio R 2 pertenecen a la misma recta afn, entonces pertenecen al mismo elemento del espacio proyectivo P 1 . Es decir, los elementos de P 1 represedntan el conjunto de todas las rectas afines del espacio eucldeo R 2 (como las representadas en la figura 1.2). Por tanto, cada elemento de la recta proyectiva P 1 representa una direccin (que pasa por el origen) de R 2 . Faltara por considerar el punto [x1 , 0] que no pertenece a la recta afn. Este punto es el definido como punto impropio o punto en el infinito.
T
- 17 -
x1
x2
1
P1
Fig. 1.2. El espacio proyectivo, P1 .
1.5.
El plano proyectivo P2.
El plano proyectivo P2 en el que estn representados todos los puntos no homogneos x = X e y = Y , puede ser interpretado utilizando la representacin de la Fig. 1.3: Z Z
z
y
Y y
( x, y ) x
( X ,Y , Z )
Y X
f =1
1 Z Z
Fig. 1.3. Proyeccin (X, Y, Z) (x, y)
- 18 -
En este esquema la proyeccin de (X, Y, Z) en un plano (x, y) paralelo al plano (X; Y; 0) ubicado en Z = 1, est dada por el punto (x, y) el cual puede ser calculado aplicando el y 1 x Teorema de Thales como = = . Se obtiene entonces x = X e y = Y . Z Z X Y Z
Se puede observar que cualquier punto 3D sobre la lnea de proyeccin O( XYZ ) produce el mismo punto proyectado en el plano (x, y). Esto es lo mismo que decir que la proyeccin de k(X, Y, Z) es igual a la proyeccin de (X, Y, Z), para k 0, y que esta proyeccin est dada por x = X e y = Y . En otras palabras, la clase de vectores Z Z homogneos k(X, Y, Z) representan el mismo punto en P2.
1.6.
Transformaciones proyectivas 2D: homografas.
La geometra proyectiva 2D es el estudio de las propiedades del plano proyectivo P2 que son invariantes bajo un grupo de transformaciones conocidas como proyectividades u homografas. Una homografa es una transformacin biyectiva del espacio proyectivo que viene dada por h : P2 P2 de manera tal que una lnea recta es transformada como una lnea recta. La proyectividad est definida como: h(m) = m = Hm,
X X ' a11 Y 6 Y ' = a 21 Z Z ' a 31
m,m P 2
a12 a 22 a32 a13 X a 23 Y a33 Z
donde H es una matriz de 3 x 3 no singular. Se dice entonces que m es la transformacin lineal H de m. Esta transformacin es biunvoca entre dos planos 2D, cuyos puntos son representados homogneamente por m y m. Es decir, un punto en un plano 2D tiene una nica correspondencia en un punto de otro plano 2D, y viceversa. Es importante destacar que, debido a la naturaleza de las coordenadas homogneas, dos matrices proporcionales definen la misma homografa ya que los puntos [X, Y, Z] y [kX, kY, kZ] son el mismo punto proyectivo. Como ejemplo de transformacin proyectiva 2D, se va a estudiar la transformacin isomtrica, que es una transformacin eucldea. Esta transformacin define una rotacin seguida de una translacin. En el captulo 3 se ver que el modelo pinhole incluye esta transformacin. La razn de estudiarla en el espacio 2D es que facilitar su entendimiento en el espacio 3D. En la transformacin isomtrica se conserva la distancia Eucldea, es decir la distancia entre dos puntos es igual a la distancia entre los puntos transformados. La transformacin proyectiva isomtrica es ilustrada en la Fig. 1.4.:
- 19 -
y'
Fig. 1.4. Transformacin proyectiva eucldea.
ty
tx
x'
Fig. 1.4. Transformacin proyectiva eucldea. En coordenadas euclideas, esta figura corresponde a la transformacin de coordenadas (x, y) (x, y), donde es el ngulo de la rotacin de los ejes y (tx, ty) es el desplazamiento del origen. Esta transformacin puede ser escrita en coordenadas cartesianas como:
x x' cos( ) sen( ) x t x y ' = sen( ) cos( ) y + t = R y + t y
(1.1.)
o bien en coordenadas homogneas, como la proyectividad:

x ' x cos( ) sen( ) t x x y ' = R t y = sen( ) cos( ) t y y 0 T 1 0 1 1 1 0 1
(1.2.)
con 0 T = [0 0] . La transformacin inversa (x, y) (x, y) se obtiene de:

x' 1 x t ' y ' = [R '] y
(1.3.)
Como la matriz R es ortonormal (por ser una matriz de rotacin), es decir que T R [R ] = I 2x2 se sabe entonces que la inversa de R es su transpuesta. Definiendo
R' = [R ] = [R ] y t= Rt se obtiene:
T 1
x x y = R t y 0 T 1 1 1
(1.4.)
- 20 -
1.7.
Transformaciones proyectivas 3D.
Un punto M que se encuentra en el espacio 3D se representa en coordenadas homogneas como un vector de cuatro elementos. Si el punto 3D tiene coordenadas (no homogneas) [x, y, z] se expresar entonces como M = [X Y Z T] donde x = X , T y =Y y z = Z . Una forma sencilla de pasar de coordenadas no homogneas a T T homogneas es agregando un uno al final del vector, es decir M = [X Y Z 1]. La nica transformacin proyectiva 3D que se va a estudiar es la transformacin 3D Eucldea, que representa los cambios de coordenadas que pueden sufrir los objetos rgidos al pasar de un sistema de coordenadas a otro. En el captulo 3 se ver que el modelo de cmara pinhole incluye esta transformacin.
Z
Z'
z
Y
y
Y'
x
X'
Fig. 1.5. Transformacin 3D Eucldea. Dado un sistema de coordenadas 3D (x y z) que ha sufrido una rotacin y una traslacin como se aprecia en la Figura 1.5., el espacio 3D en el nuevo sistema de coordenadas (x y z) queda definido por una transformacin 3D Eucldea definida por:
x' x y ' = R y + t ' z z
(1.6.)
donde R es una matriz 3 x 3 ortonormal, por ser una matriz de rotacin, y t es un vector 3 x 1 que definen la rotacin y traslacin del sistema de coordenadas respectivamente. Esta transformacin se define en coordenadas homogneas de la siguiente forma:
- 21 -
X X ' Y ' = R t Y T Z ' 0 1 Z 1 1
(1.7.)
A continuacin se definir la matriz ortonormal R presente en la transformacin Eucldea R3 R3. Una rotacin de los ejes de coordenadas puede ser descompuesto en rotaciones de cada uno de los ejes tal como se muestra en la figura 1.6.:
Y'
Y
X'
X'
X
Z'
Z'
Z Y'
z
Z' Z
X Y' Y
Z X' X
Fig. 1.6. Rotacin de los ejes Z, Y y X Las transformaciones de cada una de estas rotaciones estn dadas por RZ, RY y RX en la tabla 1.1.: Rotacin Eje Z Matriz de rotacin cos( z ) sen( z ) 0 Rz = sen( z ) cos( z ) 0 0 0 1 cos( y ) 0 sen( y ) Ry = 0 1 0 sen( y ) 0 cos( y ) 0 0 1 R x = 0 cos( x ) sen( x ) ( ) ( ) 0 sen cos x x
Eje Y
Eje X
Tabla 1.1. Matriz de rotacin de los ejes Z, Y y X. A manera de ejemplo si el nico movimiento existente es la rotacin del eje X, la ecuacin que transforma las coordenadas sera:
- 22 -
0 0 x x ' 1 y ' = 0 cos( ) sen( ) y x x z' 0 sen( x ) cos( x ) z
(1.8.)
La rotacin total se puede definir entonces como primero una rotacin del eje Z, luego del eje Y, y luego del eje X, eso se puede expresar matemticamente como una multiplicacin de las tres matrices de rotacin en el siguiente orden:
R11 R = Rx Ry Rz = R21 R31
R12 R22 R32
R13 R23 R33
(1.9.)
Anlogamente al caso 2D, la utilidad de definir esta transformacin en coordenadas homogneas frente a las coordenadas cartesianas es que nos permite realizar una transformacin que consta de dos pasos (multiplicar por la matriz de rotacin R y sumar R t el vector de translacin t) en un solo paso (multiplicar por la matriz T = [R t ] . 0 1
- 23 -
Calibracin de cmaras fijas
2. Calibracin de cmaras fijas.

2.1. Estudio del proceso de calibracin de una cmara.
Se denomina calibracin al proceso de obtencin de los valores de los parmetros del modelo de una cmara. Estos parmetros relacionan una escena del espacio tridimensional con la imagen bidimensional captada por la cmara.
2.1.1. Modelo pin-hole.
La gran mayora de los procedimientos de calibracin se basan en el modelo de cmara pin-hole. Este modelo est basado en la geometra proyectiva: la proyeccin de un punto de la escena se obtiene de la interseccin de una lnea que pasa por este punto y el centro de proyeccin (foco) con el plano imagen. El modelo consiste en un centro ptico C, en donde convergen todos los rayos de la proyeccin, y un plano de imagen en el cual la imagen es proyectada. El plano de imagen est ubicado a una distancia focal f del centro ptico y perpendicular al eje ptico Z c . (ver Fig 2.1).
Mc( x , y , z ) = M ( x, y , z ) M c ( xcc , ycc , zcc ) = M ( x, y, z )
Fig. 2.1. Modelo de cmara pin-hole. Como se ve en la Figura 2.1., el modelo pinhole describe la proyeccin de un punto M de la escena en un punto m de la imagen. Para modelar la proyeccin es necesario realizar varias transformaciones y referirse a varios sistemas de coordenadas distintos. A continuacin se describen los sistemas de coordenadas que aparecen en el modelo de proyeccin.
- 24 -
Sistema de coordenadas del mundo: son las coordenadas que describen la posicin del punto 3D M respecto de la escena. La eleccin de estas coordenadas es arbitraria. Como se ve en la Figura 2.1., los ejes de este sistema de coordenadas son XYZ. Sistema de coordenadas de la cmara: son las coordenadas que describen la posicin del punto 3D M c respecto de la cmara. Como se ve en la Figura 2.1., los ejes de este sistema de coordenadas son X c Yc Z c . Y su origen es el centro ptico de la cmara El punto M y el punto M c son el mismo punto como se indica en la Figura 2.1., nos referimos a l con distinta notacin nicamente para indicar respecto a que sistema de coordenadas lo estamos refiriendo. Sistema de coordenadas de la imagen: son las coordenadas que describen la posicin del punto 2D m respecto del plano imagen. Normalmente este sistema de coordenadas tiene su origen en el centro del plano imagen (c en la Figura 2.1.). Como se ve en esta Figura, los ejes de este sistema de coordenadas son uv. Sistema de coordenadas normalizadas de la imagen: son las coordenadas que describen la posicin del punto 2D mc respecto del plano imagen, situando el origen de estas coordenadas en la esquina superior izquierda del plano imagen (c en la Figura 2.1.). Como se ve en esta Figura, los ejes de este sistema de coordenadas son u n v n . El punto m y el punto mc tambin son el mismo punto como se indica en la Figura 2.1., de nuevo nos referimos a l con distinta notacin nicamente para indicar respecto a que sistema de coordenadas lo estamos refiriendo.
El modelo de proyeccin depende de una serie de parmetros de la cmara. Estos parmetros se clasifican en extrnsecos e intrnsecos:
Parmetros extrnsecos: son los que relacionan la posicin relativa entre un objeto de la escena que se est captando y la cmara fija.
o Translacin: t = [tx, ty, tz]T. (ver Fig. 2.1.). es la distancia entre el centro ptico de la cmara y el centro de coordenadas del mundo. o Rotacin: son los ngulos rotados sobre cada uno de los ejes, [x, y, z] (ver Fig. 2.1.).
Parmetros intrnsecos: son los parmetros propios de la geometra interna y de la ptica de la cmara. Estos parmetros son:
o
Centro del eje ptico (c = [u0, v0]): tambin llamado punto principal. Define el punto donde el eje ptico (zc) atraviesa el plano imagen. Las coordenadas de este punto vienen dadas en pxeles. Factores de escalado (ku, kv):. indican la proporcin de tamao de un objeto visto en la realidad respecto a su proyeccin en el plano imagen. La
- 25 -
proporcin puede ser distinta en cada eje. Este parmetro se descompone a su vez en:
Factores de conversin pxel-milmetros (du, dv): indican el nmero de pxeles por milmetro que usa la cmara. Esta relacin se obtiene dividiendo la dimensin en pxeles de la imagen por el tamao en mm. del CCD. Distancia focal (f): distancia entre el centro ptico y el centro del plano imagen, viene dada en mm. Factor de proporcin (s): indica la relacin de tamao entre la dimensin horizontal y vertical de un pxel. La relacin entre ellos (cuando no existe distorsin) viene dada por: ku = sduf kv = dvf
2.1.2. La matriz de proyeccin.
Si consideramos un punto 3D en coordenadas cartesianas y lo expresamos en coordenadas homogneas, dicho punto tiene 4 coordenadas: M = [X, Y, Z, T]. De la misma forma, un punto 2D en coordenadas cartesianas tiene 3 coordenadas si lo expresamos en coordenadas homogneas: m = [U, V, S]. Supongamos que la cmara capta una escena y la plasma en el plano imagen. La relacin entre un punto M de la escena 3D y su correspondiente punto m de la imagen, viene determinada por la forma:
m=PM
D D
El smbolo = indica que los elementos de ambos lados son equivalentes excepto por un factor de proporcionalidad, es decir, m = P M, siendo el citado factor, o factor de escala. La matriz P se denomina matriz de proyeccin y depende de los parmetros extrnsecos e intrnsecos. Para determinar la forma de la matriz de proyeccin se estudia cmo se relacionan las coordenadas del punto M, expresadas en base a las coordenadas del mundo (ejes XYZ de la figura 2.1.), con las coordenadas del punto m, expresadas en referencia a las coordenadas normalizadas de la imagen (ejes unvn de la citada figura).
- 26 -
1. Proyeccin 3D-2D. Conversin de las coordenadas de la cmara (x c la imagen (u, v).
y c , z c ) , a las del plano de
Basndose en la geometra de la proyeccin, podemos relacionar estas coordenadas mediante la distancia focal (f): f u v = = z c xc y c A partir de esta relacin se construye la matriz de proyeccin perspectiva:
u f xc v = z y c c
En coordenadas homogneas:
U f V = 0 S 0
0 f 0
X c 0 0 Y 0 0 c Zc 1 0 1
2. Transformacin Cmara-Imagen. Paso de las coordenadas del plano de la imagen (u, v) a las normalizadas de la imagen (un, vn).
Se trata de un cambio de coordenada del sistema (c, u, v) al (cn, un, vn). Para ello, hay que sumar vectorialmente a m la posicin de c respecto a cn como se indica en la figura 2.2. cn vn un
v
m
c u
cn m = cn c + c m Fig 2.2. Cambio de coordenada del sistema (c, u, v) al (cn, un, vn). Las coordenadas adems, dejan de expresarse en milmetros y pasan a expresarse en pixels mediante los factores de conversin.
- 27 -
un = du u + u0
vn = dv v + v0
Con estos dos primeros pasos queda constituida la matriz de parmetros intrnsecos (en adelante A) que relaciona el punto 3D Mc (referido a las coordenadas de la cmara) con el punto mn (referido a las coordenadas normalizadas de la imagen). En coordenadas homogneas:
f d u U n V = 0 n S 0 n
mn = A Mc
0 f d v 0
u0 v0 1
X c 0 Y 0 c Zc 0 1
(2.1.)
Segn se ha visto, el sistema de coordenadas 3D de la cmara no suele coincidir con el sistema de coordenadas de la escena que suele referirse al objeto que se est estudiando (coordenadas del mundo). Por ello, es necesario un nuevo cambio de coordenadas que relacione las coordenadas del mundo con las coordenadas de la cmara. Este cambio de coordenadas corresponde a una transformacin 3D Eucldea que se ha estudiado en el apartado 1.7 de la memoria.
3. Transformacin Escena-Cmara Paso de las coordenadas del mundo (x, y, z) a las de la cmara (xc, yc, zc).
Es un cambio de coordenadas definido por una matriz de rotacin y translacin que se denomina matriz extrnseca. Primero se realiza una rotacin alrededor de los tres ejes:
x r r11 y = r r 21 zr r31
Mr = R M
r12 r22 r32
r13 x r23 y r33 z
(2.2.)
Seguida de una translacin:

x c x r t x y = y + t c r y zc zr t z
(2.3)
Mc = Mr + t
- 28 -
Combinando las ecuaciones 2.2. y 2.3. se obtiene la ecuacin que realiza el paso de coordenadas del mundo a las coordenadas de la cmara:
Mc = R M + t
Donde R es la matriz de rotacin y t es el vector de translacin. Segn se ha visto, esta expresin matricial se puede escribir en coordenadas homogneas mediante la matriz de parmetros extrnsecos (en adelante [R t]):
X c X Y c = R t Y T Zc 0 1 Z 1 1
(2.4)
En conclusin, la expresin general de la matriz de proyeccin que relaciona un punto M de la escena 3D y su correspondiente punto m de la imagen es el resultado de multiplicar la matriz de parmetros intrnsecos de la ecuacin 2.1 (A) y la matriz de parmetros extrnsecos de la ecuacin 2.4. [R t]:
f d u A= 0 0
0 f d v 0
u0 v0 1
0 0 0
[R
r11 r t ] = 21 r31 0
r13 r23 r33 0 tx tx tx 1
r12 r22 r32 0
r13 r23 r33 0
tx tx tx 1
f d u P = 0 0
0 f d v 0
u0 v0 1
r11 0 r 0 21 r31 0 0
r12 r22 r32 0
(2.5)
Por lo tanto, la expresin general que relaciona un punto M de la escena con su correspondiente punto m de la imagen es:
U V = 1
f d u 0 0
0 f d v 0
u0 v0 1
r11 0 r 0 21 r31 0 0
r12 r22 r32 0
r13 r23 r33 0
tx X Y tx Z tx 1 1
(2.6)
m = P M
El modelo que se ha introducido no tiene en cuenta los efectos de distorsin de la lente, por lo que a continuacin se va a explicar el problema de la distorsin y su efecto en el modelo.
- 29 -
2.1.3. Correccin de la distorsin introducida por las lentes.

El modelo pinhole no modela correctamente las lentes reales porque el centro ptico de estas lentes no es nico. La distorsin es la distancia existente entre la posicin ideal dada por el sistema pinhole y la posicin real que ocupa cada pxel en la imagen.
punto real
punto
(u ' , v') ideall (u, v )
r
r
(u 0 , v0 )
Fig. 2.3. Relacin entre el punto ideal y el punto real. Podemos expresar la relacin entre el punto real y el punto ideal con las siguientes ecuaciones: u ' = u + u (u, v) v ' = v + v (u, v)
Donde u representa la distorsin de la coordenada u del punto real respecto al punto ideal, y v representa la distorsin de la coordenada v del punto real respecto al punto ideal. Existen dos tipos principales de distorsin:
o Distorsin radial (es ms apreciable cuanto ms alejado se est del punto principal). Se produce en cmaras de gran angular donde la distancia focal es muy corta. La Fig. 2.4 muestra el efecto de esta distorsin.
Fig. 2.4. Distorsin radial. - 30 -
Un modelo utilizado frecuentemente para las ecuaciones de correccin son:
v v0 + r f y 2 4 r = a1 r + a 2 r + a3 r 6 + a 4 r 8 + a5 r 10
2
u u0 = f x
Donde r es la distancia radial entre el punto real y el punto ideal como se muestra en la figura 2.3; los parmetros ai son los trminos del polinomio de correccin.
o Distorsin tangencial: debido a la no perpendicularidad entre el eje ptico de la lente fija y el plano imagen. La Fig. 2.5 muestra el efecto de esta distorsin
v
imagen original distorsin tan gencial
Fig. 2.5.Distorsin tangencial. Las ecuaciones de correccin son diferentes para cada coordenada:
= p1 (r 2 + 2 u 2 ) + 2 p 2 uv = p 2 (r 2 + 2 v 2 ) + 2 p1 uv
v u
Siendo u y v las componentes u y v de la distancia tangencial entre el punto real y el punto ideal como se muestra en la figura; p1 y p2 son dos parmetros de segundo orden con los que se modela la distorsin Para realizar la correccin, se aaden estos trminos a las coordenadas ideales del modelo pinhole. La distorsin de cada coordenada se expresa de la siguiente forma:
u (u, v) = r (r ) cos( ) ( ) sen( ) v (u, v) = r (r ) sen( ) + ( ) cos( )
(2.7.)
donde r es la distancia entre el punto proyectado en la imagen y centro de la imagen, y es la distancia angular entre el punto proyectado en la imagen y el eje horizontal u de la imagen. - 31 -
2.2.
Mtodos de calibracin de cmara.
Como se ha sealado en el apartado anterior, el proceso de calibracin de una cmara consiste en estimar sus parmetros extrnsecos e intrnsecos. Los mtodos de calibracin clsicos parten de una escena conocida: se sitan una serie de puntos 3D cuyas posiciones respecto al sistema de coordenadas del mundo 3D son conocidas. Esto requiere una preparacin exhaustiva de la escena. Frente a los mtodos clsicos se sitan los mtodos de autocalibracin, que se caracterizan por no necesitar el conocimiento de ningn dato de la escena y que sern desarrollados en el siguiente captulo. La clasificacin de los mtodos de calibracin se realiza en funcin de los siguientes criterios:
Clasificacin en cuanto a la computacin:
Lineal: aquellos que usan tcnicas de resolucin de sistemas de ecuaciones lineales. Tienen las ventajas de ser muy simples de implementar y muy rpidos. Ejemplos de estos mtodos son [Faugeras, 1986] y [Hall et al., 1982]. No lineal: se basan en la utilizacin de mtodos iterativos. Suelen necesitar una aproximacin inicial que se obtiene mediante algn mtodo lineal. Son ms lentos pero permiten resolver sistemas de cmara ms complejos. Ejemplos de estos mtodos son [Tsai, 1987] y [Zhang, 1998].
Clasificacin en cuanto a la obtencin de los parmetros:
Explcita: se obtienen directamente los valores de cada uno de los parmetros que forman el modelo de la cmara. Ejemplos de estos mtodos son [Batista et al., 1998] y [Tsai, 1987]. Implcita: se obtiene primero la matriz de proyeccin y a partir de ella se calculan los parmetros. Ejemplos de estos mtodos son [Faugeras, 1986] y [Zhang, 1998].
En este apartado se van a estudiar dos mtodos de calibracin. El primer mtodo que se va a estudiar es el propuesto por Faugeras. Este mtodo est basado en una transformacin lineal directa y propone una solucin homognea utilizando una restriccin en cuanto al vector de rotacin del eje z. Se ha escogido este mtodo por ser un buen ejemplo para comenzar en el estudio de la calibracin de cmaras. El segundo que se va a estudiar es el propuesto por Zhang. La razn de elegir este mtodo es que supone un paso muy importante en una de las lneas bsicas del estudio de la calibracin de cmaras: la simplificacin del trabajo previo necesario para preparar la escena. Este es uno de los objetivos del proyecto por lo que se ha considerado fundamental su estudio. Esta simplificacin se basa en el hecho de utilizar un patrn de referencia del que se toman varias imgenes para no tener que preparar y medir los puntos de la escena. El mtodo de Zhang se considera un paso intermedio entre la calibracin y la autocalibracin. - 32 -
2.2.1. Mtodo de Faugeras [Faugeras, 1986]

El proceso de calibracin se realiza en dos pasos. Primero se estima la matriz de proyeccin P, y despus se estiman los parmetros intrnsecos y extrnsecos de la cmara a partir de la matriz de proyeccin estimada en la fase anterior. Este mtodo resuelve la calibracin mediante la descomposicin en valores singulares de una matriz que forma el sistema de ecuaciones que proyecta un punto del espacio en el plano imagen de la cmara. Lo que se obtiene es una matriz de proyeccin a partir de la cual se extraen todos los parmetros, tanto los extrnsecos (traslacin y rotacin del patrn respecto a la cmara) como los intrnsecos (centro del eje ptico, factores y factores de escalado). El mtodo de Faugeras no tiene ene cuenta la distorsin introducida por las lentes, por lo que no la corrige. Para realizar el mtodo de Faugeras nicamente es necesario una imagen.
1. Estimacin de la matriz de proyeccin P.

Como ya se ha indicado, la matriz de proyeccin P representa la transformacin entre los puntos i 3D de la escena y la posicin de los puntos 2D correspondientes en la imagen (ecuacin 2.6).
i m i = P M i
(2.8)
Se parte de n correspondencias mi Mi, (i = 1,..., n ) , donde Mi es un punto de la escena de coordenadas conocidas y mi es su correspondiente punto de la imagen, de coordenadas tambin conocidas.. El objetivo es calcular la matriz P a partir de n ecuaciones (2.8) asociadas a las n correspondencias. Cada correspondencia genera dos ecuaciones:
ui = p11 X i+ p12 Y i+ p13 Z i + p14 p31 X i+ p32 Y i+ p33 Z i + p34 p 21 X i+ p 22 Y i+ p 23 Z i + p 24 p 31 X i+ p32 Y i+ p33 Z i + p 34
(2.9)
vi =
(2.10)
donde (ui, vi) son las coordenadas del punto de la imagen mi, (Xi,, Yi, Zi) son las coordenadas del punto de la escena Mi, y pjk son los elementos de la matriz P.
- 33 -
Si en las ecuaciones (2.9) y (2.10) se pasa el denominador multiplicando al otro lado de la ecuacin, se obtienen dos ecuaciones lineales con los elementos de la matriz P como incgnitas. u i ( p31 X i+ p32 Y i+ p33 Z i + p34 ) = p11 X i+ p12 Y i+ p13 Z i + p14 vi ( p31 X i+ p32 Y i+ p33 Z i + p34 ) = p 21 X i+ p 22 Y i+ p 23 Z i + p 24 Estas ecuaciones se reordenan como:
X i 0 Yi 0 Zi 0
(2.11) (2.12)
1 0
0 Xi
0 Yi
0 Zi
0 ui X i 1 vi X i
u i Yi vi Yi
ui Z i vi Z i
ui p = 0 vi
(2.13)
donde p es un vector que contiene los 12 elementos de la matriz P:

p = [ p11
p12 p13 p14 p 21 p 22 p 23 p 24 p31 p32 p33 p34 ]
T
Se consideran 2n ecuaciones lineales semejantes a las de la ecuacin (2.13) a partir de n correspondencias entre puntos (n 6) para formar un sistema de 2n ecuaciones lineales. Este sistema se denota como:
L p = 0
donde L es una matriz de dimensin 2n x 12.
(2.14)
En general este sistema no tiene una solucin exacta, pero se puede obtener una solucin lineal mediante el autovector correspondiente al autovalor ms pequeo que minimiza LTL. O, de forma equivalente, con el vector correspondiente al valor singular ms pequeo de la SVD (Single Value Descomposition o descomposicin en valores singulares) de L. La herramienta SVD se define en el anexo A de esta memoria. Al calcular explcitamente los componen la matriz de que [r31 , r32 , r33 ] = [ p31 , p32 , p33 ] , matriz de rotacin. Como esta columna es la unidad.
2 2 2 r31 + r32 + r33 =1
coeficientes de P en funcin de los parmetros que proyeccin, se encuentra la particularidad de donde [r31 , r32 , r33 ] corresponde a la tercera fila de la matriz es ortonormal, la norma de sus vectores fila o
Por lo tanto imponer esta restriccin en P supone normalizarla, es decir, se dividen todos los elementos de la matriz por:
2 2 2 p31 + p32 + p33
- 34 -
2. Estimacin de los parmetros extrnsecos e intrnsecos a partir de la matriz de proyeccin.

Parmetro Vector de rotacin r3 Coordenada u0 del centro ptico Coordenada v0 del centro ptico Factor de escala = f ku Factor de escala = f ku Vector de rotacin r1
Vector de rotacin r2
Tipo Extrnseco Intrnseco Intrnseco Intrnseco Intrnseco Extrnseco

Extrnseco
Valor r3 = p3 u o = p1 p3 vo = p 2 p3
= f k u = p1p = f k v = p 2p
r1 =
Vector de translacin en el eje x, tx Extrnseco Vector de translacin en el eje y, ty Extrnseco Vector de translacin en el eje z, tz Extrnseco
1 ( p1 u 0 p3 ) 1 r2 = ( p 2 v0 p3 ) 1 tx = ( p14 u 0 p34 ) 1 ty = ( p 24 u 0 p34 ) t z = p34
Tabla 2.1. Parmetros de la cmara calculados segn el mtodo de Faugeras. La principal ventaja de este mtodo es que es muy rpido de computar. Como principal desventaja presenta que no incluye la distorsin (radial y tangencial) por lo que los resultados son poco exactos. Adems exige conocer el punto Mi de la escena 3D. En muchos mtodos iterativos se pueden utilizar los resultados de este mtodo como aproximacin inicial para obtener la matriz de transformacin (P), como ocurre en [Zhang, 1998].
- 35 -
2.2.2. Mtodo de Zhang [Zhang, 1998][Zhang, 2000]

Zhang propone una tcnica de calibracin basada en la observacin de una plantilla plana como la de la figura 2.5 desde varias posiciones. A diferencia del mtodo de Faugeras, el mtodo de Zhang utiliza varias imgenes distintas.
Fig. 2.5. Plantilla plana. La ventaja de este mtodo de calibracin con respecto al resto de los mtodos es que permite obtener los parmetros de la cmara fcilmente a partir de una plantilla plana sin necesidad de conocer las posicin de los puntos Mi de la escena que se van a utilizar para realizar la calibracin. La razn es que se eligen las coordenadas del mundo de tal forma que dos de sus ejes coinciden con los lados de la plantilla, y el tercero (Z) es perpendicular a esta. Esto hace que sea una tcnica muy flexible ya que no requiere una preparacin exhaustiva de la escena. Para que el mtodo funcione correctamente se necesitan al menos tres imgenes con la plantilla tomada en distintas orientaciones. Este nmero de imgenes puede ser inferior si se fijan los valores de algunos parmetros intrnsecos. Por ejemplo, si no se calcula la ortogonalidad del plano imagen, slo son necesarias dos imgenes. El modelo de cmara que utiliza es el pinhole. La proyeccin de un punto M de la escena en un punto m de la imagen viene dada por la ecuacin (2.6.):
m = P M
donde es un factor de escala dado que las coordenadas de los puntos son homogneas. Como ya se ha indicado en la ecuacin (2.5), la matriz de proyeccin P es el producto de la matriz de parmetros intrnsecos A y la matriz de parmetros extrnsecos [R t]. Por lo que la ecuacin (2.6) se puede escribir de la siguiente forma: m = A [R t] M El mtodo de Zhang no supone que los ejes del plano de la imagen sean ortogonales. Por ello, introduce un nuevo parmetro intrnseco que mide esta prdida de ortogonalidad. En el caso de que los ejes fuesen perfectamente ortogonales, el valor de este parmetro sera la unidad (como supone el modelo tradicional pinhole). - 36 -
Al aadir el parmetro que mide la prdida de ortogonalidad ( ), la matriz de parmetros intrnsecos en el modelo de Zhang tiene la forma:
A= 0 0
u0 v0 1
siendo = ( s du f) y = (dv f) los factores de escala en el eje u y v; (u0, v0) las coordenadas del punto principal de la imagen, y el parmetro que representa la prdida de ortogonalidad de los ejes en la imagen. Se ha cambiado la notacin de los factores de escala para utilizar la misma nomenclatura que utiliza Zhang al explicar su mtodo. Como el mtodo asume que el sistema de coordenadas del mundo real se adapta a la propia plantilla, los puntos Mi de la escena que se van a utilizar para realizar la calibracin estn colocados de forma que su coordenada z = 0. El modelo m = A [R t] M se reduce eliminando la componente z. Definiendo los vectores columna de la matriz de rotacin como R = [r1 r2 r3 ]:
m = A [R t ] M = A [r1 r2 r3 t ] M = A [r1 r2 t ] M
(2.15.)
Es decir se transforma el modelo inicial en una homografa H que relaciona los puntos de la plantilla plana del escenario con sus correspondientes en la imagen. m=HM Siendo r11 r H = A [r1 r2 t] = A 12 r13 0 r21 r22 r23 0 tx ty tz 1 (2.16.)
(2.17)
El objetivo del mtodo de Zhang es obtener los parmetros de la cmara a partir de n m correspondencias m ij Mi, (i = 1,..., n ) , ( j = 1,..., m con m 3) , donde el subndice i indica el punto utilizado y el subndice j la imagen utilizada. Para ello, el mtodo de Zhang sigue los siguientes pasos:
- 37 -
1.
Clculo de la homografa H de cada imagen j.
Esta homografa puede ser calculada de varias formas. Se propone un mtodo en dos pasos. Primero se obtiene una aproximacin inicial de la homografa (a la que denominaremos h) mediante un mtodo lineal. El mtodo utilizado es el mismo que se ha descrito en el apartado 2.2.1. con la salvedad de que se ha eliminado la componente Z de las coordenadas de cada punto Mi. A partir de las correspondencias m ij Mi de una determinada imagen j, y siguiendo el mismo desarrollo que en el apartado 2.2.1. se llega a una ecuacin similar a la (2.13) sin componente Z X 0 Y 1 0 0 0 X 0 0 u X Y 1 v X u Y v Y u h = 0 v (2.18)
Si consideramos n puntos de inters, Mi, se obtiene un sistema de 2n ecuaciones de la forma: L h = 0. Una vez obtenida h, se refina mediante un mtodo iterativo para obtener H. Este mtodo trata de minimizar el error cometido al proyectar cada punto Mi en la imagen, es decir, minimizar:
i =1
mi mi
(2.19)
donde mi son las coordenadas reales de cada punto del patrn en la imagen obtenida y que se obtienen marcndolos sobre la imgen, mientras que mi es la proyeccin en la imagen de Mi aplicando los valores de la homografa que se va obteniendo en cada iteracin (la primera es h). El paso 1 se aplica a todas las imgenes (n) que se van a utilizar para realizar el mtodo.
^
2.
Clculo de la matriz cnica B.
Para poder hallar la matriz de parmetros intrnsecos A es necesario introducir un nuevo concepto: la cnica absoluta, B. La cnica absoluta se define como:
B = At A
Por lo que si se conoce B se puede obtener la matriz de parmetros intrnsecos, A, a partir de ella. Como B es el producto de una matriz por su transpuesta, se trata de una matriz simtrica de 3x3 que se puede definir con un vector de 6 elementos de la forma: b = [b11 b12 b22 b13 b23 b33].
- 38 -
A continuacin se describe como se obtiene la cnica absoluta a partir de las n homografas H de cada imagen obtenidas en el primer paso. Dado que R es una matriz de rotacin, los vectores que la componen cumplen las restricciones de ortonormalidad, es decir:
r1T r1 = r2T r2
r1 T r2 = 0
(2.19)
Si se despejan los vectores de rotacin, ( r1 y r2 ) de la ecuacin (2.17) y se sustituye su valor en las restricciones de la ecuacin (2.19), se obtienen las dos restricciones bsicas dada una homografa:
h1T A-T A-1 h1 = h2T A-T A-1 h2

siendo hi la i-sima columna de la homografa H.
h1T A-T A-1 h2 = 0
(2.20)
Si se escribe el producto hiT A-T A-1 hi en funcin de la cnica absoluta se tiene:
hiT B hi = vijT b
siendo
(2.21)
vij = [h1ih1j,
h1i h2j + h2ih1j, h2ih2j, h3i h1j + h1ip3j, h2ih3j + h3ih2j, h3ih3j ]T
Las restricciones de la ecuacin (2.20) se pueden escribir en funcin de vij y de b mediante dos ecuaciones homogneas:
T v 12 b = 0 T T v 11 v 22
(2.22)
Por cada imagen utilizada se obtienen dos ecuaciones homogneas como las de la ecuacin (2.22). Con las restricciones de n homografas correspondientes a n imgenes, (n 3) , se obtiene un sistema de 2n ecuaciones:
Vb=0
donde V es una matriz de dimensiones 2n x 6. La solucin es el vector propio de VT V asociado al valor propio ms pequeo.
(2.23)
3.
Clculo de la matriz de parmetros intrnsecos A, a partir de la matriz B.
Una vez conocido el vector b se pueden obtener los valores de la matriz de parmetros intrnsecos, A (ver ecuacin 2.1.). Los valores de los parmetros intrnsecos se muestran en la tabla 2.2.
- 39 -
Parmetro Tipo Valor Coordenada v0 del centro ptico Intrnseco b2 b4 b1 b5 v0 = b b b2 2 1 3 Factor de escala = f ku Intrnseco = b1 Factor de escala = f kv Distorsin radial Intrnseco Intrnseco
= f k v = p 2p
=
b2 2
Coordenada u0 del centro ptico Intrnseco
u0 =
v0 b4 2
Tabla 2.2. Parmetros intrnsecos calculados mediante el mtodo de Zhang.

2 b4 + v0 (b2 b4 b1 b5 ) un parmetro que ayuda a obtener Siendo = b6 b1 expresiones compactas de los parmetros en funcin del vector b.
4.
Clculo de los parmetros extrnsecos.
Los parmetros extrnsecos se obtienen despejando [R t] de la definicin de la homografa: Hj = A [r1, r2, t] ya que se ha obtenido la homografa H de cada imagen j, y la matriz de parmetros intrnsecos A. El resultado obtenido es distinto para cada una de las imgenes seleccionadas. Para despejar la matriz de parmetros extrnsecos se pasa la matriz de parmetros intrnsecos al otro lado de la definicin de la homografa:
A 1 H j = [r1 r2
t]
(2.24)
Si se expresa la homografa H j en funcin de sus columnas Hij, la ecuacin (2.24) resulta de la siguiente forma, donde A-1Hji es la columna i de la matriz resultante.
A 1 H j 1
A 1 H j
A 1 H j = [r1
3
r2
t]
(2.25)
En esta ecuacin son conocidas las matrices A 1 y Hj, pero no el factor de escala . Para determinarlo, se tiene en cuenta qua la norma de r1 es la unidad (ya que r es la matriz de rotacin).
A 1 H j1 = r1 = 1
(2.26)
- 40 -
Se despeja de la ecuacin (2.24).
1 A Hj
1 1
(2.27)
Una vez obtenido , ecuacin (2.25):

r1 = A 1 H j A 1 H j
1 1
los parmetros extrnsecos se deducen directamente de la
(2.28)
r2 =
A 1 H j A 1 H j
2 1
(2.29)
r3 = r1 r2
t= A 1 H j A 1 H j
3 1
(2.30)
(2.31)
5.
Estimacin de los coeficientes de distorsin radial por mnimos cuadrados.
El modelo de cmara en que se basa este mtodo supone la correccin de la distorsin entre la aplicacin de la matriz de parmetros extrnsecos y la matriz de parmetros intrnsecos. Es decir, primero se transforma del sistema de coordenadas del mundo real de la cmara (matriz de parmetros extrnsecos), luego se realiza la correccin de la distorsin, y por ltimo, se obtienen las coordenadas 2D de la imagen (matriz de parmetros intrnsecos). La diferencia con otros mtodos estriba en que se corrige la distorsin antes de realizar la proyeccin de los puntos en el plano imagen, y por tanto las coordenadas no estn afectas por la distancia focal. Por ese motivo, los valores de los coeficientes de distorsin no son comparables al del resto de los mtodos que obtienen este parmetro. Para ello se resuelven las siguientes ecuaciones para cada punto m i de cada imagen: (u p u 0 ) r (v p v0 ) r
(u (v
p p
u 0 ) r 2 k1 u i u p = v0 ) r 2 k 2 vi v p
donde r = (Xc2 + Yc2) / Zc2. (u i , vi ) son las coordenadas de cada punto m i obtenido mediante marcado manual, y (u p , v p ) son las coordenadas de cada punto m i obtenido aplicando el modelo de proyeccin con los valores de los parmetros obtenidos.
- 41 -
6.
Se refinan todos los parmetros mediante un mtodo iterativo que minimiza el error cuadrtico medio.
Consiste en minimizar la diferencia entre las coordenadas de cada punto de cada una de las imgenes reales (u p , v p ) con respecto a la proyeccin (u i , vi ) realizada con los valores de todos los parmetros (incluidos los coeficientes de distorsin) obtenidos en la calibracin de forma que todos ellos se puedan actualizar. Es decir, minimizar la funcin:
i =1, p =1
[u
nm
vi ] u p v p
(2.34)
2.2.3. Conclusiones sobre el estudio de los mtodos de calibracin. La primera conclusin que se puede extraer es que existe un gran nmero de tcnicas diferentes para la obtencin de los parmetros del modelo pinhole de la cmara. Las tcnicas basadas en el conocimiento del escenario tienen un proceso de preparacin ms elaborado, ya que es necesario conocer la posicin que ocupan, respecto al sistema de coordenadas del mundo, los puntos Mi que se van a emplear para realizar la calibracin. La exactitud de estas medidas har que la estimacin de los parmetros de la cmara sea ms o menos ajustada. Se ha visto el mtodo de Faugeras como ejemplo de tcnica de calibracin basada en el conocimiento del escenario. En oposicin a estos mtodos, el mtodo de Zhang no precisa de una preparacin exhaustiva de la escena ya que el sistema de coordenadas del mundo se adapta a la propia plantilla que se utiliza para calibrar. Otra diferencia entre el mtodo de Faugeras y el mtodo de Zhang es el tiempo de computacin de cada uno. El mtodo de Faugeras es un mtodo lineal que utiliza una sola imagen para calibrar por lo que su tiempo de computacin ser muy breve. Por el contrario, el mtodo de Zhang es un mtodo no lineal que utiliza algoritmos iterativos de optimizacin y, adems, utiliza varias imgenes para realizar la calibracin. Por todo ello, su tiempo de computacin ser mucho mayor que el de Faugeras. En el siguiente captulo se muestra la implementacin de ambos mtodos. La razn de realizar unos mtodos que ya estn implementados es la voluntad de contar con un software propio que permita aislar el problema concreto de calibracin que se afronta en este trabajo de otros posibles problemas y contextos que hayan afectado a otras implementaciones ya existentes.
- 42 -
2.3.
Implementacin de distintos mtodos de calibracin de cmaras.
En este captulo se explica la implementacin de los mtodos de calibracin de Faugeras y de Zhang en software propio. 2.3.1. Implementacin del mtodo de Faugeras. El mtodo de Faugeras se ha implementado en cdigo Matlab. Los programas necesarios para su implementacin son dos:
o ginput3.m: funcin que devuelve la posicin en pxeles que ocupa en una imagen el punto que marque el usuario. Esta funcin es necesaria para conocer las coordenadas de los puntos m i o calibracin_faugeras.m: es el programa principal. Es un script que pide al usuario una serie de datos de entrada y calcula los parmetros de la cmara.
Los datos que el programa solicita al usuario son los siguientes: Coordenadas de los puntos 3D de la escena (Mi), referidos al sistema de coordenadas del mundo, que se van a utilizar para realizar la calibracin de la cmara. El programa muestra al usuario la imagen utilizada para la calibracin y le pide que marque los puntos 2D de la imagen ( m i ) correspondientes a los puntos 3D de la escena (Mi). Cada vez que el usuario marca un punto, el programa llama a la funcin ginput3.m para obtener las coordenadas de los puntos m i . Es indispensable que el usuario marque los puntos en el mismo orden que ha introducido las coordenadas de los puntos Mi correspondientes.
Una vez obtenidos estos datos, el programa calcula los parmetros extrnsecos e intrnsecos de la cmara siguiendo el mtodo explicado en el apartado 2.2.1. Estos parmetros son mostrados por consola.
- 43 -
2.3.2. Implementacin del mtodo de Zhang. El mtodo de Zhang se ha implementado en cdigo Matlab. Con el objetivo de independizar en la medida de lo posible el desarrollo del mtodo y la forma de obtener los datos de entrada del algoritmo (el nmero de imgenes empleadas, las coordenadas de los puntos Mi y sus proyecciones mij en cada imagen), se ha dividido la implementacin en dos grandes bloques.
o Programas de interfaz de usuario: se encargan de recoger los datos de entrada que introduce el usuario y de almacenarlos en las variables correspondientes. o Programas de ejecucin del mtodo: se encargan de aplicar el mtodo de Zhang para calcular los parmetros de la cmara.
2.3.2.1. Programas interfaz de usuario. Uno de los objetivos del mtodo de Zhang es conseguir que la preparacin de la escena y la obtencin de los datos de entrada requieran el mnimo trabajo posible. Siguiendo esta lnea se ha desarrollado una interfaz de usuario que trata de automatizar el trabajo en la medida de lo posible. El usuario debe conocer e introducir nicamente la siguiente informacin: Nmero de imgenes: el nmero de imgenes que se van a considerar para la calibracin. Nmero de puntos por imagen: el numero de puntos por imagen que se van a considerar para la calibracin.. Longitud del lado del damero (expresada en mm) que se va a usar como plantilla. Para evitar que el usuario deba introducir manualmente las coordenadas de los puntos Mi, estas coordenadas las calcula el programa de forma automtica a partir del nmero de puntos por imagen y la longitud del tablero. La forma en la que el programa calcula las coordenadas provoca que se puedan considerar un nmero determinado de puntos para realizar la calibracin. El nmero de puntos que se pueden considerar son 4, 9, 25 y 81. En la figura 2.6 se muestra los puntos concretos que se consideran y el orden en que son almacenados en las variables. Nombre con el que se han guardado las imgenes: el programa muestra cada imagen j al usuario y le pide que marque los puntos mij correspondientes a los puntos Mi. Marcado de los puntos: el usuario debe marcar los puntos mij en el mismo orden que se han almacenado las coordenadas de los puntos Mi correspondientes. Es decir, en el orden que muestra la figura 2.6. Cada vez que el usuario marca un punto mij, el programa calcula sus coordenadas y las guarda en las variables que corresponden.
- 44 -
Fig. 2.6. Puntos que hay que marcar y orden en el que se marquen en el caso de considerar 9 puntos.
Con esta informacin se calculan todos los datos de entrada necesarios para la ejecucin del mtodo de Zhang. Los programas que se han desarrollado son:
zhang.m: es un script que pide los datos necesarios al usuario, calcula las coordenadas 3D de los puntos Mi, llama a las funciones que calculan las coordenadas 2D de los puntos mij a partir de lo que marque el usuario en la imagen, llama al programa que implementa el mtodo y muestra los resultados por pantalla. ginput3.m: funcin que devuelve la posicin en pxeles que ocupa en una imagen el punto que marque el usuario. Esta funcin es necesaria para conocer las coordenadas de los puntos mij.
2.3.2.2. Programas de ejecucin del mtodo. El programa principal que implementa el mtodo es una funcin Matlab, calibracin_zhang.m, que tiene la siguiente interfaz:
Datos de entrada:

num_imag: numero de imgenes con las que se va a calibrar la cmara. coord_M: coordenadas de los puntos de la escena referidas al sistema de coordenadas del mundo. Las unidades de las coordenadas son mm. El sistema de referencia de las coordenadas del mundo se elige de tal forma que dos de sus ejes coinciden con los lados de la plantilla, y el tercero (Z) es perpendicular a esta. El origen de este sistema de referencia podra ser cualquier punto de la plantilla. Sin embargo, el programa establece este punto en el centro del damero porque se ha comprobado que de esta forma se reduce el efecto de la distorsin radial.
- 45 -
coord_m: coordenadas de los puntos mij de la imagen referidos al sistema de coordenadas del plano normalizado de la imagen. Las unidades de las coordenadas son milmetros.
Datos de salida:
T: vector de translacin del sistema de coordenadas del mundo al sistema de coordenadas de la cmara. En este caso, como el sistema de coordenadas del mundo tiene su origen en el centro de la plantilla, el vector de translacin mide la distancia entre la cmara y la plantilla. Las unidades del vector son mm. R: matriz de rotacin del sistema de coordenadas del mundo al sistema de coordenadas de la cmara. Las unidades de cada elemento de la matriz son mm. A: matriz de parmetros intrnsecos. Las unidades de los factores de escala son pixels por mm. y las unidades de las coordenadas del punto principal son mm. El parmetro que mide la prdida de ortogonalidad de la imagen es adimensional. k: coeficiente de distorsin.
Esta funcin implementa el mtodo de Zhang siguiendo los seis pasos explicados en el apartado 2.2.2. Mtodo de Zhang [Zhang, 1998][Zhang, 2000]. Durante su ejecucin llama a dos pequeas funciones que tambin se han implementado aparte:
zhang_hom.m: funcin que calcula el error cometido entre la proyeccin terica del punto en la imagen, (u i , vi ) , y el punto que en realidad ocupa. Esta funcin es pasada como parmetro en la funcin iterativa que minimiza este error para refinar la aproximacin inicial que se ha calculado de la homografa (paso 1), ecuacin (2.19). zhang_ref.m: calcula la funcin
[ui
i =1
nm
vi ] u p v p
, es decir, la diferencia
entre las coordenadas de cada punto de cada una de las imgenes reales con respecto a la proyeccin, (u i , vi ) , realizada con los valores de todos los parmetros (incluidos los coeficientes de distorsin) obtenidos en la calibracin de forma que todos ellos se puedan actualizar (paso 6), ecuacin (2.34).
- 46 -
2.4.
Pruebas sobre cmaras fijas.
2.4.1. Cmaras fijas.
Las cmaras fijas con las que se van a realizar las pruebas del mtodo de calibracin de Zhang implementado en Matlab estn ubicadas en la pasarela de la tercera planta que comunica los dos edificios de la EPS de la UAM. El modelo de cmara es una SONY-DFW-X7. El modelo de lente es "ptica montura C; distancia focal 8,5 mm; Apertura 1,5-C Modelo C815B de COSMICAR".
Fig. 2.7. Cmara fija SONY-DFW-X7 La resolucin del CCD es de 1024 x 768 pxeles activos para una diagonal de la imagen de 5,952 mm., el tamao de cada pxel es de 465m. x 465m. Es decir, los pxeles son cuadrados.
Fig. 2.8. Relacin entre pxeles totales y pxeles activos de la cmara. Con estos datos sobre la cmara se puede calcular los factores de escalado de cada eje:

Como los pxeles son cuadrados, el factor de proporcin es s = 1. La distancia entre el centro ptico y el plano imagen es de f = 8,5 mm. El nmero de pxeles por milmetro que utiliza la cmara es: o du = 215,0538 pxel/mm. o dv = 215, 0538 pxel/mm. Por tanto los factores de escala son:
pxel o = s f d u = 1 8,5 [mm] 215,0538 = 1.828 [mm] mm pxel o = f d v = 8,5 [mm] 215,0538 = 1.720,2 [mm] mm
- 47 -
El centro ptico de la cmara no se corresponde totalmente con el centro del plano imagen de la cmara. o u0 = 512 pxel. o v0 = 280 pxel
2.4.2. Patrn utilizado.
El patrn utilizado para la calibracin (ver Fig. 2.9) es un damero de ajedrez de 320 mm. de lado. El damero tiene 64 casillas por lo que ofrece 81 esquinas como puntos de referencia para ser marcados.
2.4.3. Requisitos de las imgenes.
El mtodo de calibracin requiere una alta precisin al marcar los puntos para poder obtener resultados correctos. En concreto es necesario tomar las siguientes precauciones:
El patrn debe ocupar casi toda la imagen para evitar que la obtencin de las coordenadas 2D de los puntos en la imagen sea poco precisa. Tambin es importante no apurar: que el patrn no ocupe la imagen entera porque la calibracin se vera afectada por la distorsin de la lente, que es mxima en los bordes de la imagen (ver figura 2.4). Pese a que la teora dice que con tres imgenes es posible obtener la solucin, es recomendable que se utilicen 4 5 vistas del patrn para que se produzca un resultado aceptable. Tomar ms imgenes no es necesario segn se ha comprobado porque no hay una mejora significativa. Se recomienda utilizar como origen de coordenadas del mundo el centro del patrn, ya que se producen menos errores de distorsin. El nmero mnimo de puntos necesarios por imagen para realizar la calibracin es siete u ocho. En caso de utilizar ms, se ha comprobado que las mejoras no son apreciables.
Fig. 2.9. Ejemplo de una imagen del patrn.
- 48 -
2.4.4. Desarrollo de las pruebas.
El desarrollo de las pruebas sobre cmaras fijas consiste en la toma de varias imgenes extradas de una secuencia de vdeo grabada con la cmara, y la ejecucin del mtodo de Zhang implementado en Matlab. Es necesario configurar la grabacin de la secuencia con la resolucin mxima (la que coincide con el tamao del CCD) para realizar una calibracin correcta. Ya que si no, las coordenadas de los puntos mij tendrn un error de cuantificacin mucho mayor. La resolucin de las imgenes tomadas es de 1.024 x 768 pxeles (correspondiente al tamao del CCD), estas imgenes se guardan en el mismo directorio en el que se encuentran los programas Matlab para su ejecucin. La ejecucin del mtodo (llamando al script zhang.m) ofrece la siguiente interfaz al usuario:
Indique el nmero de imgenes con las que se va a trabajar (al menos 3): Indique el ancho del damero (mm): Indique el nmero de puntos a considerar:
El nmero de imgenes que se ha escogido para realizar las pruebas es seis (ver figura 2.10) pues el mtodo comienza a converger en realidad con 4 5 imgenes y el hecho de aumentar el nmero de imgenes no mejora los resultados. Estas imgenes han sido seleccionadas de una secuencia de vdeo grabada por la cmara SONY-DFW-X7 de la pasarela. En todas ellas el patrn est girado respecto de los tres ejes del espacio tridimensional, de forma que no existan dependencias lineales entre las posiciones relativas de los puntos que se van a seleccionar. El ancho del damero de ajedrez utilizado es de 320 mm. Esta medida ha de hacerse desde la esquina de una casilla que est en el extremo hasta la esquina de la casilla del extremo contrario. A partir de este dato (y del nmero de puntos seleccionado a partir de un protocolo), el mtodo calcula de forma automtica las coordenadas de los puntos de la escena que se van a marcar. Como ya se ha indicado, el nmero de puntos que se pueden considerar por conveniencia ha de ser uno de los siguientes: {4, 9, 25, 81}. Se ha comprobado que tomar 9, 25 u 81 puntos no cambia los resultados. Sin embargo, con 4 puntos los resultados no convergen. Por lo tanto en este programa es recomendable utilizar 9 puntos por imagen.
- 49 -
Fig. 2.10. Imgenes del patrn.
Una vez introducidos estos datos, el programa va a pedir tantas veces como nmero de imgenes se hayan introducido el siguiente dato:
Introduzca el nombre de la imagen con la que se va a calibrar la cmara:
Cada vez que se introduce el nombre de la imagen, el programa abre una figura con la imagen introducida y solicita al usuario que marque los puntos mij. Estos puntos deben ser los indicados en la figura 2.11 en el caso, como se recomienda, de considerar 9 puntos:
- 50 -
Fig. 2. 11. Puntos que se deben marcar cuando se consideran 9 puntos. En el caso de considerar 25 puntos se marcan las esquinas que se sealan en la figura 3.12.
Fig. 2. 12. Puntos que se deben marcar cuando se consideran 25 puntos. El propio programa va indicando en el ttulo de la figura cual es el siguiente punto que se ha de marcar, y colorea de blanco el punto marcado para ayudar al usuario en la tarea. La precisin con la que se marcan los puntos es determinante para conseguir resultados precisos.
2.4.5. Resultados obtenidos de las pruebas.
El objetivo de las pruebas sobre cmaras fijas es evaluar los datos obtenidos de los parmetros intrnsecos. Como se desconoce la posicin del tablero al grabar las imgenes no tiene sentido comprobar los parmetros extrnsecos pues no hay datos medidos con los que comparar los resultados obtenidos. A continuacin se muestran los resultados obtenidos para diferentes nmeros de puntos e imgenes considerados. El resultado obtenido en cada caso se compara con el resultado real, que se conoce gracias a las especificaciones de la cmara detalladas en la seccin 2.4.1..
- 51 -
De los resultados obtenidos cabe considerar lo siguiente: 1. Pese a que la teora del mtodo de Zhang establece que el nmero de imgenes necesarias para poder implementar el mtodo, la realidad de la implementacin es que es a partir de 5 imgenes cuando se obtienen resultados correctos. 2. A partir de 9 puntos considerados, el aumentar el nmero de puntos no mejora los resultados obtenidos. 3. El error cometido se debe a la precisin con la que se marcan los puntos correspondientes a las esquinas. El punto correspondiente a una esquina no suele corresponderse con un pxel en concreto y es imposible marcar siempre el mismo pxel en todas las imgenes mediante un marcado manual.
1. Resultados obtenidos en funcin del nmero de imgenes utilizadas.
Resultados con tres imgenes y nueve puntos: Datos reales Resultados ku [mm] 1.828 1.910 kv [mm] 1.828 1.861 u0 512 580 vo 280 318
Como se puede apreciar, pese a que tericamente con tres imgenes el mtodo converge, en la prctica el programa ofrece unos resultados muy distintos a los datos reales con este nmero de imgenes. Resultados con cinco imgenes y nueve puntos Datos reales Resultados ku [mm] 1.828 1.823 kv [mm] 1.828 1.820 u0 512 520 vo 280 293
Como se puede comprobar, los resultados al considerar 5 imgenes en lugar de las tericas 3, mejoran de forma muy significativa. An as, los datos que se obtienen no son del todo precisos. Esta imprecisin es consecuencia del marcado manual de los puntos. El error cometido no supera el 0,5 %, aunque vara dependiendo de la precisin con la que se logre marcar las esquinas. Resultados con ses imgenes y nueve puntos Datos reales Resultados ku [mm] 1.828 1.815 kv [mm] 1.828 1.824 u0 512 519 vo 280 271
Al considerar ms de cinco imgenes los resultados mejoran muy poco, y esta mejora no se aprecia porque el error que se comete al marcar las esquinas es mayor. La conclusin en cuanto al nmero de imgenes necesarias para calibrar correctamente la cmara con el mtodo de Zhang desarrollado en Matlab, es que son necesarias 5 - 52 -
imgenes. Un menor nmero de imgenes ofrece resultados errneos, mientras que un mayor nmero de imgenes no mejora los resultados obtenidos.
2. Resultados obtenidos en funcin del nmero de puntos utilizados.
El nmero de puntos necesarios para que el mtodo converja es de ocho. En esta implementacin se utilizan 9 porque permite que el usuario tenga que conocer pocos datos aprovechando la simetra del damero. Aumentar el nmero de puntos (25, 81) no mejora los resultados pues el riesgo de perder precisin al marcar las esquinas de forma manual se multiplica.
3.
Precisin al marcar los puntos.
Una alternativa al marcado manual es utilizar un detector de esquinas, como el de Harris. Con este sistema se conseguira que en todas las imgenes se considerase el mismo pxel para cada punto (sin la aleatoriedad del marcado manual).
- 53 -
Autocalibracin de cmaras PTZ
3.
3.1.
Autocalibracin de cmaras PTZ.

Estudio de distintos mtodos de autocalibracin de cmara.
3.1.1. Introduccin.
Los mtodos de calibracin clsicos, como los que se han estudiado en el captulo 2, no permiten que se pueda realizar una calibracin on-line cuando se est utilizando la cmara en tareas visuales. Si la cmara no es fija y realiza algn tipo de movimiento, sus parmetros extrnsecos variarn. Este hecho provoca la necesidad de tener que volver a calibrar la cmara cada vez que sta realiza cualquier tipo de movimiento. Evidentemente tratar de calibrar la cmara cada vez que sta se mueve es inviable. Adems, la configuracin interna de una cmara puede variar (movimiento de zoom, enfoque, desajustes mecnicos, variaciones trmicas, etc.) durante la ejecucin de tareas on-line. Todo esto ha provocado que se haya orientado una lnea importante de trabajo al desarrollo de mtodos que permitan una calibracin automtica, es decir, mtodos de autocalibracin. Los mtodos de autocalibracin no necesitan tener conocimiento de ningn dato externo. En su lugar se utiliza la correspondencia de puntos detectados en la escena a lo largo de una secuencia de imgenes. Esto permite que un sistema que lleve incorporado una cmara pueda realizar de forma automtica la calibracin de sta en cualquier momento, ya que simplemente necesita adquirir una secuencia de imgenes de su entorno. Generalmente, los mtodos de autocalibracin involucran un algoritmo de seguimiento de diferentes caractersticas en mltiples imgenes.
3.1.2. Clasificacin de los mtodos de autocalibracin.
Se pueden realizar dos tipos de clasificacin de los mtodos de autocalibracin: una clasificacin puede hacerse en funcin del tipo de movimiento que realiza la cmara, y la otra en funcin de la variacin o no de los parmetros intrnsecos:
Clasificacin segn el tipo de movimiento: General: la cmara puede realizar cualquier tipo de movimiento al estar situada sobre una plataforma mvil. Rotaciones puras: la cmara se encuentra fija en una posicin y puede realizar giros (normalmente sobre sus ejes x e y, azimut y elevacin). Ejemplos de este tipo de cmaras son las de vigilancia o las que se utilizan para retransmisiones deportivas.
- 54 -
Translaciones puras: la cmara no puede realizar ningn giro, slo efectuar translaciones.
Clasificacin segn la variacin de los parmetros intrnsecos: Fijos: se considera que la configuracin de la cmara permanece estable entre las diferentes imgenes captadas. El principal problema que presentan estos mtodos es que si vara algn parmetro intrnseco se debe reiniciar el proceso de calibracin. Variables: se estudia principalmente el efecto de la variacin de la distancia focal o uso del zoom. Unos mtodos consideran que esta variacin afecta slo a la distancia focal mientras que otros suponen que tambin afecta al valor del punto principal de la imagen.
En este proyecto se estn considerando cmaras PTZ (Pan-Tilt-Zoom) por lo que el estudio de los mtodos se centrar en aquellos que consideran que el movimiento de la cmara se limita a rotaciones puras y que los parmetros intrnsecos pueden variar debido al efecto del zoom.

El control del movimiento pan (P) es el responsable de la rotacin horizontal de la cmara al modificar este ngulo. El control del movimiento tilt (T) es el responsable de la rotacin vertical de la cmara al modificar el ngulo vertical. El zoom (Z) es el responsable de que se considere que los parmetros intrnsecos varen de una imagen captada a otra.
Aunque se ha sealado que el estudio de los mtodos de autocalibracin se va a centrar en los que consideran que la cmara slo tiene movimiento de rotacin y zoom, se va a presentar antes uno de los primeros mtodos de autocalibracin. Este mtodo es el de Hartley (1994), y constituye la base de los dems mtodos de autocalibracin basados en el modelo pin-hole. La particularidad de este mtodo es que no contempla el efecto del zoom.
3.1.3. Mtodo de Hartley [Hartley, 1994a].
El mtodo de Hartley se basa en la suposicin de que la configuracin interna de las cmaras permanece constante durante largo tiempo y que slo desajustes de tipo mecnico o trmico afectan a las cmaras. Por tanto, slo se hace necesaria la recalibracin cada cierto tiempo para compensar estas pequeas variaciones, y slo en
- 55 -
los parmetros intrnsecos. Adems asume que el movimiento de las cmaras es slo de rotacin.
Modelo de cmara
Como se explica en el captulo 2 de la memoria (seccin 2.1), en el modelo de cmara pin-hole, un punto M del espacio proyectivo P3 (cuatro coordenadas homogneas y tres cartesianas) se proyecta en un punto m del plano proyectivo P2 (tres coordenadas homogneas y dos cartesianas). Esta proyeccin se puede representar mediante la matriz de proyeccin (expresada en coordenadas cartesianas) (ver ecuacin 2.6):
m = P M
Esta matriz P se puede descomponer en la matriz de parmetros intrnsecos (A) y la matriz de parmetros extrnsecos ([R t]). Ambas matrices fueron definidas en la ecuacin 2.5 del captulo 2.
Cmara con movimiento de rotacin
El objetivo de este mtodo es determinar la matriz de parmetros intrnsecos (A) de una cmara. La cmara que se considera es una cmara estacionaria que rota segn distintas orientaciones. Por conveniencia, el origen del sistema de coordenadas del mundo coincide con el centro ptico de la cmara. De esta forma, el vector de translacin es nulo. Como el vector de translacin es nulo, se pierde la utilidad de utilizar las coordenadas homogneas que se explic en el captulo 1 (realizar la rotacin y la translacin en un solo paso), por lo que en este captulo no se van a considerar coordenadas homogneas sino cartesianas. Por lo tanto la matriz de proyeccin que se considera es:
Pj = A R j
(3.1)
Donde Pj es matriz de proyeccin para una posicin j de la cmara, la matriz de parmetros intrnsecos se mantiene constante para cualquier posicin de la cmara y Rj es la matriz de rotacin para dicha posicin. Se consideran los puntos m y m de la figura 3.1. Dichos puntos son las proyecciones del mismo punto M en dos imgenes distintas. En particular, el punto m es la proyeccin de un punto M de la escena que se est grabando para una determinada configuracin de la cmara; y el punto m es la proyeccin del mismo punto M despus de haber rotado la cmara. La relacin de los puntos m y m con el punto M viene determinada por la matriz de proyeccin (que es distinta en cada caso porque la cmara se ha rotado):
m = ARM
m' = A R 'M
- 56 -
M
m
m'
Fig. 3.1. Proyeccin del mismo punto M en dos planos de imagen diferentes.
Por lo que, despejando M de la primera relacin, la relacin entre los puntos m y m es:
m' = A RR 1 A 1 m
(3.2)
Se puede deducir que dadas dos imgenes tomadas por cmaras con los mismos parmetros intrnsecos, la misma localizacin y rotada una respecto a otra, existe una transformacin proyectiva G que relaciona una imagen con la otra. Esta proyeccin tiene la forma G = A RA 1 , siendo A la matriz de parmetros intrnsecos y R la matriz de rotacin de una de las posiciones de la cmara con respecto a la otra. ( R= R'R .1 ) En este apartado vamos a asociar el concepto cmara a una posicin de rotacin particular de la misma cmara. Consideremos pues que tenemos un nmero N de cmaras cuya matriz de proyeccin es Pj = A R j siendo j = 0, ..., N. Por conveniencia asumimos que los ejes de coordenadas del mundo estn elegidos para alinearse con la primera cmara que se toma como referencia. De forma que R0 = I, la matriz identidad, y, por lo tanto, P0 = A. Se tiene que, dadas N imgenes tomadas por cmaras con los mismos parmetros intrnsecos la misma localizacin y rotada una respecto a otra, existen N transformaciones proyectivas, Gj, que relacionan la imagen de referencia con cada imagen.
G j = A R j A 1
(3.3)
Siendo A la matriz de parmetros intrnsecos y Rj la matriz de rotacin de la j-sima cmara respecto de la primera.
- 57 -
Algoritmo de calibracin
Se parte de una serie de N imgenes (J0, ..., JN) solapadas, donde N > 2. Todas las imgenes han sido tomadas por la misma cmara con una rotacin distinta en cada una. Se pretende hallar la matriz de parmetros intrnsecos de la cmara. Los pasos del algoritmo son los siguientes: 1. Se establecen puntos correspondientes entre imgenes. 2. Para cada imagen rotada, j = 1, ..., N se calcula la transformacin proyectiva Gj (ecuacin 3.3) entre la imagen de referencia, J0, y la j-sima imagen, Jj. 3. Se calcula la matriz de parmetros intrnsecos A que verifica para todo j: A 1 G j A = R j siendo Rj la orientacin de la cmara cuando captura la jsima imagen con respecto a la posicin de la cmara cuando captura la imagen de referencia. 4. Se refinan los parmetros estimados usando el proceso iterativo de LevenbergMarquardt. Mediante este mtodo se podra obtener la matriz A con los parmetros intrnsecos de la cmara. La ventaja que se obtiene es que no hara falta utilizar ningn patrn de calibracin, ni tener ningn conocimiento sobre la escena. El mayor problema que presenta es la precisin a la hora de establecer los puntos correspondientes entre imgenes. Este paso es el primero del mtodo, y el hecho de no lograr una buena precisin provoca que se arrastre un error significativo en el clculo de los parmetros.
3.1.4. Mtodos de autocalibracin de cmaras con movimiento de rotacin y con zoom.
El estudio de mtodos de autocalibracin de cmaras fijas con movimiento de rotacin, como el de Hartley, est bastante desarrollado ya que existen muchas cmaras que slo realizan rotaciones. Ejemplos de estas cmaras son las de vigilancia y las que cubren eventos deportivos. Como la traslacin es nula (T = 0) se eliminan tres parmetros del problema y, por tanto, se simplifican los mtodos con respecto a los que consideran que el movimiento de la cmara es general. El problema que puede presentar este tipo de mtodos es que la traslacin no se puede asegurar que sea nula, ya que, debido a la propia mecnica de las cmaras, su punto de giro puede no coincidir exactamente con su centro ptico. En este apartado se incluye tambin, el estudio del efecto que tiene el zoom en los parmetros intrnsecos de la cmara. Debido al efecto del zoom, estos mtodos incluyen en su modelo la variacin de los parmetros intrnsecos durante la secuencia de imgenes utilizada para la autocalibracin.
- 58 -
Los primeros mtodos que consideraron este nuevo grado de libertad fueron realizados por Agapito [de Agapito et al., 1998] y Seo [Seo and Hong, 1998] [Seo and Hong, 1999]. Se trata de mtodos iterativos que aplican las restricciones que impone la homografa en el infinito. Ambos mtodos consideran que el punto principal y el factor de proporcin son fijos, y que los ejes del plano imagen son ortogonales. Estos mtodos se diferencian en el mtodo de optimizacin utilizado: Agapito usa el de Levenberg-Marquardt mientras que Seo el mtodo de Kantani. Posteriormente, tanto Seo [Seo and K.S.Hong, 2001] como Agapito [de Agapito et al., 1999] han desarrollado variantes lineales de sus mtodos. Agapito desarrolla un mtodo lineal muy similar al de Zhang y basado en la cnica absoluta. Este mtodo precisa de, al menos, tres imgenes captadas para su funcionamiento, aunque pueden ser slo dos si se conoce el punto principal de la imagen. En su variante lineal Seo tambin considera conocido el centro del eje ptico, lo que simplifica las ecuaciones y consigue que slo se necesiten dos imgenes para la calibracin. Agapito tambin ha desarrollado un mtodo completo [Agapito et al., 2000] que se descompone en varias fases: obtencin de una aproximacin inicial mediante el mtodo lineal [de Agapito et al., 1999]; aplicacin del mtodo iterativo [de Agapito et al., 1998]; y refinamiento de los parmetros limitando los errores geomtricos, para lo que se minimiza la Estimacin de la Mxima Probabilidad y la Estimacin del Mximo a Posteriori. En el siguiente apartado se va a estudiar en detalle el mtodo de autocalibracin de Agapito. Este mtodo se plantea a raz del mtodo de Hartley ya estudiado e incluye el efecto que tiene el zoom en el clculo de los parmetros intrnsecos de la cmara. En apariencia este mtodo se plantea como el ideal para realizar la autocalibracin de las cmaras PTZ, aunque a continuacin estudiaremos los problemas que presenta.
3.1.5. Mtodo lineal de Agapito.
El objetivo del mtodo lineal de Agapito es hallar los parmetros intrnsecos de la cmara. Para ello es necesario disponer de una serie de imgenes que graben una misma escena y que hayan sido tomadas con variaciones de rotacin y del zoom. Como en toda tcnica de autocalibracin no es necesario conocer ninguna informacin sobre la escena que se graba. El mtodo lineal de Agapito se basa en la obtencin de la cnica absoluta a partir de la homografa entre imgenes mediante un algoritmo lineal.
- 59 -
Es necesario obtener al menos tres imgenes de la misma escena con distintas orientaciones de la cmara para poder alcanzar resultados correctos. Se considera, por tanto, que la escena permanece inmvil mientras se mueve la cmara. Es necesario establecer las siguientes restricciones: 1. Los ejes del plano imagen son perfectamente ortogonales por lo que las imgenes no sufren distorsin tangencial. 2. Los pxeles son cuadrados por lo que = . Los pasos que hay que realizar son los siguientes:
1. Obtencin de la homografa de cada imagen respecto a una que se toma como referencia.
Un punto 2D de la i-sima imagen, m, se corresponde con un punto 3D de la escena. A partir de la ecuacin 2.6 se tiene:
M = Pi1 m
D
(3.4)
El mismo punto M de la escena se corresponde con otro punto 2D de la j-sima imagen, m mediante la matriz de proyeccin Pj:
m ' = Pj M
D '
(3.5)
Por lo tanto, combinando las ecuaciones (3.4) y (3.5) se puede determinar que los puntos m y m (correspondientes al mismo punto 3D de la escena) est relacionados de la siguiente forma:
m ' = Pj Pi1 m
D '
(3.6)
La homografa entre dos puntos de dos imgenes correspondientes al mismo punto M es: H ij = P ' j Pi1 (3.7) Para calcular la homografa entre dos imgenes, i y j, es necesario considerar al menos cuatro puntos de un mismo plano de cada imagen (ya que una homografa en P n queda definida por n + 2 puntos, luego en P 2 se define con cuatro puntos). En [Hartley, 1997] se indica un mtodo prctico para obtener la homografa a partir de las coordenadas de cuatro puntos de cada imagen.
2. Obtencin de la cnica absoluta.
La cnica absoluta, w, se define a partir de la matriz de parmetros intrnsecos, A:
- 60 -
w = ( A 1 ) T A 1
(3.8)
Si descomponemos la matriz de proyeccin en la matriz de parmetros intrnsecos y la matriz de rotacin (P = A R ya que t = 0) , la homografa de la ecuacin (3.7) queda de la siguiente forma:
H ij = A j R j R i1 A i1 = A j R ij A i1
(3.9)
donde R ij es la rotacin de j con respecto a i (segn se ha visto en el estudio del mtodo de Hartley). Como R ij R T ij = I , la ecuacin (3.9) queda de la siguiente forma:
H ij w i H T ij = w j
(3.10)
donde w i = A i A T i . Se expresa la ecuacin (3.10) en funcin de la cnica absoluta de cada imagen, para ello se aplica la inversa y se obtiene:
T 1 H ij w i H ij =wj
(3.11)
Por lo que se obtiene una ecuacin que permite relacionar la cnica de una imagen con la cnica de otra. A partir de la ecuacin 3.10 si se toma una de las imgenes como referencia (cuya cnica es wj = w0), se puede obtener la cnica de cada imagen a partir de la cnica de la imagen de referencia y la homografa de la imagen i con respecto a la imagen de referencia:
w i = H i0T w o H i01
(3.12)
Teniendo en cuenta las restricciones del mtodo, la cnica absoluta expresada en funcin de los parmetros intrnsecos es (a partir de la ecuacin 3.8):
1 2 w= 0 u 0 2
0 1
v0
2
2
v0 2 2 2 1 + u 0 + v0 2
2
u0
A la vista de esta equivalencia se pueden deducir dos ecuaciones para cada imagen:
wi(1, 2) = 0 wi(1, 1) = wi(2, 2).
(3.13)
El conjunto de todas las ecuaciones, incluyendo las ecuaciones sobre la imagen de referencia se almacena en una matriz E, donde cada fila es una ecuacin. stas se forman aplicando estas restricciones a la ecuacin (3.12).
- 61 -
Con las dos restricciones que se obtienen por cada imagen, se forma un sistema de ecuaciones de la forma E a = 0, donde a es un vector formado por los elementos de la cnica absoluta, w. Para resolverlo, basta con encontrar el vector a que minimice ||Ea|| tal que ||a|| = 1. Esto se consigue descomponiendo en valores singulares la matriz E, y tomando como solucin el autovector correspondiente al auto valor ms pequeo. Al obtener a se reconstruye la matriz w0. Luego se aplica la ecuacin (3.12) para obtener las matrices wi de cada una de las imgenes. A partir de la cnica absoluta se haya la matriz de parmetros intrnsecos, A, que era el objetivo inicial del mtodo.
3.1.5. Conclusiones sobre el estudio de distintos mtodos de autocalibracin.
Es este apartado se han estudiado las ventajas que ofrecen las tcnicas de autocalibracin sobre las tcnicas de calibracin. Estas son fundamentalmente no tener que conocer ningn dato de la escena que se graba y poder realizar una calibracin online. El mtodo de autocalibracin de Agapito parece, en un principio, la tcnica que mejor se adapta a nuestro contexto (cmaras con movimiento de rotacin y con zoom). Mediante este mtodo se pueden calcular, a priori, los parmetros intrnsecos de las cmaras. En el siguiente apartado se va a estudiar el estado del arte del proceso de autocalibracin de cmaras PTZ En este apartado se van a conocer las inconsistencias del mtodo de Agapito cuando la cmara realiza un movimiento pan-tilt.
- 62 -
3.2.
Estudio del estado del arte del proceso de autocalibracin de cmaras PTZ.
3.2.1. Autocalibracin de un sistema arm-eye.
Una cmara PTZ es un sistema formado por una cmara con distancia focal variable (zoom) y una plataforma que permite un movimiento de rotacin con dos grados de libertad (pan-tilt). Este sistema recibe el nombre de sistema arm-eye en la literatura cientfica.
Fig. 3.2. Cmara PTZ. En el apartado referente al estudio de los mtodos de autocalibracin, se ha sealado que de entre todos los mtodos de autocalibracin los que ms se relacionan con un sistema pan-tilt-zoom son aquellos que consideran que la cmara es fija con movimiento de rotacin, realiza movimientos de rotacin pura y la distancia focal puede variar. Se ha visto que los mtodos ms destacados con estas caractersticas son los de Agapito y Seo. El problema que presentan estos mtodos es que si la cmara realiza algunos movimientos particulares, es imposible determinar algunos de los parmetros intrnsecos. En las evaluaciones experimentales de estos mtodos se ha comprobado que los resultados obtenidos son muy inestables a no ser que el movimiento de la cmara contenga alguna rotacin sobre el eje principal (eje Z) de la cmara. Si existe alguna rotacin sobre el eje Z, los resultados obtenidos son buenos. Precisamente, si el movimiento de la cmara es pan-tilt es imposible determinar los parmetros intrnsecos y , pues un movimiento puro de rotacin sobre el eje x o sobre el eje y no aporta ninguna informacin sobre este parmetro. Por tanto la restriccin que se impone en [Agapito et al.1999] (ejes perfectamente ortogonales por lo que no existe distorsin tangencial) es insuficiente para determinar todos los parmetros intrnsecos de la cmara. La explicacin de esto debe hacerse a raz del estudio del mtodo de calibracin de Agapito: el movimiento de una cmara sobre un sistema pan-tilt con respecto a su posicin de referencia puede denotarse como Rx Ry. Es decir una rotacin sobre el eje vertical (panning) seguido de una rotacin sobre el eje horizontal (tilting). Esta matriz de rotacin tiene la propiedad que su elemento (1, 2) es cero. Por lo que la homografa entre las dos imgenes tiene la siguiente forma (3.9):
- 63 -
H 0i
= A0 RxRy
1 0 0 Ai = 0 0
Si tomamos la ecuacin que relaciona la cnica de una imagen i con la cnica de la imagen de referencia (ver ecuacin (3.12):
1 0 0 a1 = 0 a 2 0 a3
a2 a4 a5
wi = H
T 0i
w0 H
1 0i
a3 1 0 0 a5 0 a6 0
Siguiendo el mtodo de Agapito, se puede deducir que el elemento (1,2) de w i no depende del elemento a 4 de w 0 . Esto implica que el factor de escala no puede ser determinado. Se puede hacer el mismo razonamiento considerando que el movimiento pan-tilt con respecto a su posicin de referencia puede denotarse como Ry Rx para demostrar que el factor de escala tampoco puede ser determinado. Este problema ha sido estudiado en [Kahl et al.2000] pero en el contexto de cmaras que tambin pueden realizar un movimiento de translacin. Una contribucin importante de este trabajo es la determinacin de las inconsistencias que se cometen al calcular los parmetros intrnsecos con respecto a los ngulos de rotacin. En [Hayman 2000] se ofrece una clasificacin de las inconsistencias que se producen en los mtodos de autocalibracin cuando la cmara tiene un movimiento pan-tilt, un movimiento pan puro o un movimiento tilt puro. En este trabajo se vuelve a demostrar que no es suficiente considerar constante el factor de escala para solucionar el problema, sino que ste debe ser conocido. En conclusin, aunque en un principio se poda plantear el mtodo de Agapito como el ms idneo para calcular los parmetros intrnsecos de la cmara y la posicin de sta (parmetros extrnsecos), la realidad es que no se puede determinar el factor de escala, por lo que no se pueden calcular los parmetros intrnsecos. Por esta rezn el mtodo de Agapito, aunque a priori pareca el ms idneo, no puede ser utilizado en nuestro contexto. En el siguiente apartado se va a proponer una forma de calibrar una red de cmaras PTZ.
- 64 -
3.2.2. Calibracin de una red de cmaras PTZ.
En este captulo se discute el problema de calibrar una red de cmaras PTZ. Este estudio ha sido realizado por Studipta N. Sinha y Marc Pollefeys [Sinha y Pollefeys, Towards Calibrating a Pan-Tilt-Zoom Camera Network] con el objetivo de poder modelar y reconstruir una escena 3D. Los parmetros intrnsecos de cada cmara dependen del zoom empleado y se estiman en dos pasos. Primero se calculan los parmetros intrnsecos correspondientes al zoom ms pequeo y despus se estiman los parmetros intrnsecos al aumentar el zoom de forma discreta. Ambos pasos son automticos y no es necesario conocer ningn dato de la estructura de la escena. El estudio describe un mtodo automtico para calibrar una red de cmaras PTZ sin necesitar ningn acceso fsico a las cmaras o a la escena donde se van a capturar las vistas. Se van a estimar los valores de los parmetros intrnsecos para todo el rango posible de niveles de zoom. El mtodo no requiere ningn patrn ni otra estructura para realizar la calibracin.
Modelo de cmara
El modelo de cmara asume que el centro de rotacin de la cmara es fijo y coincide con el centro de proyeccin de la cmara durante la operacin de calibracin. Como se explica en el captulo 2 de la memoria, en el modelo de cmara pin-hole, un punto M del espacio proyectivo P3 (cuatro coordenadas homogneas y tres cartesianas) se proyecta en un punto m del plano proyectivo P2 (tres coordenadas homogneas y dos cartesianas). Esta proyeccin se puede representar mediante la matriz de proyeccin (ecuacin (2.6) expresada en coordenadas cartesianas aadiendo el parmetro s de prdida de ortogonalidad):
P = A [R t ] ku A= 0 0
s kv 0
m = P M
u0 v0 1
Esta matriz P se puede descomponer en la matriz de parmetros intrnsecos (A) y la matriz de parmetros extrnsecos ([R t]). Como las cmaras PTZ tienen movimientos de rotacin puros referidos al centro del eje ptico, se elige este punto como centro de las coordenadas del mundo de forma que la translacin es nula, t = 0 . El objetivo es estimar los parmetros intrnsecos desconocidos en funcin del zoom y las rotaciones pan y tilt. El punto principal, (u0, v0), y la distancia focal, f, dependen nicamente del nivel del zoom y no dependen del estado de las rotaciones pan y tilt. Por lo que la matriz de parmetros intrnsecos que se desea estimar es funcin nicamente del nivel del zoom z:
- 65 -
0 u0 ( z) ku ( z) A( z ) = 0 k v ( z ) v0 ( z ) 0 0 1
(3.14)
Como se ha visto, la proyeccin real del punto M de la escena en un punto m de la imagen difiere de la proyeccin ideal (mideal) del modelo pin-hole por causa de la distorsin radial. Si definimos r como la distancia radial del punto m = (u, v) al punto principal de la cmara (u0, v0):
r = u2 + v2
Entonces L(r) es el factor de distorsin del punto real respecto al punto ideal:
L(r ) = 1 + a1 r 2 + a 2 r 4 + a3 r 6 + ...
Este factor de distorsin depende de los parmetros ki, y de la posicin del punto de la imagen con respecto al punto principal (r). Los parmetros ki dependen de la distancia focal, de forma que el efecto de la distorsin radial disminuye segn aumenta la distancia focal, por lo que el modelo de distorsin (al que llamaremos RD) radial tambin depende del zoom.
u ideal u v v = L( r ) ideal
RD( z ) = (a1 ( z ), a 2 ( z ) a3 ( z ), u 0 ( z ), v0 ( z ) )
El proceso de calibracin consistir en calcular A(z) y RD(z) para todo el rango posible de zooms desde el zoom mnimo hasta el mximo avanzando en pasos discretos segn una escala logartmica.
Cmaras con zoom y con movimiento de rotacin
Se consideran los puntos m y m. Dichos puntos son las proyecciones del mismo punto M en dos imgenes distintas. El punto m es la proyeccin de un punto M de la escena que se est grabando para una determinada configuracin de la cmara; y el punto m es la proyeccin del mismo punto M despus de haber rotado, cambiado el zoom de la cmara o ambas cosas. La figura 3.3 la correspondencia de un mismo punto (ma) en dos imgenes distintas en las que se ha variado el zoom, y la correspondencia de un mismo punto (mb) en dos imgenes distintas en las que se ha rotado la cmara
- 66 -
I2
m' A mA
mB
I1 m' B
I3
z2 z1
Fig. 3.3. Correspondencia entre puntos de distintas imgenes cuando hay un movimiento de rotacin y de zoom. La relacin de los puntos m y m con el punto M viene determinada por la matriz de proyeccin (que es distinta en cada caso porque la cmara se ha rotado y/o se le ha cambiado el nivel de zoom):
m=ARM
D
m' = A 'R 'M'
Por lo que la relacin entre los puntos m y m es:

m' = A ' R ' R 1 A 1 m
D
(3.15)
Los parmetros intrnsecos permanecen iguales para una rotacin pura si se mantiene constante el nivel del zoom. Por lo que si consideramos que de una vista a otra no variamos el nivel del zoom, la ecuacin (3.15) se reduce a:
m' = A ' R ref A 1 m
(3.16)
Donde Rref = RR-1 representa la rotacin de la cmara relativa al centro de proyeccin entre las dos vistas; y A es la matriz de parmetros intrnsecos para un nivel de zoom determinado. De la misma forma si la cmara slo vara su zoom y no efecta ninguna rotacin entre la toma de las dos vistas, la ecuacin (3.15) se reduce a:
m' = A ' A 1 m
(3.17)
Ambas operaciones representan homografas que vienen dadas por Hrot y Hzoom.
- 67 -
H rot = A ' R A 1 H zoom = A ' A 1 Procedimiento de calibracin
(3.18) (3.19)
Como ya se ha indicado, el algoritmo de calibracin tiene dos fases: 1. Se estiman los parmetros intrnsecos correspondientes al menor nivel de zoom, con los que se obtiene A. 2. Se calculan los parmetros intrnsecos correspondientes a varios incrementos discretos del zoom, con los que se obtiene A ' . La notacin que se va a seguir en este desarrollo es la siguiente:
Ii son las imgenes capturadas por la cmara. Estas imgenes se guardan en una rejilla segn sea la posicin de rotacin de la cmara (ver figura 3.5). Hi y Vj representan las homografas (Hrot) entre dos imgenes adyacentes horizontal y verticalmente. Ti representa la homografa (Hrot) entre cualquier imagen y la imagen que se escoja como referencia (Ir).
1. Estimar los parmetros intrnsecos para el nivel de zoom mnimo.
El primer paso para hallar los parmetros intrnsecos es determinarlos para el nivel de zoom ms bajo. Esto se hace a partir de imgenes capturadas por la cmara cuando efecta un movimiento de rotacin (no se vara el zoom en ningn momento). Se debe calcular la homografa, Hrot, entre cada una de las imgenes capturadas y una que se escoge como referencia.
Fig. 3.4. Imgenes capturadas por la cmara cuando se efecta un movimiento de rotacin.
- 68 -
Durante la fase de captura, las imgenes adquiridas se disponen en una rejilla para cada paso pan y tilt. La figura 3.5. muestra 18 imgenes capturadas en 6 pasos pan y 3 pasos tilt con el mismo nivel de zoom:
Fig. 3.5. Figura extrada de [Towards Calibrating a PTZ Camera Network (Sinha y Pollefeys)]. Se calculan las homografas (Hrot) entre todas las parejas de imgenes adyacentes horizontales, Hi, y todas la parejas de imgenes adyacentes verticales, Vi siguiendo el mtodo expuesto en la ecuacin 3.18. Una de las imgenes, Ir, es elegida como imagen de referencia, y se calculan las homografas Ti entre cada imagen y la imagen de referencia. Cada homografa Ti se calcula como una composicin de secuencias de transformaciones (..Ha, Hb, .. Vc, Vd ...) a travs de las imgenes que conectan cada imagen con la imagen de referencia. Una estimacin exacta de las homografas Ti para todas las imgenes permitira el alineamiento multi-imagen en el plano de la imagen de referencia. Pero si se acumulan errores residuales en la composicin de las homografas el mosaico final que se obtendr al alinear las imgenes tendr errores significativos. La alineacin global de imgenes se logra a travs de un conjunto de ajustes (es necesario usar una implementacin eficiente para tratar con un alto nmero de imgenes). El ajuste del conjunto se inicializa a partir el conjunto de homografas calculadas, Ti, y construyendo una lista de caractersticas globales a partir de las coincidencias entre las parejas de imgenes horizontales y verticales. El ajuste del conjunto realiza una minimizacin global que produce la estimacin de mxima igualdad de los parmetros del modelo cuando se asume que el error cometido entre el punto real de la imagen y el punto ideal (ver captulo 2) es un ruido gaussiano de media cero.
- 69 -
Esto es usado primeramente para estimar todas las homografas Ti, los parmetros de distorsin global, RD(zmin), y las caractersticas de la imagen, I0 que minimiza el error cuadrtico medio entre las caractersticas de la imagen y los puntos proyectados.
min T , RD ( z
i
min ), M
D mij , RD(Ti I 0 )
k =1 i =1
A partir de las homografas calculadas, Ti, se estima la matriz de parmetros intrnsecos correspondiente al nivel de zoom mnimo, A(zmin), utilizando el algoritmo lineal de Hartley para calcular parmetros intrnsecos de una cmara con movimiento de rotacin. El valor de A(zmin) y R(zmin) obtenidos se refina minimizando el error de proyeccin:
min A( z
min ), RD ( z min ), M
D mij , A( RD( Ri I 0 ))
k =1 i =1
2. Calibracin de una secuencia con zoom.
La calibracin de todo el rango de zooms se realiza construyendo un mosaico y repitiendo el proceso descrito en el paso 1 con mltiples pasos dentro del rango del zoom de la cmara. Para ello se sita la cmara en una direccin fija y se adquiere una secuencia de imgenes aumentando el zoom de forma progresiva y sin rotar la cmara. A continuacin se estima las homografas, Hzoom, entre cada par de imgenes dentro de la secuencia. Esto requiere un menor nmero de imgenes y el proceso es considerablemente ms rpido que en el primer paso. El siguiente paso es calcular la matriz de parmetros intrnsecos, A(zi), y la distorsin radial, RD(zi), para cada nivel de zoom zi registrado en cada paso de la secuencia. Esto se realiza recorriendo por parejas las imgenes de la secuencia y ajustando los valores para cada nivel zi a partir de los valores de A(zi-1) y RD(zi-1), calculados en el paso anterior, minimizando el error de proyeccin:
min A( z ), RD ( z ),M j
i i
D(m
m n k =1 i =1
, A( RD( I 0 ))
Los parmetros obtenidos se refinan minimizando el mismo error de proyeccin sobre todas las imgenes de la secuencia.
- 70 -
3.3.
Conclusin.
En este captulo se ha estudiado que los mtodos de autocalibracin ofrecen importantes ventajas sobre los mtodos de calibracin que se han estudiado en el captulo 2 de la memoria. Las principales ventajas son que permiten calibrar los parmetros de la cmara sin la necesidad de conocer la posicin de los puntos 3D de la escena (M) respecto a algn sistema de coordenadas del mundo; y que permiten una calibracin online de la cmara. Por otra parte, se ha comprobado que el estudio de los mtodos de autocalibracin es una lnea de investigacin que est muy abierta en la actualidad. Existen fuertes inconsistencias en los mtodos dependiendo del contexto y del tipo de cmaras que se utilicen. Un ejemplo de estas inconsistencias es la imposibilidad de calibrar las cmaras PTZ mediante el mtodo de Agapito si se desconoce el factor de escala. En el captulo 2 se concluy que el mtodo de Zhang es un mtodo muy flexible y que, por tanto, resulta til para calibrar los parmetros intrnsecos de la cmara. En este captulo, se ha estudiado que es posible desarrollar un mtodo de autocalibracin de cmaras PTZ basndose en el mtodo de Hartley y evitando los problemas que se han descrito en el mtodo de Agapito. Mediante este mtodo sera posible determinar los parmetros intrnsecos de la cmara, pero no los parmetros extrnsecos pues no se puede averiguar el factor de escala mediante un mtodo de autocalibracin con una cmara fija que slo tienen movimiento de rotacin. Por esta razn no se puede conocer la posicin de una cmara PTZ respecto a un sistema de referencia (objetivo principal de este trabajo) mediante tcnicas de autocalibracin. Hay que sealar que actualmente existen estudios de mtodos de autocalibracin que tratan de conseguir los parmetros extrnsecos mediante un mnimo de 4 cmaras y conociendo los parmetros intrnsecos de stas. Nuestro contexto es el de 3 cmaras PTZ por lo que no se puede avanzar en esta lnea. No obstante, el mtodo descrito para autocalibrar cmaras PTZ y determinar los parmetros intrnsecos es todava ms flexible que el de Zhang, por lo que su implementacin constituira una lnea de mejora del presente trabajo.
- 71 -
Calibracin de varias cmaras PTZ que graban una misma escena
4. Calibracin de varias cmaras PTZ que graban una misma escena.

4.1. Introduccin.
En este captulo se va a desarrollar el objetivo principal de este proyecto. El objetivo es desarrollar un mtodo que permita conocer la posicin de varias cmaras que graban una misma escena con respecto a un sistema de referencia comn. El contexto en el que se va a desarrollar el mtodo es un sistema formado por tres cmaras PTZ que estn ubicadas en el vestbulo de la Escuela Politcnica Superior de la Universidad Autnoma de Madrid. Con el fin de desarrollar aplicaciones futuras que permitan la obtencin de la posicin 3D de los objetos que graban las tres cmaras, se va a desarrollar el mtodo inverso: conocer la posicin de las tres cmaras PTZ respecto a un sistema de referencia que graben las tres cmaras. En el segundo captulo se ha implementado el mtodo de calibracin de Zhang con el objetivo de calibrar los parmetros intrnsecos de las cmaras y se han hecho pruebas sobre cmaras fijas para evaluar la fiabilidad del mtodo implementado. Las pruebas realizadas han permitido concluir que el mtodo de Zhang es un mtodo flexible y fiable para calibrar los parmetros intrnsecos de la cmara por lo que se puede emplear para obtener los de las cmaras PTZ. El principal problema que presenta el mtodo de Zhang a la hora de calibrar los parmetros extrnsecos de la cmara (es decir los que nos van a dar la posicin de la cmara respecto del sistema de referencia elegido), es que necesita que el patrn de calibracin ocupe casi toda la imagen por lo que, a priori, no parece un mtodo prctico para aplicarlo en nuestro contexto (ya que el patrn ha de ser visible simultneamente por todas las cmaras). En el captulo 3 se han estudiado las posibilidades de obtener los parmetros extrnsecos e intrnsecos de la cmara mediante tcnicas de autocalibracin. Se han analizado las inconsistencias que tienen estas tcnicas en cmaras PTZ debido a sus particulares movimientos de rotacin. Adems se ha comprobado que es imposible determinar el factor de escala con un nmero tan reducido de cmaras. La idea inicial de este proyecto era desarrollar el objetivo principal mediante tcnicas de autocalibracin. Este estudio ha mostrado que no es posible determinar la posicin de las cmaras respecto a un sistema de referencia mediante tcnicas de autocalibracin en este particular contexto. Como solucin se va plantear una aplicacin basada en el mtodo de Zhang que permita aplicarse de forma prctica (sin necesidad de que el patrn de calibracin ocupe la mayor parte de la imagen). Esta aplicacin consta de dos pasos bien diferenciados: 1. Clculo de los parmetros intrnsecos de la cmara mediante el mtodo de calibracin de Zhang.
- 72 -
Clculo de los parmetros extrnsecos de la cmara en escenas en las que el patrn de calibracin sea muy sencillo y ocupe una pequea parte de la imagen. Antes de desarrollar la aplicacin, en la siguiente seccin se van a presentar las especificaciones de la cmaras PTZ con las que se va a desarrollar el mtodo. 2.
4.2.
Cmaras PTZ.
El modelo de las tres cmaras PTZ es la SONY SNC RZ50P. Estas tres cmaras estn conectadas a una red IP.
Fig. 4.1. Cmara SONY SNC RZ50P.
4.2.1. Especificaciones de la cmara.
La cmara SONY SNC RZ50P es una cmara motorizada con zoom ptico integrado (26x) y funcin da/noche. Alcanza un nivel de 25 imgenes por segundo y tiene una resolucin VGA de 640x480. Los parmetros intrnsecos de la cmara varan segn el nivel de zoom como se ha explicado en el tercer captulo. A continuacin se describen estos parmetros.
4.2.1.1. Factor de escala.
Como se ha explicado en el segundo captulo, el factor de escala indica la proporcin de tamao de un objeto visto en la realidad respecto a su proyeccin en el plano imagen y depende de los siguientes parmetros:
k u (z ) = s d u f (z ) k v (z ) = d v f (z )
Donde s es el factor de proporcin, f es la distancia focal y (du, dv) son los factores de conversin pxel-milmetros. Se expresa el factor de escala y la distancia focal como funcin de z para especificar que dependen del nivel de zoom.
- 73 -
El dispositivo sensor es un CCD en color de tipo . El tamao del pxel del pxel es de 3,85m( H ) 3,5m(V ) . De este dato se deduce que el factor de proporcin s es: 3,5 s= = 0,90909 3,85 Y que los factores de conversin son:
du =
1 pxeles = 259,74 0.00385 mm. 1 pxeles = 285,71 0,0035 mm.
dv =
La distancia focal depende del nivel de zoom ptico utilizado. Por tanto, los factores de escala tambin. Los valores que toma son los siguientes: Zoom ptico x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 x14 x15 x16 x17 x18 x19 x20 x21 x22 x23 x24 x25 x26 Valor de la distancia focal f [mm.] 3,5 7 10,5 14 17,5 21 24,5 28 31,5 35 38,5 42 45,5 49 52,5 56 59,5 63 66,5 70 73,5 77 80,5 84 87,5 91 Valor de los factores de escala (ku, kv).
843,36 1.686,72 2.530,08 3.373,44 4.216,8 5.060,16 5.903,52 6.746,88 7.590,24 8.433,6 9.276,96 10.120,32 10.963,68 11.807,04 12.650,4 13.493,76 14.337,12 15.180,48 16.023,84 16.867,2 17.710,56 18.553,92 19.397,28 20.240,64 21.084 21.927,36
Tabla 4.1. Valores de la distancia focal y el factor de escala para cada nivel de zoom. - 74 -
4.2.1.2.
Punto principal de las cmaras PTZ.
El punto principal de la cmara (punto donde el eje ptico corta el plano principal de la imagen) tambin depende del nivel del zoom. Cuando el nivel de zoom es el mnimo (x1), en la fabricacin se intenta que el punto principal sea el centro de la imagen. En realidad, el punto principal no suele ser el centro exacto de la imagen, y cada cmara fabricada tiene un punto principal diferente. Cuando el nivel de zoom aumenta, el punto principal vara segn el nivel aumentado. El parmetro de la cmara Area Zoom define la posicin del punto principal. Los argumentos de este parmetro son AreaZoom = x,y,w,h, siendo x, y, w, h los valores del siguiente dibujo:
Fig. 4.2. Plano imagen. Valores del parmetro AreaZoom. Es decir los valores x e y definen la posicin del punto principal de la cmara con respecto al centro de la imagen para cada distinto nivel de zoom. Cuando los valores de w y h son cero, el nivel de zoom es el mnimo. Por lo tanto, es necesario calibrar el punto principal para cada nivel de zoom empleado.
4.2.1.3. Movimiento pan de la cmara.
Los parmetros extrnsecos de la cmara dependen de la posicin del sistema de referencia del mundo, de la posicin de la cmara y del movimiento pan y tilt que tenga la cmara en cada instante. Como la posicin de las cmaras es fija, y la posicin del sistema de referencia del mundo que se va a considerar es fija tambin, el vector de translacin va a permanecer constante con independencia del movimiento pan-tilt que tenga la cmara. La matriz de rotacin, sin embargo, s va a variar conforme varen los movimientos pan y tilt de la cmara. A continuacin se describe el rango dinmico de estos movimientos.
- 75 -
La rotacin sobre el eje horizontal de la cmara puede modificar el ngulo en un rango de 340 grados segn indica la figura 4.3:
Fig. 4.3. Vista superior de la cmara. Rango de los ngulos horizontales que puede tomar la cmara. La posicin pan de la cmara puede ser escrita o leda mediante el parmetro AbsolutePanTilt. Este parmetro est formado por tres argumentos, el primero de los argumentos indica la posicin pan de la cmara. Este argumento se representa con un valor hexadecimal. Como se puede ver en la figura 4.3, el valor 0000 corresponde a la posicin de referencia de la cmara, el valor F670h corresponde a una rotacin horizontal de 170 hacia la derecha, y el valor 0990h corresponde a una rotacin horizontal de 170 hacia la izquierda.
4.2.1.4.
Movimiento tilt de la cmara.
La rotacin sobre el eje vertical de la cmara puede modificar el ngulo en un rango de 115 grados (25 hacia arriba y 90 hacia abajo) segn indica la figura 4.4. La posicin tilt de la cmara tambin puede ser escrita o leda mediante el parmetro AbsolutePanTilt. El segundo de los argumentos de este parmetro indica la posicin tilt de la cmara. Este argumento se representa con un valor hexadecimal. Como se puede ver en la figura 4.4, el valor 0000 corresponde a la posicin de referencia de la cmara (que no es la posicin correspondiente al eje ptico en posicin horizontal), el valor 033Ch corresponde a una rotacin vertical de 57,5 hacia arriba, y el valor FCC4h corresponde a una rotacin vertical de 57,5 hacia abajo.
- 76 -
Fig. 4.4. Vista lateral de la cmara. Rango de los ngulos horizontales que puede tomar la cmara.
4.2.2. Posicin de las tres cmaras.
Las tres cmaras PTZ se encuentran distribuidas en el vestbulo de entrada de la EPS de la UAM. Como centro de coordenadas del mundo se va tomar el centro de una DIN-A4 colocada en la entrada de la EPS y que se encuentra en la escena que graban las tres cmaras. Los parmetros extrnsecos de las cmaras estarn referidos respecto de este centro de coordenadas. Como las cmaras son fijas (estn sujetas al techo y slo tienen los dos movimientos de rotacin pura pan y tilt) y el centro de coordenadas del sistema de referencia del mundo tambin es fijo, los tres parmetros del vector de translacin (t x t y t z ) tambin son fijos. Los parmetros extrnsecos que pueden variar en todo momento son los de la matriz de rotacin, y lo harn conforme al movimiento pan-tilt de la cmara.
Fig. 4.4bis. Vestbulo donde estn las cmaras. - 77 -
4.3.
Clculo de los parmetros intrnsecos de las cmaras mediante el mtodo de calibracin de Zhang.
En este apartado se va a calibrar una de las tres cmaras PTZ mediante el mtodo de Zhang. Como las tres cmaras son iguales, los parmetros intrnsecos calculados sern los mismos para las tres cmaras. El procedimiento utilizado para la calibracin es el mismo que se explic en el captulo 2. Como los parmetros intrnsecos varan dependiendo del nivel de zoom (ver apartado 4.2.1.), ser necesario calibrar la cmara con distintos niveles de zoom, obteniendo resultados diferentes para cada nivel.
4.3.1. Calibracin con el nivel ms bajo de zoom.
Como se puede ver en la tabla 4.1., la distancia focal correspondiente al nivel ms bajo de zoom es f = 3,5 mm. En el captulo 2 se estudi que la distorsin radial era mayor cuanto menor era la distancia focal por lo que en este nivel de zoom se tendr la mayor distorsin. Para la calibracin se han considerado 5 imgenes del patrn y 9 puntos por cada imagen y se han seguido los criterios explicados en el captulo 2.4. a la hora de obtener las imgenes. En la Fig. 4.5. se muestran las 5 imgenes que se han utilizado.
Fig. 4.5. Imgenes utilizadas para la calibracin con zoom x1.
- 78 -
En la tabla 4.2 se muestran los valores de los parmetros intrnsecos de las tres cmaras obtenidos en comparacin a los valores reales. Nos referimos a cada cmara para distinguirlas con el ltimo nmero de sus direccin IP (cmara 100, cmara 101 y cmara 102).
Cmara 100 Cmara 101 Cmara 102
Parmetros Datos reales Resultados Error Resultados Error Resultados Error
ku 843 840 0,3 % 840 0,3 % 840 0,3 %
kv 843 869 3% 870 3% 870 3%
u0 320 322 0,6 % 330 1,2 % 330 1,2 %
vo 240 244 1% 247 1,2 % 245 1,2 %
Tabla 4.2. Valores obtenidos con nivel de zoom x1 (f = 3,5 mm.) Se puede apreciar que el error cometido es similar al que se ha obtenido en las pruebas sobre cmaras fijas del captulo 2. Un aspecto importante de los resultados es comprobar que el punto principal de la imagen depende de la fabricacin de cada cmara y que no coincide exactamente con el centro de la imagen.
4.3.2. Calibracin con distintos niveles de zoom.
Actuando de la misma forma que en el apartado anterior se han calibrado los parmetros intrnsecos con los siguientes niveles de zoom: x2, x4 y x8. A partir de este valor del zoom la calibracin no se puede realizar con precisin debido al enfoque de las cmaras que provocan la obtencin de imgenes muy distorsionadas. El nivel de zoom de la cmara se programa envindole por IP el siguiente comando:
http://192.168.1.100//command/ptzf.cgi?AbsoluteZoom=CDIGO_ZOOM
donde CDIGO_ZOOM toma el valor que corresponda al zoom deseado segn la tabla 4.3 extrada del manual SNC-RZ50N/P CGI command manual de SONY:
- 79 -
Tabla 4.3. Cdigo asociado a cada zoom. As el comando

http://192.168.1.100//command/ptzf.cgi?AbsoluteZoom=1760
fuerza que el zoom de la cmara sea x2.
En las siguientes tablas se recogen los valores de los parmetros intrnsecos obtenidos para los distintos niveles de zoom que se han considerado. Estos valores son comparados con los valores reales. La comparacin no se realiza con respecto al punto principal, pues ya se ha indicado que al aumentar el zoom, ste se desplaza del centro de la cmara y se desconoce su valor. Si se constata que el desplazamiento producido es proporcional en ambos ejes.
ku 1.686 1.640 0,3 % kv 1.686 1.700 3% u0 361 vo 294 -
Datos reales Resultados Error cometido
Tabla 4.4. Valores obtenidos con nivel de zoom x2 (f = 7 mm.)
- 80 -
ku 2.350 2.400 2%
kv 2.360 2.400 1,6 %
u0 361 -
vo 294 -
Tabla 4.5. Valores obtenidos con nivel de zoom x3 (f = 10,5 mm.)
ku 3.372 3.369 0,01 %
kv 3.372 3.390 0,05%
u0 361 -
vo 294 -
Tabla 4.6. Valores obtenidos con nivel de zoom x4 (f = 14 mm.) Se observa que el error cometido al obtener los resultados es similar al producido en el captulo 2 cuando se prob el mtodo de Zhang con cmaras fijas. La comparacin de los datos obtenidos con los datos reales slo puede realizarse respecto a los factores de escala ya que el valor del punto principal vara con el nivel de zoom, y este dato no figura en las especificaciones.
- 81 -
4.4.
Clculo de los parmetros extrnsecos de las cmaras conocida la matriz de parmetros intrnsecos.
4.4.1. Introduccin.
En el captulo 2 se estudi con detalle el desarrollo del mtodo de Zhang y su implementacin. En dicho captulo se indic que tericamente eran necesarias al menos tres imgenes (en la prctica eran ms) para calibrar la cmara. Sin embargo esta restriccin slo afecta a la hora de calcular los parmetros intrnsecos de la cmara. Como se ver a continuacin, para el clculo de los parmetros extrnsecos slo es necesario disponer de una imagen j, si se conocen los parmetros intrnsecos de la cmara y la matriz de proyeccin, Pj, de un determinado nmero de puntos de la imagen. De hecho, el mtodo de Zhang calcula una matriz de parmetros extrnsecos para cada imagen que se utiliza para la calibracin (pues esta matriz vara para cada imagen al mover el patrn de calibracin). La idea de este apartado consiste en tomar como patrn un elemento plano de dimensiones conocidas, calcular la matriz de proyeccin Pj de ciertos puntos del patrn en una imagen siguiendo el mtodo de Zhang y calcular la matriz de parmetros extrnsecos a partir de la matriz de proyeccin, Pj, y la matriz de parmetros intrnsecos, A (que es conocida de antemano). Si se escoge un patrn que permita obtener los puntos de forma automtica, ser posible conseguir la posicin de las cmaras con respecto a un sistema de referencia (donde se colocar el patrn), tambin de forma automtica. Como ya se comprob en el captulo 2 para que el mtodo se pueda resolver numricamente es necesario que el patrn de calibracin ocupe casi toda la imagen. De lo contrario, si los puntos considerados estn muy cerca la relacin seal a ruido que se introduce es muy baja y los resultados tienen un error muy grande. Utilizar un patrn de calibracin que ocupe casi toda la imagen es inviable para la mayor parte de las situaciones (recurdese que el patrn ha de ser visible simultneamente por todas las cmaras) de la aplicacin que se desea desarrollar, ya que se pretende que las tres cmaras estn grabando el mismo patrn. La solucin que se propone consiste en considerar varias imgenes de la misma escena grabadas con distinto zoom. En este caso la matriz de parmetros extrnsecos no vara para ninguna de las imgenes. No obsatante, exige conocer la matriz de parmetros intrnsecos A para cada nivel de zoom. Si aplicamos el mtodo en cada una de las imgenes, obtendremos tantas homografas como imgenes. Cada una de las imgenes tendr su propio ruido, pero los ruidos de cada imagen son linealmente independientes, por lo que si promediamos los valores de cada imagen el resultado tender a converger al valor real (teorema del lmite central). Como la cmara es PTZ (est fija) una solucin alternativa consiste en aplicar este mismo concepto a varias imgenes rotando la cmara para obtener un mayor nmero de homografas. En este caso no se podr obtener la matriz de rotacin (ya que sta vara al - 82 -
variar la cmara) pero s se podr obtener el vector de translacin (que permanece constante), y bastar con disponer de A para un solo nivel de zoom. El objetivo de este apartado es evaluar si es posible obtener resultados convergentes para un nmero razonable de imgenes.
4.4.2. Desarrollo del mtodo.
Como ya se ha explicado en el captulo 2, el clculo de la matriz de proyeccin, P, es anlogo al del apartado 2.2.1., pero eliminando la coordenada z. De esta forma el sistema de ecuaciones que se obtiene es (ecuacin 2.18):
X 0
Y 1 0 0
0 X
0 0 u X Y 1 v X
u Y v Y
u p=0 v
(4.17)
donde p es una matriz columna que contiene los 9 elementos de la matriz P:

p = [ p11
p12
p13
p 21
p 22
p 23
p 31
p32
p33 ]
(4.18)
Al igual que en el apartado 2.2.2., se consideran n puntos de la misma imagen para establecer 2n ecuaciones. Este sistema se resuelve hallando el valor singular ms pequeo de la SVD de la matriz del sistema, y utilizndolo como punto de partida del mtodo no lineal que busca minimizar la diferencia entre el punto medido y el punto proyectado. Una vez obtenida la matriz de proyeccin, Pj, se calculan los parmetros extrnsecos, despejndolos de la homografa del modelo de cmara de Zhang (captulo 2.2.2, ecuacin 2.15):
Pj = A [r1 r2
t]
r2
(4.19)
t ] la
donde es el factor de escala, A la matriz de parmetros intrnsecos y [r1 matriz de parmetros extrnsecos.
Para despejar la matriz de parmetros extrnsecos se pasa la matriz de parmetros intrnsecos al otro lado de la ecuacin (4.19):
A 1 P j = [r1 r2
t]
(4.20)
Si se expresa la matriz de proyeccin Pj en funcin de sus columnas Pij, la ecuacin (4.20) resulta de la siguiente forma, donde A-1Pji es la columna i de la matriz resultante.
A 1 P j 1
A 1 P j
A 1 P j
] = [r
r2
t]
(4.21)
- 83 -
En esta ecuacin son conocidas las matrices A 1 y Pj, pero no el factor de escala . Para determinarlo, se tiene en cuenta qua la norma de r1 es la unidad (ya que r es la matriz de rotacin).
A 1 P j 1 = r1 = 1
Se despeja de la ecuacin (4.22).
(4.22)
1
A Pj
1
1
(4.23)
como ya se ha indicado, el problema que presenta el mtodo de Zhang es que precisa que los puntos considerados en la imagen estn bastante alejados entre s para que no haya una relacin seal a ruido muy baja en la homografa calculada. El ltimo paso consiste en promediar los valores de j A 1 Pj obtenidos de cada imagen j (j = 1,..,N) que se utilice, para disminuir esta relacin seal a ruido. De esta forma los valores que se obtendrn de los parmetros extrnsecos sern ms exactos.
A P =
1
j =1
j A 1 Pj
N
(4.24)
Una vez promediados los valores obtenidos, se pueden calcular los parmetros extrnsecos a partir de la ecuacin (4.21). En el caso de haber utilizado imgenes con la misma posicin y variando nicamente el zoom (lo que exige matrices A distintas para cada nivel de zoom), todos los valores son vlidos. Si adems se han utilizado imgenes obtenidas al rotar la cmara, nicamente es vlido el valor del vector de translacin.
r1 = A 1 P 1 A 1 P 1 A 1 P 2 A 1 P 1
(4.25)
r2 =
(4.26)
r3 = r1 r2 t= A 1 P 3 A 1 P 1
(4.27) (4.28)
- 84 -
4.4.3. Implementacin del mtodo.
Este mtodo se ha implementado en cdigo Matlab al igual que todos los dems. Como patrn de calibracin se ha utilizado una DINA-4, y se han considerando 9 puntos del patrn. El centro de coordenadas del sistema de referencia es el centro del la DINA-4. Los puntos considerados se muestran en la siguiente imagen.
Fig. 4.6. Puntos considerados de la DINA-4. La ventaja de considerar este patrn es que permite encontrar y calcular los puntos de forma automtica. Basta con indicar cul es la referencia (el DINA-4) para hallar la posicin de las cmaras con respecto a esta referencia. La forma de hallar los puntos es la siguiente. El usuario slo tiene que marcar un punto de la DINA-4 y mediante un algoritmo de deteccin de regiones implementado en Matlab (growRegion.m) se calculan los pxeles que ocupan la DINA-4. Una vez conocida la regin, es sencillo calcular la posicin de las esquinas y de los puntos medios de los lados. Esta forma de hallar los puntos se puede mejorar considerando un detector de puntos que encuentre las esquinas de la DINA-4. De esta forma, ni siquiera hara falta que el usuario marcar un punto de la regin.
4.4.4. Pruebas sobre el mtodo y conclusiones.
El mtodo puede tener tres variantes distintas a la hora de elegir las imgenes que se van a utilizar. 1. Considerar distintas imgenes variando la rotacin de la cmara (barrido). De esta forma slo se puede calcular el vector de translacin, ya que la matriz de rotacin vara de una imagen a otra. 2. Considerar distintas imgenes variando el zoom de la cmara. De esta forma se pueden calcular todos los parmetros extrnsecos (tanto la matriz de rotacin como el vector de translacin) ya que no varan de una imagen a otra. 3. Combinar imgenes variando el zoom y la rotacin de la cmara. - 85 -
Con el nico fin de comprobar la validez del mtodo propuesto se va a calcular nicamente el vector de translacin (ya que es el nico parmetro extrnseco que se puede medir en la escena). Por lo tanto se van a considerar distintas imgenes variando la rotacin de la cmara (barrido) por una mayor comodidad Si se deseara calcular tambin la matriz de rotacin, slo se podran considerar imgenes en las que se ha variado el zoom (y utilizar una matriz de parmetros intrnsecos para cada una). No obstante, la matriz de rotacin puede se calculada una sola vez con una posicin pan-tilt de referencia. Para determinar la matriz de rotacin que se obtiene con otra posicin de la cmara, basta con recoger los valores pan y tilt del parmetro AbsolutePanTilt, y calcular la matriz de rotacin con respecto a la que se ha calculado como referencia. En este apartado se va a analizar cuantas imgenes es necesario utilizar para que los valores obtenidos del vector de translacin converjan en los valores reales. La viabilidad del mtodo depender de la cantidad de imgenes que se necesite.
4.4.4.1. Secuencia de imgenes grabadas con un barrido pan.
Se toma una serie de imgenes de la DIN-A4 mediante un barrido pan de la cmara. Para forzar una posicin determinada de la cmara se la enva el siguiente comando por IP: http://192.168.1.100//command/ptzf.cgi? AbsolutePanTilt=F93F,0138,24 Para realizar el barrido pan es necesario ir cambiando el argumento pan (el primero) de la instruccin AbsolutePanTilt. El ngulo con el que se rota la cmara se puede conocer gracias a la relacin entre el valor hexadecimal del argumento pan y su correspondencia en grados. Esta correspondencia se puede extrae de la Fig. 4.3. en la que se muestra que el valor F670h corresponde con un ngulo de 170. En este caso, cada imagen ha sido tomada rotando la cmara 0,054 con respecto a su posicin anterior. La figura 4.7 muestra la secuencia de imgenes grabadas mediante el barrido pan. Se aprecia que el patrn utilizado tiene un tamao bastante reducido. La distancia (vector de translacin t) entre la cmara y el centro del patrn (origen del sistema de referencia es de 3,5 m. El conjunto de imgenes que se ha tomado es mayor que 12 pero se han utilizado distintos subgrupos para validar los resultados.El mtodo implementado se ha ejecutado para un nmero progresivo de imgenes con el fin de estudiar como disminuye el error cometido al medir el vector de translacin a medida que aumenta el nmero de imgenes utilizadas. Como ya se ha indicado, nicamente es necesario marcar un punto cualquiera de la DIN-A4 en cada imagen para indicar cul es el sistema de referencia.
- 86 -
Fig. 4.7. Secuencia de imgenes grabadas mediante un barrido pan. La siguiente grfica muestra el valor del vector T obtenido para cada nmero de imgenes utilizadas.
Fig. 4.8. Valor obtenido del vector de translacin t (m) Como se puede apreciar en la grfica, el error cometido si se considera un nmero muy pequeo de imgenes es relativamente alto. Este error llega a valer 15 cm. ( 4%). Como se ha indicado en la introduccin de este apartado, el error que se comete es debido a que los puntos del patrn estn muy cerca entre s, haciendo que la relacin seal a ruido no sea muy alta.
- 87 -
Tambin se puede ver que a medida que aumenta el nmero de imgenes, el valor de T tiende a converger rpidamente a su valor real. As entre 5 y 8 imgenes el error que se comete es de 2 cm. ( 0,5%); y a partir de 9 imgenes este error no supera el medio centmetro ( 0,14 %). La razn por la que el resultado obtenido tiende a converger a su valor real es que el ruido introducido por cada imagen es linealmente independiente, por lo que si se promedian los valores obtenidos en cada imagen, el resultado tender a converger. En conclusin, es posible obtener la distancia a la que la cmara se encuentra del patrn de referencia con la precisin que se necesite para cada aplicacin. nicamente es necesario aumentar el nmero de imgenes si se requiere una precisin mayor.
4.4.4.2. Secuencia de imgenes grabadas con un barrido tilt.
Con el fin de validar los datos obtenidos en el apartado 4.4.4.1. se ha realizado la misma prueba con una nueva secuencia de imgenes. Esta vez tomadas mediante un barrido tilt. Para realizar el barrido tilt es necesario ir cambiando el argumento tilt (el segundo) de la instruccin AbsolutePanTilt. El ngulo con el que se rota la cmara se puede conocer gracias a la relacin entre el valor hexadecimal del argumento tilt y su correspondencia en grados. Esta correspondencia se puede extrae de la Fig. 4.4. en la que se muestra que el valor 678h corresponde con un ngulo de 115. En este caso, cada imagen ha sido tomada rotando la cmara 1,11 con respecto a su posicin anterior. La siguiente figura muestra la secuencia de imgenes grabadas mediante el barrido tilt. De nuevo, el tamao del patrn es bastante reducido en relacin al tamao de la imagen.
Fig. 4.9. Secuencia de imgenes grabadas mediante un barrido tilt.
- 88 -
De nuevo, se ha ejecutado el mtodo implementado para un nmero progresivo de imgenes con el fin de estudiar como disminuye el error cometido al medir el vector de translacin a medida que aumenta el nmero de imgenes utilizadas. Adems se va a verificar si los resultados coinciden con los de un barrido pan. La siguiente grfica muestra el valor del vector t obtenido para cada nmero de imgenes utilizadas.
Fig. 4.10. Valor obtenido del vector de translacin t (m). Como se puede apreciar en la grfica, el valor al que tiende a converger el vector de translacin es el mismo que el del barrido tilt. Tambin se puede ver que el error tiende a disminuir considerablemente a partir de las 10 imgenes como ocurra con las imgenes del apartado anterior. Mediante este apartado se pueden validar los resultados obtenidos en el apartado anterior y extraer las mismas conclusiones, es decir, es posible conocer la distancia a la que la cmara se encuentra del sistema de referencia con la precisin que se necesite.
4.4.4.3.
Anlisis del error de cuantificacin.
En los apartados anteriores se ha estudiado como se puede reducir el error cometido al calcular la matriz de proyeccin debido a la cercana entre s de los puntos de calibracin. Sin embargo, existe un error de cuantificacin que no puede ser reducido.
- 89 -
Este error es consecuencia de que la mxima precisin subpxel que se puede obtener es de 0,5 pxeles. Pero s es posible determinar el error de cuantificacin aprovechando el patrn de la escena. Como las medidas del patrn son conocidas, basta medir la distancia en mm. que representa un pxel de la imagen para hallar este error. En este apartado se ha medido el error de cuantificacin cometido en los apartados anteriores. El resultado obtenido es el siguiente:
errorq = 3,7 mm. = 0,105%
En conclusin, aunque se trate de promediar el mximo nmero de imgenes, existir siempre una incertidumbre cercana al 0,1% en los resultados obtenidos. Este error de cuantificacin depende directamente de la distancia a la que la cmara se encuentra del patrn. Cuanto ms alejado est, mayor error se comete. Tambin depende inversamente de la resolucin de la imagen.
- 90 -
4.5.
Desarrollo de la aplicacin.
Utilizando el mtodo desarrollado en el apartado anterior, en este captulo se va a demostrar una aplicacin en la que las tres cmaras PTZ graban una misma escena. El objetivo de la aplicacin es determinar la distancia a la que estn las tres cmaras PTZ de un punto de referencia comn. La siguiente figura muestra el esquema de una vista area del vestbulo de la EPS donde estn las tres cmaras.
Fig. 4. 11. Esquema de la posicin de las tres cmaras respecto al sistema de referencia. Como se puede apreciar en la imagen, las cmaras PTZ 100 y 101 estn a una distancia similar del sistema de referencia. Esto servir para validar los resultados de la aplicacin. El mtodo para averiguar la distancia a la que est cada cmara sigue los siguientes pasos: 1. 2. 3. Capturar una secuencia de imgenes del patrn mediante un barrido pan, un barrido zoom, un barrido tilt o una combinacin de todos. Registrar la informacin sobre el zoom que ha utilizado la cmara para utilizar la matriz de parmetros intrnsecos adecuada. Aplicar el mtodo descrito en el apartado anterior sobre las imgenes grabadas.
En esta aplicacin se van a grabar todas las imgenes con el nivel ms bajo de zoom y efectuando rotaciones de la cmara. Por lo tanto, nicamente se va a medir el vector de translacin t.
- 91 -
4.5.1. Imgenes capturadas por las cmaras.
Las imgenes de la cmara PTZ 100 han sido capturadas mediante un barrido pan de la escena. Debido a la distancia a la que se encontraba la DINA-4 ha sido necesario coger 2 folios como referencia. An as, el patrn ocupa un tamao bastante pequeo en relacin a la imagen. La siguiente figura muestra las 18 imgenes tomadas mediante el barrido pan para ser utilizadas en la calibracin.
Fig. 4.12. Imgenes de la escena grabadas por PTZ 100 (barrido pan). Se puede apreciar que el tamao que ocupan los folios en la imagen es muy pequeo. El nivel de zoom con el que se han grabado las imgenes es el ms bajo por lo que es necesario utilizar la matriz de parmetros intrnsecos correspondiente. Tambin hay que tener en cuenta que las dimensiones del patrn son 420 x 290 en lugar de 290 x 210. Con estas imgenes y estos datos se ejecuta el mtodo explicado en el apartado 4.4 para hallar los parmetros extrnsecos de la cmara., el resultado obtenido del vector de translacin es el siguiente:
T100 = 10,51 m.
- 92 -
Las imgenes de la cmara PTZ 101 tamben han sido capturadas mediante un barrido pan de la escena. Debido a la distancia a la que se encontraba la DIN-A4 de nuevo ha sido necesario coger 2 folios como referencia. La siguiente figura muestra las 16 imgenes tomadas mediante el barrido pan para ser utilizadas en la calibracin.
Fig. 4.13. Imgenes de la escena grabadas por PTZ 101 (barrido pan). En este caso tambin hay que tener en cuenta que las imgenes han sido grabadas con el nivel de zoom ms bajo y que las medidas del DIN-A3 son de 420 x 290. Con estas imgenes y estos datos se ejecuta el mtodo explicado en el apartado 4.4 para hallar los parmetros extrnsecos de la cmara., el resultado obtenido del vector de translacin es el siguiente:
t101 = 10,52 m.
Se comprueba que los resultados indican que las cmaras estn a la misma distancia del patrn de referencia como realmente ocurre. Con este hecho se pueden validar los resultados obtenidos.
- 93 -
Por ltimo se muestran las imgenes de la cmara PTZ 102. Estas imgenes han sido capturadas mediante un barrido tilt de la escena. Como la distancia a la que se encuentra esta cmara es algo menor que a la que se encuentran las otras 2, en esta ocasin ha sido posible utilizar una DIN-A4 como referencia. La siguiente figura muestra las 16 imgenes tomadas mediante el barrido tilt para ser utilizadas en la calibracin.
Fig. 4.14. Imgenes de la escena grabadas por PTZ 102 (barrido tilt). En este caso tambin hay que tener en cuenta que las imgenes han sido grabadas con el nivel de zoom ms bajo, aunque que las medidas del patrn son de 290 x 210. Con estas imgenes y estos datos se ejecuta el mtodo explicado en el apartado 4.4 para hallar los parmetros extrnsecos de la cmara., el resultado obtenido del vector de translacin es el siguiente:
t102 = 7,11 m.
Se comprueba que los resultados indican que cmara PTZ 102 est ms cerca del sistema de referencia que las otras dos cmaras como realmente ocurre.
- 94 -
4.5.2. Conclusiones sobre la aplicacin.
Con esta aplicacin se ha comprobado nuevamente que el mtodo desarrollado para calcular los parmetros extrnsecos de la cmara proporciona unos resultados correctos. Se puede sintetizar la idea de este mtodo en que es posible utilizar el mtodo de Zhang para conocer las posiciones de las cmaras aunque el patrn de calibracin que se utilice ocupe muy poco espacio en la imagen. Esto es debido a que el error numrico cometido no se escala al no tener que calcular la cnica absoluta; y a que se puede minimizar tanto como se quiera el error numrico cometido (hasta el error de cuantificacin) utilizando un mayor nmero de imgenes y promediando los valores obtenidos puesto que el error de cada uno es linealmente independiente del de los dems (teorema central del lmite).
- 95 -
Conclusiones y trabajos futuros
5. Conclusiones y trabajos futuros.

En este captulo se desarrollan las conclusiones resultantes del presente PFC. Se va a presentar las conclusiones a las que se ha llegado sobre cada uno de los objetivos parciales que se plantearon en la introduccin (captulo 0) de esta memoria. As mismo se van a plantear las lneas de mejora del presente proyecto para posibles trabajos futuros. Finalmente se exponen las conclusiones finales sobre el objetivo principal de este proyecto.
5.1.
Conclusiones sobre el estudio de los mtodos de calibracin.
Se ha comprobado que la calibracin de cmaras es un campo muy estudiado, en el que existe una gran cantidad de mtodos diferentes que parten de distintos modelos. No obstante, tambin se ha comprobado que los mtodos de calibracin son muy inestables y que ofrecen resultados muy sensibles a una gran cantidad de factores. En este trabajo se ha optado por estudiar e implementar un mtodo de calibracin en concreto: el mtodo de Zhang. La razn por la que se ha escogido este mtodo entre todos los posibles es su flexibilidad. A continuacin se van a exponer las conclusiones a las que se ha llegado despus de su implementacin. Para determinar la bondad de un mtodo de calibracin hay que tener en cuenta una serie de criterios como autonoma, el proceso de calibracin no tiene que requerir intervencin del usuario; eficiencia, debe tener un coste computacional aceptable; versatilidad, debe ser independiente del contexto; y finalmente precisin, debe minimizar los errores de estimacin de los parmetros.
5.1.1. Conclusiones sobre la autonoma del mtodo de Zhang.
Los procesos de calibracin no pueden ser, por definicin, totalmente autnomos. En todos ellos existe un patrn sobre el que es necesario conocer sus medidas e introducirlas como datos de entrada. No obstante, el mtodo de Zhang ofrece un grado de autonoma mayor que los dems mtodos de calibracin, al no ser necesario conocer la ubicacin que ocupa el patrn en la escena. Esto hace que el mtodo de Zhang sea mucho ms flexible que cualquier otro mtodo de calibracin pues no precisa de una preparacin exhaustiva de la escena. En el mtodo concreto que se ha implementado es necesario que el usuario marque los puntos del patrn que se van a utilizar para la calibracin. Esto le resta cierta autonoma y constituye la primera de las mejoras que se pueden aadir a este trabajo: la deteccin automtica de las esquinas del patrn mediante el mtodo de deteccin de Harris.
96
5.1.2. Conclusiones sobre la eficiencia del mtodo de Zhang.
El coste computacional del mtodo de Zhang no es muy elevado. nicamente precisa para su convergencia un nmero de 4 5 imgenes, lo que lo convierte en un mtodo altamente eficiente. No obstante, por su sencillez, se ha optado por implementar el mtodo en cdigo matlab, por lo que otra posible lnea de mejora del presente trabajo sera pasar el algoritmo del mtodo a cdigo C, mucho ms efiente computacionalmente.
5.1.3. Conclusiones sobre la versatilidad del mtodo de Zhang.
Una de las principales ventajas del mtodo de Zhang es su versatilidad, ya que utiliza un patrn plano para realizar la calibracin. Adems permite utilizar las esquinas como caractersticas de correspondencia, y las esquinas son caractersticas presentes en muchos tipos de escenas. Estas dos consideraciones han sido fundamentales a la hora de desarrollar de forma eficiente el mtodo que permite conocer la posicin de las cmaras con respecto a un sistema de referencia comn, puesto que permiten que se puedan considerar un gran nmero de escenas para calibrar sin preparaciones exhaustivas.
5.1.4. Conclusiones sobre la precisin del mtodo de Zhang.
La precisin constituye la caracterstica ms importante de los mtodos de calibracin. Tambin se ha indicado que es la ms complicada de obtener. Obtener unos resultados precisos y estables ha sido uno de los trabajos ms costosos del proyecto. A continuacin se detallan las conclusiones a las que se ha llegado sobre las consideraciones que es necesario tener en cuenta para conseguir unos resultados numricamente correctos. Estas conclusiones se han obtenido a partir de los resultados de las pruebas hechas sobre cmaras fijas y descritas en el captulo tres. En primer lugar hay que sealar una ventaja del mtodo de Zhang sobre los dems mtodos. Gracias al tipo de patrn utilizado, el mtodo de Zhang gana en precisin, ya que al utilizar planos, reduce el nmero de fuentes de ruido en las coordenadas 3D, puesto que, el resto de los mtodos necesitan que los puntos estn distribuidos en, al menos, dos planos, generalmente en forma de diedro, por lo que es necesario conocer con exactitud el ngulo que forman los dos planos. A la hora de capturar las imgenes es necesario tener en cuenta que el patrn debe ocupar casi toda la imagen para evitar que la obtencin de las coordenadas 2D de los puntos en la imagen sea poco precisa. Esto es debido a que si los puntos se encuentran muy cerca entre s, el ruido introducido es muy alto y la relacin seal a ruido muy baja. Al mismo tiempo tambin es importante que el patrn no ocupe la imagen entera, porque la calibracin se ve afectada por la distorsin radial, que es mxima en los bordes de la imagen.
97
Otro resultado al que se ha llegado mediante la realizacin de las pruebas se refiere al nmero de imgenes que es necesario emplear. Pese a que la teora del mtodo explica que con tres vistas es posible realizar el algoritmo, es recomendable que se utilicen 4 5 vistas del patrn para que se produzca un resultado que no se vea muy afectado por el ruido. Tomar ms vistas no es necesario porque no hay una mejora significativa. En cuanto a los puntos se ha comprobado que es recomendable utilizar como origen de coordenadas del mundo el centro del patrn, ya que se producen menos errores de distorsin radial. Adems, el nmero mnimo de puntos necesarios para realizar la calibracin es siete u ocho. En caso de utilizar ms, las mejoras no son apreciables. Pero se ha comprobado que la caracterstica ms importante de precisin se consigue si se dispone de un mtodo de optimizacin robusto ante posibles errores de localizacin de las esquinas. Los mtodos de optimizacin de mnimos cuadrados no son robustos ante errores de localizacin. Con estos mtodos se puede producir una estimacin errnea de la cnica absoluta, lo que provoca que no se obtengan buenos resultados de precisin. Para evitar falsas correspondencias es necesario disponer de un proceso de extraccin de caractersticas estable y fiable. El marcado manual de las esquinas del patrn es un proceso fiable pero no estable ya que introduce cierta aleatoriedad. El detector de esquinas de Harris (posible elemento de mejora del trabajo que ya ha sido presentado) constituira un proceso de extraccin de caractersticas estable. A la luz de los resultados obtenidos en las pruebas y que se han expuesto en el captulo 3, se puede concluir que se han obtenido unos resultados fiables pero que se pueden mejorar mediante las lneas de mejora indicadas.
5.2. Conclusiones sobre el estudio de los mtodos de autocalibracin.

La primera conclusin que se extrae del estudio de los mtodos de autocalibracin es que se trata de una lnea que todava se est desarrollando y que, a diferencia de los mtodos de calibracin, constituye un campo de investigacin que est muy abierto. Las ventajas que ofrecen los mtodos de autocalibracin sobre los mtodos de calibracin son principalmente dos. La primera es que se pueden calibrar los parmetros de la cmara sin necesidad de conocer ningn dato de la escena y, por tanto, no requiere una preparacin exhaustiva de la misma. La segunda ventaja es que permite una calibracin online de los parmetros intrnsecos de la cmara si estos no permanecen constantes.
5.2.1. Conclusiones sobre el estudio de mtodo de Hartley.
En este trabajo se han estudiado tres mtodos de autocalibracin. El primer mtodo, (Hartley), slo contempla el uso de cmaras que tienen movimiento de rotacin y distancia focal fija. El problema que presentan los mtodos de autocalibracin con las cmaras que slo tienen movimiento de rotacin y no utilizan zoom es que es imposible determinar el
98
factor de escala , ya que un movimiento de rotacin puro no aporta ninguna informacin sobre dicho parmetro.
5.2.2. Conclusiones sobre el estudio de mtodo de Agapito.
Siguiendo la misma lnea que el mtodo de Hartley, el mtodo de Agapito contempla el mismo tipo de cmaras pero con distancia focal variable. Este mtodo poda constituir a priori el mtodo ideal para alcanzar el objetivo principal del proyecto, pero tiene grandes inconsistencias para algunos movimientos determinados. En particular, si no existe ninguna rotacin sobre el eje principal (eje z) de la cmara los resultados numricos presentan un error muy alto. Este es el caso del movimiento pan-tilt que slo tiene movimientos de rotacin en los ejes horizontal (pan) y vertical (tilt). Adems para este movimiento especfico es imposible determinar algunos parmetros intrnsecos de la cmara como el factor de escalado ku. Esta es la razn por lo que no se ha podido avanzar en esta lnea para desarrollar el objetivo principal del proyecto.
5.2.3. Conclusiones sobre el estudio de mtodo que calcula los parmetros intrnsecos de una red de cmaras PTZ.
Por ltimo se ha presentado un mtodo para calcular los parmetros intrnsecos de una red de cmaras PTZ basado en el mtodo de Hartley. La implementacin de este mtodo constituye una de las posibles lneas de mejora de este trabajo.
5.3. Conclusiones sobre el estudio de la calibracin de varias cmaras PTZ que graban una misma escena.
El objetivo principal de este proyecto era desarrollar un mtodo que permitiese conocer la posicin de las cmaras que graban una escena con respecto a un sistema de referencia comn. Como solucin se ha planteado una aplicacin basada en el mtodo de Zhang que se pudiera aplicar de forma prctica (sin necesidad de que el patrn de calibracin ocupe la mayor parte de la imagen). Esta aplicacin se ha realizado mediante dos pasos. El primero consiste en calcular los parmetros intrnsecos de la cmara mediante el mtodo de calibracin de Zhang; y el segundo consiste en calcular los parmetros extrnsecos de la cmara en escenas en las que el patrn de calibracin sea muy sencillo y ocupe una pequea parte de la imagen. El problema que planteaba esta solucin es que para que mediante el mtodo de Zhang se obtengan unos resultados correctos, es necesario que el patrn de calibracin, ocupe casi toda la imagen. De lo contrario, si los puntos considerados estn muy cerca, la relacin seal a ruido que se introduce es muy baja y los resultados tienen un error muy grande.
99
Evidentemente utilizar un patrn de calibracin que ocupe casi toda la imagen era inviable para la aplicacin que se deseaba desarrollar, ya que se pretenda que las tres cmaras estn grabando el mismo patrn. La solucin que se ha planteado es considerar varias imgenes de la misma escena grabadas con distinto zoom. En este caso la matriz de parmetros extrnsecos no vara para ninguna de las imgenes. De esta forma se puede pretender utilizar un patrn lo suficientemente pequeo y obtener unos resultados precisos. Las razones por las que es viable utilizar un patrn pequeo para calcular los parmetros extrnsecos son dos. La primera es que al no tener que calcular la matriz de parmetros intrnsecos, no hay que calcular la cnica absoluta por lo que no se escala el error. La segunda es que si se consideran varias imgenes, el error cometido entre cada una de ellas es linealmente independiente, por lo que si se promedian los resultados obtenidos en cada imagen estos tienden a converger a su valor real (por el teorema central del lmite). Se ha comprobado mediante pruebas calculando el vector de translacin que el mtodo de calibracin propuesto es viable ya que a partir de un nmero de diez imgenes los resultados obtenidos tienen un error muy pequeo (prximo al error de cuantificacin) para na distancia de cuatro metros. Estos resultados han permitido concluir que el mtodo propuesto es verstil y fiable aunque no es autnomo y su tiempo de computacin depende linealmente del nmero de imgenes utilizadas.
5.3.1. Conclusiones sobre la autonoma del mtodo propuesto.
Al igual que el mtodo de Zhang, el mtodo que se ha propuesto no es autnomo por definicin ya que utiliza un patrn de calibracin. No obstante este patrn es muy sencillo (un DIN-A4) y casi puede ser utilizado en cualquier contexto.
5.3.2. Conclusiones sobre la eficiencia del mtodo propuesto.
En primer paso del mtodo propuesto es utilizar el mtodo de Zhang, por lo que en este caso cabe hacer las mismas consideraciones que en el apartado 5.3.1. En el segundo paso no es necesario calcular la cnica absoluta por lo que el tiempo de computacin de una sola imagen es ms reducido. No obstante sigue siendo alto al tratarse de un mtodo iterativo. Adems este tiempo se multiplica por cada imagen utilizada.
5.3.3. Conclusiones sobre la versatilidad del mtodo propuesto.
El mtodo es verstil ya que como patrn de calibracin se utiliza una DIN-A4 (o DIN-A3 si la distancia es muy grande) que ocupe una parte muy pequea de la imagen. Adems, nicamente es necesario marcar un punto del patrn y, a partir de l, el mtodo calcula el resto de los puntos de la escena. Otra posible lnea de mejora de este proyecto es disear un
100
mtodo a partir del creado que no necesite marcar ningn punto del patrn sino que lo detecte directamente.
5.3.4. Conclusiones sobre la precisin del mtodo propuesto.
El mtodo es fiable ya que se obtienen unos resultados muy precisos con un nmero de imgenes relativamente bajo. Si se quiere aumentar esta precisin basta con aumentar el nmero de imgenes obtenidas. El lmite mximo de precisin viene dado por el error de cuantificacin de la imagen que depende del tamao en pixels del plano imagen y de la distancia a la que se encuentra el patrn. La precisin tambin depende de la fiabilidad de los resultados obtenidos al calcular los parmetros intrnsecos mediante el mtodo de Zhang. Esta precisin ha sido comentada en el apartado 5.1.4. La fiabilidad del mtodo tambin ha sido probada con una aplicacin que mide la distancia de las tres cmaras a un punto.
101
Anexo A. Descomposicin en valores singulares (SVD)

Una de las operaciones ms robustas que se usan en lgebra lineal es la Singular Value Decomposition (SVD). Suponer una matriz C R mn . El teorema de la SVD dice que existen tres matrices D R mn , U R mn , y V R mn , con las que se puede escribir:
C = U D VT
Estas matrices tienen las siguientes caractersticas: 1. La matriz D R mn es diagonal con valores positivos o cero (valores singulares). 2. La matriz U R mn es ortonormal, UTU = I . 3. La matriz V R mn es ortonormal, VT V = I . Ntese que la j-sima fila de la matriz VT (es decir la j-sima columna de V ) se relaciona con el j-simo valor singular de D y lo mismo se puede decir de la j-sima columna de U . La SVD siempre se puede realizar y es nica (en el sentido de que las nicas diferencias pueden ser el orden de as columnas de dichas matrices). La SVD permite resolver muchos de los problemas habituales que se encuentran en lgebra lineal: determinar el condicionamiento de una matriz, calcular la inversa de matrices, calcular EOFs, y resolver sistemas lineales.
Kernel y Rango de una aplicacin

Sea una aplicacin lineal R n R n caracterizada por la ecuacin:
Cx=y
con C una matriz cuadrada. Si C es singular, quiere decir que existe un subconjunto de soluciones diferentes a la trivial para las cuales:
Cx=0
El conjunto de todas las soluciones x R n de dicha ecuacin es el Kernel (o espacio nulo) de dicha aplicacin. El poder de la SVD es que directamente construye bases de los subespacios nulo y rango. Las columnas de U relacionadas con valores singulares diferentes de cero forman una base del subespacio del rango. Las columnas de V asociadas a valores singulares nulos forman una base de espacio nulo. De esta manera la SVD permite encontrar todas las soluciones de la ecuacin Cx=0
102
Bibliografa
[1] [2] [3] [4] [5] R. Hartley and A. Zisserman, Multiple View Geometry In Computer Vision, Cambridge University Press, 2000. Yao Wang, Jrn Osteermann y Ya-Qin Zhang. Video Processing and comunications. Prentice-Hall, 2001. Olivier Faugeras. Three-dimensional computer vision: a geometric viewpoint. MIT Press, 1993. Olivier Faugeras y Quang-Tuan Luong. The geometry of multiples images. MIT Press, 2001. [Agapito et al., 2000] Agapito, L. D., Hayman, E., and Reid, I. (2000). Selfcalibration of rotating and zooming cameras. Technical Report OUEL 0225/00, Department of Engineering Science, University of Oxford. [Hartley, 1994b] Hartley, R. (1994b). Self-calibration from multiple views with a rotating camera. [Hartley, 1997 ] Hartley, R. Self-calibration of stationary cameras (context). [Yongduek Seo K, 1998] Yongduek Seo K. Auto -calibration of a Rotating and Zooming Camera . [Sinha, Pollefeys]] Sudipta N. Sinha and Marc Pollefeys. Towards Calibrating a Pan-Tilt-Zoom Camera Network. Department of Computer Science, University of North Carolina at Chapel Hill. [Zhang, 2000] Zhang, Z. (2000). A fexible new technique for camera calibration. IEEE Transactios on Pattern Analysis and Machine Intelligence, 22(11):1330 1334.
[6] [7] [8] [9]
[10]
103
PRESUPUESTO
1) 2) Ejecucin Material Ordenador personal ....... ............................................................................. 2.000 Material de oficina .......................................................................................... 150 Total de ejecucin material ......................................................................... 2.150 Gastos generales 3) 16 % sobre Ejecucin Material ................................................................ 344
Beneficio Industrial 6 % sobre Ejecucin Material .................................................................. 129
4)
Honorarios Proyecto 640 horas a 15 / hora........................................................................... 9600
5)
Material fungible Gastos de impresin................................................................................... 60 Encuadernacin........................................................................................ 200
6)
Subtotal del presupuesto Subtotal Presupuesto............................................................................ 12010
7)
I.V.A. aplicable 16% Subtotal Presupuesto ................................................................. 1921.6
8)
Total presupuesto Total Presupuesto.............................................................................. 13931,6
Madrid, Mayo de 2007 El Ingeniero Jefe de Proyecto
Fdo.: Javier Garca Ocn Ingeniero Superior de Telecomunicacin
104
PLIEGO DE CONDICIONES
Este documento contiene las condiciones legales que guiarn la realizacin, en este proyecto, de un sistema para calibrar los parmetros de una red de cmaras PTZ. En lo que sigue, se supondr que el proyecto ha sido encargado por una empresa cliente a una empresa consultora con la finalidad de realizar dicho sistema. Dicha empresa ha debido desarrollar una lnea de investigacin con objeto de elaborar el proyecto. Esta lnea de investigacin, junto con el posterior desarrollo de los programas est amparada por las condiciones particulares del siguiente pliego. Supuesto que la utilizacin industrial de los mtodos recogidos en el presente proyecto ha sido decidida por parte de la empresa cliente o de otras, la obra a realizar se regular por las siguientes:
Condiciones generales
1. La modalidad de contratacin ser el concurso. La adjudicacin se har, por tanto, a la proposicin ms favorable sin atender exclusivamente al valor econmico, dependiendo de las mayores garantas ofrecidas. La empresa que somete el proyecto a concurso se reserva el derecho a declararlo desierto. 2. El montaje y mecanizacin completa de los equipos que intervengan ser realizado totalmente por la empresa licitadora. 3. En la oferta, se har constar el precio total por el que se compromete a realizar la obra y el tanto por ciento de baja que supone este precio en relacin con un importe lmite si este se hubiera fijado. 4. La obra se realizar bajo la direccin tcnica de un Ingeniero Superior de Telecomunicacin, auxiliado por el nmero de Ingenieros Tcnicos y Programadores que se estime preciso para el desarrollo de la misma. 5. Aparte del Ingeniero Director, el contratista tendr derecho a contratar al resto del personal, pudiendo ceder esta prerrogativa a favor del Ingeniero Director, quien no estar obligado a aceptarla. 6. El contratista tiene derecho a sacar copias a su costa de los planos, pliego de condiciones y presupuestos. El Ingeniero autor del proyecto autorizar con su firma las copias solicitadas por el contratista despus de confrontarlas. 7. Se abonar al contratista la obra que realmente ejecute con sujecin al proyecto que sirvi de base para la contratacin, a las modificaciones autorizadas por la superioridad o a las rdenes que con arreglo a sus facultades le hayan comunicado por escrito al Ingeniero Director de obras siempre que dicha obra se haya ajustado a los preceptos de los pliegos de condiciones, con arreglo a los cuales, se harn las modificaciones y la valoracin de las diversas unidades sin que el importe total pueda exceder de los presupuestos aprobados. Por consiguiente, el nmero de unidades que se consignan en el proyecto o en el presupuesto, no podr servirle de fundamento para entablar reclamaciones de ninguna clase, salvo en los casos de rescisin. 8. Tanto en las certificaciones de obras como en la liquidacin final, se abonarn los trabajos realizados por el contratista a los precios de ejecucin material que figuran en el presupuesto para cada unidad de la obra.
105
9. Si excepcionalmente se hubiera ejecutado algn trabajo que no se ajustase a las condiciones de la contrata pero que sin embargo es admisible a juicio del Ingeniero Director de obras, se dar conocimiento a la Direccin, proponiendo a la vez la rebaja de precios que el Ingeniero estime justa y si la Direccin resolviera aceptar la obra, quedar el contratista obligado a conformarse con la rebaja acordada. 10. Cuando se juzgue necesario emplear materiales o ejecutar obras que no figuren en el presupuesto de la contrata, se evaluar su importe a los precios asignados a otras obras o materiales anlogos si los hubiere y cuando no, se discutirn entre el Ingeniero Director y el contratista, sometindolos a la aprobacin de la Direccin. Los nuevos precios convenidos por uno u otro procedimiento, se sujetarn siempre al establecido en el punto anterior. 11. Cuando el contratista, con autorizacin del Ingeniero Director de obras, emplee materiales de calidad ms elevada o de mayores dimensiones de lo estipulado en el proyecto, o sustituya una clase de fabricacin por otra que tenga asignado mayor precio o ejecute con mayores dimensiones cualquier otra parte de las obras, o en general, introduzca en ellas cualquier modificacin que sea beneficiosa a juicio del Ingeniero Director de obras, no tendr derecho sin embargo, sino a lo que le correspondera si hubiera realizado la obra con estricta sujecin a lo proyectado y contratado. 12. Las cantidades calculadas para obras accesorias, aunque figuren por partida alzada en el presupuesto final (general), no sern abonadas sino a los precios de la contrata, segn las condiciones de la misma y los proyectos particulares que para ellas se formen, o en su defecto, por lo que resulte de su medicin final. 13. El contratista queda obligado a abonar al Ingeniero autor del proyecto y director de obras as como a los Ingenieros Tcnicos, el importe de sus respectivos honorarios facultativos por formacin del proyecto, direccin tcnica y administracin en su caso, con arreglo a las tarifas y honorarios vigentes. 14. Concluida la ejecucin de la obra, ser reconocida por el Ingeniero Director que a tal efecto designe la empresa. 15. La garanta definitiva ser del 4% del presupuesto y la provisional del 2%. 16. La forma de pago ser por certificaciones mensuales de la obra ejecutada, de acuerdo con los precios del presupuesto, deducida la baja si la hubiera. 17. La fecha de comienzo de las obras ser a partir de los 15 das naturales del replanteo oficial de las mismas y la definitiva, al ao de haber ejecutado la provisional, procedindose si no existe reclamacin alguna, a la reclamacin de la fianza. 18. Si el contratista al efectuar el replanteo, observase algn error en el proyecto, deber comunicarlo en el plazo de quince das al Ingeniero Director de obras, pues transcurrido ese plazo ser responsable de la exactitud del proyecto. 19. El contratista est obligado a designar una persona responsable que se entender con el Ingeniero Director de obras, o con el delegado que ste designe, para todo relacionado con ella. Al ser el Ingeniero Director de obras el que interpreta el proyecto, el contratista deber consultarle cualquier duda que surja en su realizacin. 20. Durante la realizacin de la obra, se girarn visitas de inspeccin por personal facultativo de la empresa cliente, para hacer las comprobaciones que se crean oportunas. Es obligacin del contratista, la conservacin de la obra ya ejecutada hasta la recepcin de la
106
misma, por lo que el deterioro parcial o total de ella, aunque sea por agentes atmosfricos u otras causas, deber ser reparado o reconstruido por su cuenta. 21. El contratista, deber realizar la obra en el plazo mencionado a partir de la fecha del contrato, incurriendo en multa, por retraso de la ejecucin siempre que ste no sea debido a causas de fuerza mayor. A la terminacin de la obra, se har una recepcin provisional previo reconocimiento y examen por la direccin tcnica, el depositario de efectos, el interventor y el jefe de servicio o un representante, estampando su conformidad el contratista. 22. Hecha la recepcin provisional, se certificar al contratista el resto de la obra, reservndose la administracin el importe de los gastos de conservacin de la misma hasta su recepcin definitiva y la fianza durante el tiempo sealado como plazo de garanta. La recepcin definitiva se har en las mismas condiciones que la provisional, extendindose el acta correspondiente. El Director Tcnico propondr a la Junta Econmica la devolucin de la fianza al contratista de acuerdo con las condiciones econmicas legales establecidas. 23. Las tarifas para la determinacin de honorarios, reguladas por orden de la Presidencia del Gobierno el 19 de Octubre de 1961, se aplicarn sobre el denominado en la actualidad Presupuesto de Ejecucin de Contrata y anteriormente llamado Presupuesto de Ejecucin Material que hoy designa otro concepto.
Condiciones particulares
La empresa consultora, que ha desarrollado el presente proyecto, lo entregar a la empresa cliente bajo las condiciones generales ya formuladas, debiendo aadirse las siguientes condiciones particulares: 1. La propiedad intelectual de los procesos descritos y analizados en el presente trabajo, pertenece por entero a la empresa consultora representada por el Ingeniero Director del Proyecto. 2. La empresa consultora se reserva el derecho a la utilizacin total o parcial de los resultados de la investigacin realizada para desarrollar el siguiente proyecto, bien para su publicacin o bien para su uso en trabajos o proyectos posteriores, para la misma empresa cliente o para otra. 3. Cualquier tipo de reproduccin aparte de las reseadas en las condiciones generales, bien sea para uso particular de la empresa cliente, o para cualquier otra aplicacin, contar con autorizacin expresa y por escrito del Ingeniero Director del Proyecto, que actuar en representacin de la empresa consultora. 4. En la autorizacin se ha de hacer constar la aplicacin a que se destinan sus reproducciones as como su cantidad. 5. En todas las reproducciones se indicar su procedencia, explicitando el nombre del proyecto, nombre del Ingeniero Director y de la empresa consultora. 6. Si el proyecto pasa la etapa de desarrollo, cualquier modificacin que se realice sobre l, deber ser notificada al Ingeniero Director del Proyecto y a criterio de ste, la empresa consultora decidir aceptar o no la modificacin propuesta. 7. Si la modificacin se acepta, la empresa consultora se har responsable al mismo nivel que el proyecto inicial del que resulta el aadirla.
107
8. Si la modificacin no es aceptada, por el contrario, la empresa consultora declinar toda responsabilidad que se derive de la aplicacin o influencia de la misma. 9. Si la empresa cliente decide desarrollar industrialmente uno o varios productos en los que resulte parcial o totalmente aplicable el estudio de este proyecto, deber comunicarlo a la empresa consultora. 10. La empresa consultora no se responsabiliza de los efectos laterales que se puedan producir en el momento en que se utilice la herramienta objeto del presente proyecto para la realizacin de otras aplicaciones. 11. La empresa consultora tendr prioridad respecto a otras en la elaboracin de los proyectos auxiliares que fuese necesario desarrollar para dicha aplicacin industrial, siempre que no haga explcita renuncia a este hecho. En este caso, deber autorizar expresamente los proyectos presentados por otros. 12. El Ingeniero Director del presente proyecto, ser el responsable de la direccin de la aplicacin industrial siempre que la empresa consultora lo estime oportuno. En caso contrario, la persona designada deber contar con la autorizacin del mismo, quien delegar en l las responsabilidades que ostente.
108

Calibracion

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Calibracion

Transféré par

Droits d'auteur :

Formats disponibles

UNIVERSIDAD AUTNOMA DE MADRID

ESCUELA POLITCNICA SUPERIOR

AUTOCALIBRACIN Y SINCRONIZACIN DE MLTIPLES CMARAS PTZ

-PROYECTO FIN DE CARRERA-

Javier Garca Ocn Mayo de 2007

AUTOCALIBRACIN Y SINCRONIZACIN DE MLTIPLES CMARAS PTZ

AUTOR: Javier Garca Ocn TUTOR: Jess Bescs Cano

PROYECTO FIN DE CARRERA

Ttulo: Autocalibracin y sincronizacin de mltiples cmaras PTZ.

Autor: D. Javier Garca Ocn Tutor: D. Jess Bescs Cano Tribunal:

Fecha de lectura: Calificacin:.

OBJETIVOS DEL PROYECTO ....................................................................................11 ESTRUCTURA DE LA MEMORIA................................................................................12

REVISIN DE CONCEPTOS BSICOS ........................................................................13

CALIBRACIN DE CMARAS FIJAS ...........................................................................24

MTODOS DE CALIBRACIN DE CMARA..............................................................32

2.4.3 2.4.4 2.4.5

AUTOCALIBRACIN DE CMARAS PTZ...................................................................54

Posicin de las tres cmaras .......................................................................78

Conclusiones sobre la aplicacin..................................................................96

CONCLUSIONES Y TRABAJOS FUTUROS ...............................................................54

Tabla 2-1: Tabla 2-2:

Objetivos del proyecto.

Revisin de conceptos bsicos

Revisin de conceptos bsicos.

Introduccin a la geometra proyectiva.

Fig. 1.1. Incidencia de lneas en un punto.

Revisin de conceptos bsicos

1.2. Coordenadas homogneas en el plano.

Revisin de conceptos bsicos

[ X , Y , Z ] ~ [a, b, c] [a' , b' , c' ] ~ [b,a,0]

Dualidad punto recta.

Revisin de conceptos bsicos

El espacio proyectivo Pn.

x = [x1 ,..., x n +1 ] e y = [ y1 ,..., y n +1 ] con algn xi 0 e yi 0, entonces x = y si existe un 0 tal que x = y.

La recta proyectiva P1.

Revisin de conceptos bsicos

Fig. 1.2. El espacio proyectivo, P1 .

El plano proyectivo P2.

Fig. 1.3. Proyeccin (X, Y, Z) (x, y)

Revisin de conceptos bsicos

Transformaciones proyectivas 2D: homografas.

Revisin de conceptos bsicos

Fig. 1.4. Transformacin proyectiva eucldea.

o bien en coordenadas homogneas, como la proyectividad:

con 0 T = [0 0] . La transformacin inversa (x, y) (x, y) se obtiene de:

Revisin de conceptos bsicos

Transformaciones proyectivas 3D.

Revisin de conceptos bsicos

X X ' Y ' = R t Y T Z ' 0 1 Z 1 1

Revisin de conceptos bsicos

0 0 x x ' 1 y ' = 0 cos( ) sen( ) y x x z' 0 sen( x ) cos( x ) z

R12 R22 R32

R13 R23 R33

Calibracin de cmaras fijas

2. Calibracin de cmaras fijas.

Mc( x , y , z ) = M ( x, y , z ) M c ( xcc , ycc , zcc ) = M ( x, y, z )

Calibracin de cmaras fijas

Calibracin de cmaras fijas

2.1.2. La matriz de proyeccin.

Calibracin de cmaras fijas

1. Proyeccin 3D-2D. Conversin de las coordenadas de la cmara (x c la imagen (u, v).

y c , z c ) , a las del plano de

Calibracin de cmaras fijas