Vision Artificial

Visi on Articial
Domingo Mery
Departamento de Ingenier a Inform atica Universidad de Santiago de Chile Santiago de Chile 9 de enero de 2002
Departamento de Ingenier a Inform atica Universidad de Santiago de Chile Domingo Mery: Av. Ecuador 3659, Santiago de Chile eMail: dmery@ieee.org http://www.diinf.usach.cl/dmery
Prefacio
En este documento se pretende resumir el curso Visi on Articial. Este curso debe tomarse como una introducci on a la teor a desarrollada en las dos u ltimas d ecadas por la comunidad de Computer Vision. Con esta teor a es posible analizar en detalle la informaci on que puede ser obtenida a partir de un conjunto de vistas de una escena. El curso comienza con una breve introducci on al tema siguiendo con una descripci on de la la Teor a que mejor modela la formaci on de las im agenes: La Geometr a Proyectiva. A continuaci on se aprender an los distintos modelos existentes para establecer la funci on de transferencia 3D 2D en un Sistema de Visi on Articial y se analizar an los algoritmos m as conocidos para llevar a cabo la calibraci on del sistema. En el siguiente cap tulo del curso se estudiar a la Visi on Est ereo en el que se establecer an las relaciones existentes entre dos, tres y cuatro vistas de una misma escena. Seguidamente, se mostrar an los principales algoritmos para hacer una reconstrucci on 3D de una escena a partir de sus vistas. En el siguiente cap tulo, Matching y Tracking, se estudiar a c omo se puede encontrar la correspondencia entre las distintas im agenes de un objeto. Finalmente, se mostrar an algunas aplicaciones de la Visi on Articial en distintas areas de Ciencias e Ingenier a. Un agradecimiento muy sincero a mis alumnos y alumnas del curso de Visi on Articial dictado en el Magister de Ingenier a Inform atica de la Universidad de Santiago de Chile y en la carrera de Ingenier a El ectrica de la Ponticia Universidad Cat olica de Chile. En especial quiero agradecer (en orden alfab etico) a Daniela Cer on, Rolando D unner, Sebasti an Fingerhuth, Roberto Mir, Egor Montecinos y Felipe Ochoa, quienes me ayudaron much simo a corregir el manuscrito original. Santiago, Navidad 2001
iii
iv
Indice general
Prefacio Indice General 1. Introducci on 1.1. Qu e es la Visi on Articial? . . . . . . . . . . . . . . . . . . . 1.2. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3. Historia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Geometr a Proyectiva
III
VII
1 1 1 5 8 9
2.1. Planos, puntos y l neas rectas . . . . . . . . . . . . . . . . . . 10 2.2. Transformaciones Proyectivas 2D . . . . . . . . . . . . . . . . 12 2.3. Categorizaci on de las Transformaciones Proyectivas 2D . . . . 17 2.3.1. Transformaci on Isom etrica (Eucl dea) . . . . . . . . . . 17 2.3.2. Transformaci on de Similitud . . . . . . . . . . . . . . . 19 2.3.3. Transformaci on Af n . . . . . . . . . . . . . . . . . . . 19 2.3.4. Transformaci on Proyectiva General . . . . . . . . . . . 20 2.3.5. Resumen de Transformaciones Proyectivas 2D . . . . . 20 2.4. Transformaciones Proyectivas 3D . . . . . . . . . . . . . . . . 21 2.5. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 v
vi 3. Modelaci on Geom etrica de un Sistema de Visi on Articial 33
3.1. Descripci on de un Sistema de Visi on Articial . . . . . . . . . 34 3.1.1. El Manipulador . . . . . . . . . . . . . . . . . . . . . . 34 3.1.2. Fuente de Energ a . . . . . . . . . . . . . . . . . . . . . 34 3.1.3. Sensor de Imagen . . . . . . . . . . . . . . . . . . . . . 35 3.1.4. Conversor An alogo-Digital . . . . . . . . . . . . . . . . 35 3.1.5. Computador . . . . . . . . . . . . . . . . . . . . . . . . 35 3.2. La C amara Pinhole . . . . . . . . . . . . . . . . . . . . . . . . 35 3.3. C amara CCD . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.4. Distorsi on del lente . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5. Modelaci on de un manipulador . . . . . . . . . . . . . . . . . 44 3.6. Calibraci on de un sistema de visi on articial . . . . . . . . . . 46 3.7. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4. Visi on Est ereo 53
4.1. An alisis Bifocal . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.1.1. An alisis geom etrico de dos vistas . . . . . . . . . . . . 58 4.1.2. Propiedades de la Matriz Fundamental . . . . . . . . . 61 4.1.3. An alisis algebraico de dos vistas . . . . . . . . . . . . . 62 4.1.4. Restricci on bifocal pr actica . . . . . . . . . . . . . . . . 65 4.2. An alisis Trifocal . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.2.1. An alisis algebraico de la geometr a trifocal . . . . . . . 67 4.2.2. Deducci on alternativa de los tensores trifocales . . . . . 71 4.2.3. Interpretaci on geom etrica de las trilinearidades . . . . 73 4.2.4. Propiedades de las trilinearidades . . . . . . . . . . . . 75 4.2.5. Relaci on entre la geometr a bifocal y trifocal . . . . . . 76 4.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
vii 5. Reconstrucci on 3D 79
5.1. M etodo de reconstrucci on lineal para dos vistas . . . . . . . . 80 5.2. Reconstrucci on 3D para dos o m as vistas . . . . . . . . . . . . 83 6. Matching y tracking 85
6.1. Introducci on . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.2. Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.2.1. Correspondencia entre puntos . . . . . . . . . . . . . . 86 6.2.2. Correspondencia entre l neas . . . . . . . . . . . . . . . 88 6.2.3. Correspondencia entre regiones . . . . . . . . . . . . . 89 6.2.4. Caracter sticas geom etricas . . . . . . . . . . . . . . . . 90 6.2.5. Caracter sticas de color . . . . . . . . . . . . . . . . . . 94 6.2.6. Criterios de correspondencia entre regiones . . . . . . . 99 6.3. Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 Indice de Figuras Bibliograa 104 107
viii
Cap tulo 1 Introducci on

1.1. Qu e es la Visi on Articial?
La Visi on Articial es una gran herramienta para establecer la relaci on entre el mundo tridimensional y sus vistas bidimensionales tomadas de el. Por medio de esta teor a se puede hacer, por una parte, una reconstrucci on del espacio tridimensional a partir de sus vistas y, por otra parte, llevar a cabo una simulaci on de una proyecci on de una escena tridimensional en la posici on deseada a un plano bidimensional.
1.2.
Ejemplos
En esta secci on se muestran algunos ejemplos en los que se puede apreciar el campo de aplicaciones de la Visi on Articial. Fotogrametr a En la fotogrametr a se persigue realizar mediciones del espacio 3D a partir de fotograf as tomadas de el. De esta manera es posible medir supercies, construcciones, objetos, etc. As mismo se puede llevar a cabo una topolog a de un terreno. Recticaci on M etrica 1
D.Mery: Visi on Articial
D isto rsi n de pe rspe ctiv a
C orre cci n d e pe rsp ectiva
Figura 1.1: Ejemplo de recticaci on de perspectiva.
D isto rsi n de len te
C orre cci n d e distorsin
Figura 1.2: Ejemplo de recticaci on de distorsi on de lente.
Mediante esta t ecnica es posible hacer correcciones de perspectiva (ver Figuras 1.1 y 2.4) y correcciones de distorsi on de lente (ver Figura 1.2). Reconstrucci on 3D A partir de las vistas, mediante la t ecnica de triangulaci on, es posible obtener un modelo 3D del objeto proyectado en las vistas. El principio de triangulaci on es mostrado en la Figura 1.3: sabiendo que los puntos A y B son proyecciones de un mismo punto tridimensional Q, es decir A y B son correspondientes, y conociendo los centros opticos de la proyecci on C1 y C2 , se puede encontrar el punto Q a partir de la intersecci on entre las dos rectas C1 , A y C2 , B .
1. Introducci on
3
C1
C entro ptico 1
C2
C entro ptico 2
Q
O bjeto 3D
B A
V ista 2 V ista 1
Figura 1.3: Triangulaci on: estimaci on de Q a partir de A y B.
Matching y Tracking Por medio del Matching y Tracking es posible encontrar la correspondencia entre puntos de varias im agenes. Los puntos correspondientes son aquellos que representan una proyecci on del mismo punto f sico en el espacio 3D. En la Figura 1.4 se puede apreciar tres vistas de una taza tomadas por una c amara ja mediante la rotaci on del eje central de la taza. Se puede observar que los puntos m1 , m2 y m3 en las im agenes 1, 2 y 3 respectivamente, son correspondientes entre s porque son proyecciones del mismo punto m de la taza. Mediante la teor a de Visi on Articial podemos responder las siguientes preguntas: i) Conociendo el punto m1 en la imagen 1, d onde est a su punto correspondiente en las im agenes 2 y 3? ii) Conociendo los puntos m1 y m2 y sabiendo que son correspondientes, d onde se encuentra el punto correspondiente en la tercera imagen? Estas preguntas ser an respondidas a lo largo de este curso.
m1 m2 m3
Im agen 1
Im agen 2
Im agen 3
C m ara
O bjeto 3D
Figura 1.4: Correspondencia en tres puntos.
Computaci on Gr aca Si se tiene un modelo de la formaci on de la imagen f : 3D 2D, es posible entonces simular gr acamente las vistas bidimensionales que se obtendr an de un objeto tridimensional. Las aplicaciones de realidad virtual emplean esta teor a. Estimaci on de Movimiento Mediante una c amara que toma im agenes de un objeto en movimiento es posible estimar el movimiento del objeto a partir de los puntos de correspondencia en la secuencia de im agenes.
1. Introducci on
1.3.
Historia
Una c amara produce im agenes planas de un mundo f sico percibido como tridimensional. Antes de la invenci on de la fotograf a exist a un gran inter es en representar este mundo 3D en im agenes planas 2D, como es el caso de la pintura1 . Los griegos llegaron a conocer muchas de las propiedades geom etricas de la proyecci on. Como es el caso de Thales de Mileto (640 AC - 548? AC) que con sus conocimientos de la Geometr a pudo predecir un eclipse solar y tambi en pudo medir la altura de una pir amide a partir de su sombra proyectada. Sin embargo, los griegos pensaban que la visi on era activa, es decir que los ojos emit an part culas al mundo 3D en vez de considerar a los ojos como dispositivos pasivos receptores de luz. Cabe mencionar dentro de los matem aticos griegos a Euclides, quien en el siglo IV AC ide o la geometr a plana. Para Euclides la geometr a era concebida como un conjunto de l neas y puntos, independientes de un sistema de coordenadas. Posteriormente, los pintores italianos del Renacimiento fueron los primeros en entender la formaci on de las im agenes y fueron los primeros en estudiar la Geometr a para reproducir correctamente los efectos de la perspectiva en las im agenes del mundo que observaban. La pintura anterior a esta epoca era plana, es decir no mostraba la diferencia de profundidad en los objetos representados, como se muestra en la Figura 1.5. La perspectiva fue inventada por Filippo Brunelleschi (1377-1446) alrededor de 1413. Brunelleschi fue un gran arquitecto del Renacimiento Temprano. Fue tambi en escultor y pintor. Sus principales obras se encuentran en Florencia, como por ejemplo la Catedral Santa Mar a de Fiore, cuya c upula es la m as grande del mundo con m as de 50m de di ametro. Artistas como Piero della Francesca (1415-1492), Leonardo da Vinci (14521519) y Albrecht D urer (1471-1528), los dos primeros italianos y el tercero alem an que viaja a Italia para llevar el Renacimiento a Alemania, realizan serios estudios geom etricos que se usan hasta el d a de hoy. A partir de esta epoca se empieza a considerar el punto de fuga, en el que l neas paralelas que se alejan del observador convergen en un punto. A manera de ejemplo,
1
Gran parte de esta secci on fue obtenida de la secci on 4.1 de [7].
Figura 1.5: Pintura pre-renacentista y renacentista. Izquierda: Jes us entrando a Jerusal en. Derecha: Iglesia del Esp ritu Santo, Bruneleschi.
en la Figura 1.5 se muestran dos pinturas: una pre-renacentista y otra renacentista2 . En la primera se puede observar la polidimensionalidad, en la cual los puntos de vista de los objetos representados no son u nicos. Asimismo, el tama no de los objetos est a relacionado m as con la importancia dentro de la obra que con la ubicaci on espacial. En la segunda pintura se aprecia claramente la profundidad producida por las l neas que convergen en un punto de fuga. De esta manera se le hace creer al observador que est a frente a una escena tridimensional. En el siglo XVI se desarrolla la teor a de la perspectiva. Se introducen las M aquinas de Perspectiva para ayudar a los pintores a reproducir exactamente la perspectiva sin tener que hacer c alculos matem aticos. Una de estas m aquinas es representada en la Figura 1.6 por Albrecht D urer. En esta gura, el ojo del dibujante es mantenido jo y un dispositivo es utilizado para materializar la intersecci on de cada rayo visual con el plano de la imagen. Las m aquinas de la perspectiva pueden ser consideradas como el primer intento de una c amara. Ellas utilizan un plano R (plano de la imagen, ver rejilla en Figura 1.6) donde se forma la imagen y un punto C (centro optico, ver ojo
La primera pintura fue tomada de Dutch, Steven: Perspective in Art Slides (http://weba.uwgb.edu/dutchs/190outln/perslide.htm). La segunda pintura fue tomada de Dauben, Joseph W.: The Art of Renaissance Science (http://www.crs4.it/Ars/arshtml/arstoc.html).
2
1. Introducci on
Figura 1.6: M aquina de perspectiva por Albrecht D urer [6, 7].
del dibujante en Figura 1.6) que no pertenece a R en el que se intersectan todos los rayos que forman la imagen. En el a no 1545 el astr onomo Germina Frisius publica un estudio donde presenta la c amara oscura. En la Figura 1.7 se representa un esquema de la c amara oscura. Mediante un oricio muy peque no C en una pared se deja entrar la luz externa que es proyectada en una pared interior de la c amara oscura. El resultado es una imagen invertida del mundo exterior. La c amara oscura sirvi o a algunos pintores como a Vermeer (1632-1675) para representar de la manera m as precisa posible la realidad. A partir de la teor a del plano cartesiano introducida por Descartes (15961650) se empieza a concebir la geometr a desde un punto de vista algebraico. As , las entidades geom etricas son descritas como coordenadas y entidades algebraicas. En el a no 1826 el qu mico franc es Niepce (1765-1833) llev o a cabo la primera fotograf a, colocando una supercie fotosensible dentro de una c amara oscura para jar la imagen. Posteriormente, en 1838 el qu mico franc es Daguerre (1787-1851) hizo el primer proceso fotogr aco pr actico. Daguerre utiliz o una placa fotogr aca que era revelada con vapor de mercurio y jada con trisulfato de sodio. En la actualidad se utilizan c amaras reex y CCD que emplean lentes para incrementar la potencia de la luz y mejorar el enfoque de la imagen. Estas c amaras ser an estudiadas posteriormente en el curso.
8
M
R f
Figura 1.7: C amara oscura.
1.4.
Ejercicios
Ejercicio 1.1 Simular una m aquina de perspectiva utilizando una transparencia. Colocar una transparencia entre el ojo de el/la observador/a y una escena tridimensional que contenga objetos del mismo tama no dispuestos en distintas profundidades. Dibujar lo que se ve en la transparencia y observar el punto de fuga as como la reducci on del tama no de los objetos a medida que se van alejando de la transparencia.
Cap tulo 2 Geometr a Proyectiva

En este cap tulo se introducen las principales ideas geom etricas y la notaci on que se utilizar a en el resto del curso. Se empezar a con la geometr a plana de dos dimensiones que es m as facil de visualizar y comprender para luego pasar a la geometr a del espacio tridimensional1 . Se estudiar an las transformaciones proyectivas de un plano. Mediante estas transformaciones es posible modelar la distorsi on geom etrica que le ocurre a un plano que es visto por una c amara perspectiva. Con estas transformaciones algunas propiedades se conservan como la colinearidad (l neas rectas son vistas como l neas rectas) mientras que otras propiedades no (las l neas paralelas por lo general no son vistas como l neas paralelas). En un nivel elemental la geometr a es el estudio de puntos y l neas, y sus relaciones. A lo largo de la historia la geometr a ha sido concebida inicialmente como una disciplina netamente geom etrica, en la que las l neas y puntos se estudian sin considerar un sistema de coordenadas. Posteriormente, mediante la introducci on de un sistema de coordenadas cartesiano se logra algebraizar a la geometr a. De esta manera, las entidades geom etricas pueden ser descritas como coordenadas y entidades algebraicas. Por medio de las relaciones algebraicas se obtiene una representaci on matem atica apropiada para implementar algoritmos y programar m etodos computacionales. A lo largo del curso se utilizar a tanto la concepci on geom etrica como la algebraica. En algunos casos la geometr a logra visualizar mejor un problema dado, en otros
La teor a de este cap tulo puede ser encontrada en los cap tulos 1 y 2 de [16], en el cap tulo 2 de [7] as como en el cap tulo 2 de [6].
1
10 el algebra puede representarlo y resolverlo m as f acilmente.
2.1.
Planos, puntos y l neas rectas
Un punto en un plano se representa como un par de coordenadas (x, y ) en R2 . Com unmente, R2 se identica con un plano. Se puede considerar entonces 2 R como un espacio vectorial en el que (x, y ) es un vector. Se asocia as , un punto a un vector. En este curso los vectores ser an representados en letra negrita y sus elementos ser an dispuestos de manera vertical: m = (x, y )T . Una l nea recta en el plano (x, y ) est a representada por la ecuaci on: ax + by + c = 0. (2.1)
De esta manera, una l nea recta puede ser representada por un vector l = T (a, b, c) . La correspondencia entre l neas rectas y vectores no es uno a uno, ya que (a, b, c)T y (ka, kb, kc)T representan exactamente la misma l nea recta para k = 0, sin embargo son vectores distintos. Estos vectores son considerados como equivalentes y se denen como vectores homog eneos. Un punto (x, y ) est a en la recta l = (a, b, c)T si y s olo si la ecuaci on (2.1) es verdadera. Esta ecuaci on puede escribirse utilizando el producto punto entre los vectores l = [a b c]T y m = [x y 1]T como: l m = lT m = [a b c]T [x y 1] = ax + by + c = 0. (2.2)
As , el punto (x, y ) es representado por un vector (x, y, 1)T . Sin embargo, los vectores (kx, ky, k ), para k = 0, pueden considerarse tambi en como representaciones del mismo punto (x, y ) ya que satisfacen la ecuaci on T [a b c] [kx ky k ] = k (ax + by + c) = 0. Se dice entonces, que los puntos en un plano bidimensional pueden ser representados por vectores homog eneos de tres dimensiones cuyos dos primeros elementos son las coordenadas del punto en el plano y el tercer elemento es 1. En t erminos generales, si se tiene un vector homog eneo de tres dimensiones dado por (x1 , x2 , x3 )T que representa un punto en un plano, las coordenadas de este punto en el plano est an denidas como (x, y ) = (x1 /x3 , x2 /x3 ). Ejemplo 2.1 Intersecci on de dos l neas rectas:
2. Geometr a Proyectiva
11
Dadas dos rectas l = (a, b, c)T y l = (a , b , c )T se desea encontrar el punto de intersecci on de ambas rectas. Del algebra vectorial se sabe que el producto cruz de dos vectores produce un vector que es perpendicular a ellos. Tambi en se sabe que el producto punto entre dos vectores perpendiculares es igual a cero. Por lo tanto se puede armar que l (l l ) = l (l l ) = 0. Si se dene el punto m como l l obtenemos la representaci on homog enea que satisface las ecuaciones lT m = 0 y l T m = 0, lo que quiere decir que el punto m es la intersecci on de las rectas ya que pertenece a ellas: m=ll (2.3) Ejemplo 2.2 L nea recta que pasa por dos puntos: Dados dos puntos m = (x, y, 1)T y m = (x , y , 1)T se desea encontrar la l nea recta que pasa por ambos puntos. Mediante el mismo razonamiento del ejemplo anterior se puede armar que la recta est a denida por: l=mm (2.4) ya que lT m = 0 y lT m = 0, lo cual quiere decir que tanto m como m pertenecen a la misma recta l. Ejemplo 2.3 Intersecci on de dos rectas paralelas: Dadas dos rectas paralelas l = (a, b, c)T y l = (a, b, c )T se desea encontrar el punto de intersecci on. Seg un (2.3) la representaci on homog enea del punto de intersecci on est a dada por m = l l = (c c)[b a 0]T . La representaci on inhomog enea de este punto presenta una singularidad debido a la divisi on por cero. El punto obtenido de la divisi on por cero puede ser interpretado como un punto en el innito. Los puntos que tienen una representaci on homog enea de este tipo, T m = [x1 x2 x3 ] con x3 = 0, son conocidos como puntos ideales. Todos los puntos ideales pertenecen a la l nea en el innito l = [0 0 1]T , ya que [x1 x2 0]T [0 0 1] = 0. De esta manera una recta l = (a, b, c)T intersecta a l en m = l l = [b a 0]T . Una l nea l paralela a l intersecta a l en el mismo punto. Es interesante observar que en la Geometr a Proyectiva dos
12
x3 y (x , y ) x (x 1 , x 2 , x 3 )
lp
f= 1
x2
1
x3 x2
x1
Figura 2.1: Proyecci on (x1 , x2 , x3 ) (x, y ).
l neas rectas paralelas se encuentran en un punto (ideal), mientras que en la Geometr a Eucl dea la intersecci on de dos rectas paralelas no est a denida. Como ya se ha visto anteriormente, un punto (x, y ) en un plano tiene una representaci on homog enea en R3 dada por m = [x1 x2 x3 ]T con x = x1 /x3 y y = x2 /x3 . El plano proyectivo P 2 en el que est an representados todos los puntos inhomog eneos x = x1 /x3 y y = x2 /x3 puede ser interpretado utilizando la representaci on de la Figura 2.1. En este esquema la proyecci on de (x1 , x2 , x3 ) en un plano (x, y ) paralelo al plano (x1 , x2 , 0) ubicado en x3 = 1, est a dada por el punto (x, y ) el cual puede ser calculado aplicando el Teorema de Thales como x : x1 = y : x2 = 1 : x3 . Se obtiene entonces x = x1 /x3 y y = x2 /x3 . Se puede observar que cualquier punto 3D sobre la l nea de proyecci on (ver lp en Figura 2.1) produce el mismo punto proyectado en el plano (x, y ). Esto es lo mismo que decir que la proyecci on de k (x1 , x2 , x3 ) es igual a la proyecci on de (x1 , x2 , x3 ), para k = 0, y que esta proyecci on est a dada por x = x1 /x3 y y = x2 /x3 . En otras palabras, la clase de vectores homog eneos k (x1 , x2 , x3 ) representan el mismo punto en P 2 .
2.2.
Transformaciones Proyectivas 2D
La geometr a proyectiva 2D es el estudio de las propiedades del plano proyectivo P 2 que son invariantes bajo un grupo de transformaciones conocidas como proyectividades.
13
Una proyectividad es una transformaci on invertible dada por h : P 2 P 2 de manera tal que una l nea recta es transformada como una l nea recta. La proyectividad est a denida como: h(m) = m = Hm, (2.5)
donde H es una matriz 3 3 no singular. Se dice entonces que m es la transformaci on lineal H de m. Esta transformaci on es biun voca entre dos planos 2D, cuyos puntos son representados homog eneamente por m y m . Es decir, un punto en un plano 2D tiene una u nica correspondencia en un punto de otro plano 2D, y cada punto en un plano tiene un solo punto correspondiente en el otro plano. La condici on invariante (una recta es transformada en una recta) puede comprobarse de la siguiente manera: si m1 , m2 y m3 est an en la misma l nea recta T l, entonces l mi = 0 para i = 1, 2, 3. Esta ecuaci on puede ser escrita como lT H1 Hmi = 0, ya que H1 H = I. Como los tres puntos transformados por h quedan denidos como mi = Hmi , se puede escribir entonces l T mi = 0 con l T = lT H1 . Esto quiere decir que los puntos mi pertenecen a una recta l. La ecuaci on (2.5) puede escribirse de manera expl cita como
x1 h11 h12 h13 x1 x2 = h21 h22 h23 x2 . x3 h31 h32 h33 x3
(2.6)
Se observa que los resultados en la transformaci on de coordenadas no son afectados si se cambia H por k H, para k = 0, lo cual quiere decir que H es una matriz homog enea. Ejemplo 2.4 Calcular la matriz proyectiva entre los planos paralelos mostrados en la Figura 2.2: Utilizando el Teorema de Thales, se tienen las siguientes relaciones: x x = f2 f1 ; y y = f2 f1
14
X f2
f1
x y y'
x'
Figura 2.2: Proyecci on en dos planos paralelos.
Estas ecuaciones se pueden escribir usando la forma matricial m = Hm, con m = [x y 1]T ,m = [x y 1]T y f2 /f1 0 0 f2 /f1 0 H= 0 . 0 0 1 Para el caso de dos planos no paralelos como se muestra en la Figura 2.3 se pueden establecer dos caracter sticas de la transformaci on proyectiva: i) hay una correspondencia biun voca entre los puntos pertenecientes a ambos planos y ii) una l nea recta en un plano corresponde a una l nea recta en el otro plano. De esta manera se puede armar que la relaci on proyectiva entre ambos planos esta dada por la ecuaci on general (2.6). El pr oximo ejemplo ilustra una aplicaci on de esta transformaci on. Ejemplo 2.5 Recticaci on de distorsi on proyectiva: En este ejemplo se busca la matriz H que logre transformar una imagen que presente una distorsi on proyectiva, en una imagen libre de distorsi on. La operaci on de recticaci on de distorsi on se muestra en la Figura 2.3. Los datos de entrada en este problema son las coordenadas de n puntos (xi , yi ), i = 1, ...n, en la imagen original y las coordenadas deseadas de estos puntos (xi , yi ) en la imagen recticada. Por lo general se escogen puntos (xi , yi ) que

15
y x
y' x'
R2 C R1
R2 R1 C
[v ista sup erio r]
Figura 2.3: Proyecci on en dos planos no paralelos.
pertenezcan a un rect angulo. A partir de (2.6) se obtiene para cada punto (x , y ) y su correspndiente (x, y ) las ecuaciones: x = x1 h11 x + h12 y + h13 = x3 h31 x + h32 y + h33 x2 h21 x + h22 y + h23 = x3 h31 x + h32 y + h33
y =
En el problema interesa encontrar los 9 elementos de H. Sin embargo, como la matriz H es homog enea, k H tambi en ser a soluci on al problema. De esta manera es posible dividir cada elemento de H por h33 para obtener una matriz H con s olo 8 elementos desconocidos, ya que el u ltimo elemento ser a igual a uno. Entonces, con h33 = 1 las dos u ltimas ecuaciones pueden ser escritas de manera matricial como:
16
Figura 2.4: Recticaci on de distorsi on proyectiva.
x y 1 0 0 0 x x x y 0 0 0 x y 1 y x y y
h11 h12 h13 h21 h22 h23 h31 h32
x y
(2.7)
o bien Ah = b. Se observa que para cada correspondencia de puntos se obtienen dos ecuaciones. Suponiendo n pares de puntos correspondientes se puede establecer el siguiente sistema de 2n ecuaciones y 8 inc ognitas.

A1 A2 : An
h =
b1 b2 : bn
donde Ai y bi son la matriz A y el vector b obtenidas en (2.7) para el punto = b. Para i. El sistema de ecuaciones anterior puede ser expresado como Ah
17
1 b. Si n > 4 sin embargo n = 4 existe una soluci on directa dada por h = A el sistema queda sobredeterminado. En este caso se utiliza el m etodo de los m nimos cuadrados en el que se encuentra un vector h tal que minimice b . La soluci TA ]1 A T b. Ah on entonces estar a dada por h = [A Cabe se nalar que el m etodo aqu expuesto funciona s olo si h33 = 0. Para el caso en que h33 = 0 se recomienda un m etodo alternativo en el que la = [h11 ... h33 ]T . Para restricci on para H no es h33 = 1 sino h = 1 donde h mayores detalles ver [16]. En la Figura 2.4 se puede apreciar un ejemplo pr actico en el que se rectica la distorsi on proyectiva presente en la fotograf a de la fachada de una iglesia.
2.3.
Categorizaci on de las Transformaciones Proyectivas 2D
A continuaci on se presentan 4 categor as existentes en las transformaciones 2 2 proyectivas R R .
2.3.1.
Transformaci on Isom etrica (Eucl dea)
En la transformaci on isom etrica se conserva la distancia Eucl dea, es decir la distancia entre dos puntos es igual a la distancia entre los puntos transformados. La transformaci on proyectiva isom etrica es ilustrada en la Figura 2.5 y corresponde a la transformaci on de coordenadas (x , y ) (x, y ). La transformaci on (x , y ) (x, y ) es (ver Ejercicio 2.10):
x cos() sin() tx x y sin( ) cos( ) t = y y 1 0 0 1 1
(2.8)
donde es el angulo de la rotaci on entre los ejes y (tx , ty ) es el desplazamiento del origen. Esta ecuaci on puede ser escrita como: x y = cos() sin() sin() cos() x y + tx ty =R x y +t (2.9)
18
y y' ty x'
tx x
Figura 2.5: Transformaci on 2D isom etrica (Eucl dea).
o bien
x y = 1
R t 0T 1
x y 1
(2.10)
con 0T = [0 0]. La transformaci on inversa (x, y ) (x , y ) se obtiene de (2.9): x y = [R ]1 x y t . (2.11)
Como la matriz R es ortonormal, es decir que R [R ]T = I22 se sabe entonces que la inversa de R es su transpuesta. Deniendo R = [R ]T = [R ]1 y t = Rt se obtiene
x y = 1
R t 0T 1
x y . 1
(2.12)
Otra propiedad de las matrices R y R se obtiene observando que ambas son funciones del angulo de rotaci on . Si se dene R = R() es f acil comprobar que R = R(). (2.13)
19
Se puede observar que la matriz 3 3 de la transformaci on isom etrica (2.12) tiene la siguiente forma R t HE = . (2.14) 0T 1 Las invariantes de esta transformada, es decir las propiedades que se mantienen despu es de aplicar la transformaci on isom etrica son: i) longitud entre puntos, ii) angulo entre dos rectas y iii) area.
2.3.2.
Transformaci on de Similitud
En la transformaci on de similitud se conserva la forma de los objetos. Sin embargo, en este caso la distancia entre dos puntos ya no es igual a la distancia entre los puntos transformados. La transformaci on proyectiva de similitud, denida por medio de la matriz HS , es:
x y = 1
sR t 0T 1
HS
x y . 1
(2.15)
Las variables t, 0T y R est an denidas en la Secci on 2.3.1. A trav es del par ametro s se obtiene la ampliaci on (s > 1) o reducci on de los objetos(0 < s < 1). Las invariantes de esta transformada son: i) angulos entre rectas, ii) l neas paralelas, iii) raz on entre dos distancias y iv) raz on entre dos areas.
2.3.3.
Transformaci on Af n
En la transformaci on af n se distorsiona la forma de los objetos introduciendo una matriz 2 2 A no ortonormal en lugar de R. La transformaci on af n, denida por medio de la matriz HA , se expresa como:
x y = 1
A t 0T 1
HA
x y 1
(2.16)
Los vectores t y 0T est an denidos en la Secci on 2.3.1. Las invariantes de esta transformada son: i) l neas paralelas y ii) raz on entre dos areas.
20
2.3.4.
Transformaci on Proyectiva General
La transformaci on proyectiva es la generalizaci on de las transformaciones lin2 2 eales R R en la que las l neas paralelas no son transformadas necesariamente como tales. La transformaci on proyectiva ya se expres o en coordenadas homog eneas en (2.5). En este caso la matriz 3 3 de la transformaci on se denota como HP . La invariante de esta transformada es la raz on de cruz.
2.3.5.
Resumen de Transformaciones Proyectivas 2D
Un resumen de las transformaciones proyectivas 2D explicadas en esta secci on se muestra en la Tabla 2.1. Es necesario se nalar que las invariantes de un grupo inferior son heredadas por su grupo superior mas no en sentido inverso, es decir la conservaci on de las l neas paralelas es invariante de las tres primeras transformaciones, y la longitud entre dos puntos s olo es invariante
Transformaci on Eucl dea
Matriz H R t 0T 1 sR t 0T 1
Invariantes longitud entre puntos.
Similitud
angulos entre rectas, raz on entre dos distancias. l neas paralelas, raz on entre dos areas.
Af n
A t 0T 1
General
h11 h12 h13 on de cruz [16]. h21 h22 h23 raz h31 h32 h33
Tabla 2.1: Resumen de Transformaciones Proyectivas 2D.
21
o rigin al
E ucldea
similitud
afn
ge neral
Figura 2.6: Transformaciones proyectivas 2D.
de la transformaci on Ecucl dea. Adicionalmente, en la Figura 2.6 se muestran las distintas transformaciones de un cuadrado que se pueden realizar con las cuatro transformaciones explicadas.
2.4.
Transformaciones Proyectivas 3D
Un punto M que se encuentra en el espacio 3D se representa en coordenadas homog eneas como un vector de cuatro elementos. Si el punto 3D tiene coordenadas (inhomog eneas) (X, Y, Z )T se expresar a entonces como T M = [X1 X2 X3 X4 ] donde X = X1 /X4 , Y = X2 /X4 , y Z = X3 /X4 . Una forma sencilla de pasar de coordenadas inhomog eneas a homog eneas es T agregando un uno al nal del vector, es decir M = [X Y Z 1] . Un plano se dene como: p1 X + p2 Y + p3 Z + p4 = 0. (2.17)
Esta ecuaci on tambi en puede ser escrita como pT M = 0 con p = [p1 p2 p3 p4 ]T T y M = [X Y Z 1] . Se observa entonces que al igual que la recta en R2 un plano tiene una representaci on homog enea, ya que k p, para k = 0,representa el mismo plano denido en (2.17). Una transformaci on proyectiva se dene como: M = HM (2.18)
donde H es una matriz 4 4 invertible. Al igual que en el caso de la transformaci on proyectiva bidimensional en la que las rectas son transformadas como
22
Transformaci on Eucl dea
Matriz H R t 0T 1 sR t 0T 1

Invariantes longitud entre puntos, volumen.
Similitud
angulos entre planos, forma.
Af n
a11 a12 a13 tx a21 a22 a23 ty a31 a32 a33 tz 0 0 0 1 h11 h21 h31 h41 h12 h22 h32 h42 h13 h23 h33 h43 h14 h24 h34 h44

l neas paralelas.
General
intersecci on y tangentes de supercies en contacto.
Tabla 2.2: Resumen de Transformaciones Proyectivas 3D. rectas, en el caso de la transformaci on proyectiva 3D un plano transformado con (2.18) sigue siendo una plano. La representaci on homog enea del plano T T 1 transformado esta dada por p = p H . En esta secci on las transformaciones proyectivas 3D no ser an discutidas tan
o rigin al
E ucldea
similitud
afn
ge neral
Figura 2.7: Transformaciones proyectivas 3D.
23
en detalle como las transformaciones proyectivas 2D. Un resumen de ellas se puede encontrar en la Tabla 2.2. La Figura 2.7 presenta las distintas transformaciones aplicadas a un cubo. A lo largo de este documento s olo se utilizar a la transformaci on 3D Eucl dea, ya que ella representa los cambios de coordenadas que pueden sufrir los objetos r gidos al pasar de un sistema de coordenadas a otro. Deformaciones de objetos 3D no ser an contempladas en este documento. Dado un sistema de coordenadas 3D (X, Y, Z ) que ha sufrido una rotaci on y una traslaci on como se aprecia en la Figura 2.8, el espacio 3D en el nuevo sistema de coordenadas (X , Y , Z ) queda denido por una transformaci on 3D Eucl dea denida por:
X X Y = R Y + t Z Z
(2.19)
Z Z'
Z
Y
t
Y
Y'
X X'
Figura 2.8: Transformaci on 3D Eucl dea.
24
Y Y' X' X'
X Z' Z'
Y'
Z'
.
Z
Z
X Y'
.
Y
Y
Z X'
.
X
X
Y
Figura 2.9: Rotaci on de los ejes Z , Y , y X .
o en coordenadas homog eneas:

X Y Z 1
R t 0T 1
X Y Z 1
(2.20)
donde R es una matriz 3 3 ortonormal y t es un vector 3 1 que denen la rotaci on y traslaci on del sistema de coordenadas respectivamente. Al igual que en la transformaci on Eucl dea 2D explicada en la Secci on 2.3.1, se puede expresar (X, Y, Z ) en funci on de (X , Y , Z ) de la siguiente manera:

X Y Z 1
R t 0T 1
X Y Z 1
(2.21)
donde R = RT y t = R t. A continuaci on se denir a la matriz ortonormal R presente en la transfor3 maci on Eucl dea R R3 . Una rotaci on de los ejes de coordenadas puede ser descompuesto en rotaciones de cada uno de los ejes tal como se muestra en la Figura 2.9. Las transformaciones de cada una de estas rotaciones est an dadas por RZ , RY y RX en la Tabla 2.3. A manera de ejemplo si el u nico movimiento existente es la rotaci on del eje X , la ecuaci on que transforma las coordenadas ser a:
1 0 0 X X cos(X ) sin(X ) Y . Y = 0 Z 0 sin(X ) cos(X ) Z
25 Matriz de rotaci on cos(Z ) sin(Z ) 0 RZ = sin(Z ) cos(Z ) 0 0 0 1 cos(Y ) 0 sin(Y ) 0 1 0 RY = sin( ) 0 cos( ) Y Y 1 0 0 cos(X ) sin(X ) RX = 0 0 sin(X ) cos(X )
Rotaci on Eje Z
Eje Y
Eje X
Tabla 2.3: Matriz de rotaci on de los ejes Z , Y y X . La rotaci on total se puede denir entonces como primero una rotaci on del eje Z , luego del eje Y y luego del eje X , eso se puede expresar matem aticamente como una multiplicaci on de las tres matrices de rotaci on en el siguiente orden: R11 R12 R13 R(X , Y , Z ) = RX (X )RY (Y )RZ (Z ) = R21 R22 R23 , R31 R32 R33 donde los elementos Rij pueden ser expresados como: R11 R12 R13 R21 R22 R23 R31 R32 R33 = = = = = = = = = cos(Y ) cos(Z ) cos(Y ) sin(Z ) sin(Y ) sin(X ) sin(Y ) cos(Z ) cos(X ) sin(Z ) sin(X ) sin(Y ) sin(Z ) + cos(X ) cos(Z ) . sin(X ) cos(Y ) cos(X ) sin(Y ) cos(Z ) + sin(X ) sin(Z ) cos(X ) sin(Y ) sin(Z ) sin(X ) cos(Z ) cos(X ) cos(Y )

(2.22)
Es necesario resaltar que la multiplicaci on de matrices no es conmutativa, esto quiere decir que R = RX (X )RY (Y )RZ (Z ) = RZ (Z )RY (Y )RX (X ), sin embargo es posible obtener el mismo resultado para R cambiando el orden de las matrices siempre y cuando se consideren otros angulos de rotaci on para cada eje, es decir: R = RX (X )RY (Y )RZ (Z ) = RZ (Z )RY (Y )RX (X ).
26
A manera de ejemplo se puede comprobar que si primero hay una rotaci on 0 0 Z = 90 y luego una rotaci on Y = 90 el resultado es el mismo que con una primera rotaci on de X = 900 y luego una de Z = 900 (ver ejercicio 2.7). La matriz R = RT denida en (2.21) para calcular la transformaci on del sistema de coordenadas (X , Y , Z ) al sistema de coordenadas (X, Y, Z ) ser a para R = RX (X )RY (Y )RZ (Z ): R
T T = RT = RT Z (Z )RY (Y )RX (X ) = RZ (Z )RY (Y )RX (X )
(2.23)
En la u tlima igualdad se utiliz o la propiedad (2.13).
2.5.
Ejercicios
x + 2y = 8 x 2y = 0
Ejercicio 2.1 Resolver el sistema de ecuaciones
usando (2.3). Soluci on: l = (1, 2, 8)T , l = (1, 2, 0)T , m = l l = (16, 8, 4)T . Esto implica que x = 16/ 4 = 4, y = 8/ 4 = 2. Ejercicio 2.2 En un sistema de coordenadas (x, y ) se denen los v ertices de un cuadrado (1, 1), (1, 1), (1, 1) y (1, 1). Se desea conocer las coordenadas de etos v ertices en un nuevos sistema de coordenadas (x , y ) como el mostrado en la Figura 2.5 en donde = 300 , tx = 1 y ty = 2 Soluci on: Utilizando la transformaci on (2.12) se obtiene que los puntos en el nuevo sistema de coordenadas son (2,2321; 0,1340), (0,5; 0,8660), (1,5; 2,5981) y (3,2321; 1,5981) respectivamente. Ejercicio 2.3 Transformar las coordenadas de los v ertices de un cuadrado (1, 1), (1, 1), (1, 1) y (1, 1) a un nuevo sistema de coordenadas en el que ha ocurrido una rotaci on de 300 , un desplazamiento en (1, 2) y un cambio de escala 1 : 2.
27
Soluci on: Se tiene = 300 , tx = 1, ty = 2 y s = 0,5. Utilizando la transformaci on (2.15) se obtiene que los puntos en el nuevo sistema de coordenadas est an dados por (2,0490; 0,5490), (1,1830; 1,0490), (1,6830; 1,9151) y (2,5490; 1,4151) respectivamente. Ejercicio 2.4 Escribir un programa que implemente la transformada proyectiva H entre una imagen original I una y recticada I. Soluci on: Los datos de entrada al programa son H y la imagen original I cuyos elementos I (x , y ) son los valores de gris en los pixeles denotados por (x , y ) para x = 1, ..., N y y = 1, ..., M . Se desea encontrar entonces la imagen recticada I donde I (x, y ) son los valores de gris en los pixeles (x, y ) para x = 1, ..., N y y = 1, ..., M . La idea de este programa es que para cada pixel (x, y ) en la imagen recticada se busque su pixel correspondiente (x , y ) en la imagen original utilizando la transformaci on H. Seguramente el valor de gris en (x , y ) tendr a que ser interpolado de sus cuatro vecinos enteros, ya que al ser I una imagen digitalizda I (x , y ) est a denido s olo para valores enteros de (x , y ). El algoritmo se presenta a continuaci on: Algoritmo: 1. Para x = 1, ..., N y para y = 1, ..., M : 2. Denir m = [x y 1]T . 3. Evaluar m = Hm. 4. Evaluar x = m1 /m3 y y = m2 /m3 . 5. Denir x = x(x ), y = x(y ),x = x x y y = y y . 6. Evaluar I (x, y ) = [I ( x +1, y ) I ( x, y )]x +[I ( x, y +1) I ( x, y )]y + [I ( x + 1, y + 1) + I ( x, y ) I ( x + 1, y ) I ( x, y + 1)]x y + I ( x, y ) En este algoritmo se ha utilizado la funci on x que extrae la parte entera de un n umero real. La interpolaci on tiene lugar en el punto 6 del algoritmo, para mayores detalles de esta interpolaci on bilineal consultar [4]. Ejercicio 2.5 Encontrar la representaci on homog enea de un plano p que contenga los puntos M1 , M2 y M3 .
28
Soluci on: Utilizando la representaci on homog enea de los 3 puntos Mi , para i = 1, 2, 3 se puede escribir la ecuaci on del plano para cada punto MT i p = 0, o bien:
MT 1 MT 2 p = 0 MT 3 La soluci on a este sistema de ecuaciones est a dada por p = [D234 D134 D124 D123 ]T donde Djkl es el determinante de las las j , k y l de la matriz [M1 M2 M3 ]. Ejercicio 2.6 Encontrar la intersecci on de tres planos representados en vectores homog eneos como p1 , p2 y p3 . Soluci on: La intersecci on de tres planos es un punto. Utilizando la representaci on homog enea de este punto M, y sabiendo que este punto pertenece a los tres planos, se puede escribir entonces MT pi = 0, o bien:
pT 1 T p2 M = 0 pT 3 Al igual que el ejemplo anterior, la soluci on a este sistema de ecuaciones est a dada por M = (D234 , D134 , D124 , D123 )T donde Djkl es el determinante de las las j , k y l de la matriz [p1 p2 p3 ]. Ejercicio 2.7 Encontrar la matriz de rotaci on R para las siguientes rotaciones de ejes i) primero Z = 900 y luego Y = 900 . ii) primero X = 900 y luego Z = 900 . Soluci on: Para el caso i) la matriz de rotaci on queda R = RX (X = 0 0 0 0 )RY (Y = 90 )RZ (Z = 90 ). Para el caso ii) la matriz de rotaci on queda R = RZ (Z = 900 )RY (Y = 00 )RX (X = 900 ). Para ambos casos el resultado es: 0 0 1 0 0 R = 1 . 0 1 0

29
Ejercicio 2.8 En la Figura 2.10, encontrar la transformaci on Eucl dea del sistema de coordenadas del objeto (X4 , Y4 , Z4 ) al sistema de coordenadas de referencia (X1 , Y1 , Z1 ).
Z1 Y1
Z2

Y2 X2 Z4
X1
Z3
Y3 X4 X3
Y4
Figura 2.10: Figura del Ejercicio 2.8: Transformaci on (X4 , Y4 , Z4 ) (X1 , Y1 , Z1 ).
y'
(x'1 ,y'1 )
y
(x 1 ,y 1 ) (x 4 ,y 4 )
x'
(x'4 ,y'4 )
(x'2 ,y'2 )
(x'3 ,y'3 )
(x 2 ,y 2 )
(x 3 ,y 3 )
Figura 2.11: Distorsi on de perspectiva (ver Ejercicio 2.9).
30
Ejercicio 2.9 Encontrar la transformaci on proyectiva 2D 2D, denida por la matriz 3 3 H que realiza la correcci on de distorsi on de perspectiva mostrada en la Figura 3.10 suponiendo que (x1 , y1 ) = (1, 1); (x2 , y2 ) = (4, 1); (x3 , y3 ) = (3, 4); (x4 , y4 ) = (2, 4); (x1 , y1 ) = (1, 1); (x2 , y2 ) = (4, 1); (x3 , y3 ) = (4, 4); (x4 , y4 ) = (1, 4). Para los c alculos suponer h33 =1. Soluci on: A partir de (2.7) se obtienen dos ecuaciones por cada par de puntos correspondientes. Esto quiere decir que para los cuatro puntos correspondientes el sistema de ecuaciones quedar a:

1 0 4 0 4 0 1 0
1 0 1 0 4 0 4 0
1 0 1 0 1 0 1 0
0 1 0 4 0 4 0 1
0 1 0 1 0 4 0 4
0 1 1 h11 1 1 1 h12 0 16 4 h13 1 4 1 h21 0 12 12 h22 1 16 16 h23 0 2 8 h31 1 4 16 h32
1 1 4 1 3 4 2 4
= b. Los elementos h11 , ..., h23 se encuentran entonces a partir de o bien Ah ]1 b = (3, 5, 5, 0, 11, 8, 0, 2)T . Esto quiere decir que h = [h11 ... h23 ]T = [A la matriz H quedar a:

3 5 5 H = 0 11 8 . 0 2 1 Ejercicio 2.10 Demostrar que la relaci on entre las coordenadas (x , y ) y (x, y ) en la Figura 2.5 est a dada por (2.8). Soluci on: Se denen los vectores unitarios de los ejes x y y como ex y ey , y de los ejes x y y como ex y ey , tal como se aprecia en la Figura 2.12a. Se sabe que la relaci on entre ellos es: cos()ex + sin()ey ex = ey = sin()ex + cos()ey (2.24)
31
y y' ty
e' y
m x'
e' x
m y'
m'
x'
ty
m t'
ey ex
tx x
(a )
tx x
(b )
Figura 2.12: Transformaci on Eucl dea 2D (Ejercicio 2.10).
En la Figura 2.12b, el punto m puede ser representado vectorialmente como m o bien como su descomposici on t + m . Igual andolos se obtiene: xex + y ey = [x ex + ty ey + x ex + y ey .
m t m
Reemplazando (2.24) en esta u ltima ecuaci on se obtiene una expresi on que depende de los vectores unitarios ex y ey :
xex + y ey = tx ex + ty ey + x cos()ex + x sin()ey y sin()ex + y cos()ey . Igualando las componentes en la direcci on x y las componentes en en la direcci on y de manera independiente se obtiene (2.8):
x = x cos() y sin() +tx . y = x sin() +y cos() +ty
32
Cap tulo 3 Modelaci on Geom etrica de un Sistema de Visi on Articial

En este cap tulo se describe c omo funciona un sistema de visi on articial y se presenta un modelo geom etrico para poder calcular la funci on de transferencia del espacio 3D y la imagen 2D tomada de el.
Fu ente de En erg a
O bjeto C ma ra n C ma ra 1 C omp uta dor M anip ula dor
Figura 3.1: Sistema de visi on articial.
33
34
3.1.
Descripci on de un Sistema de Visi on Articial
En esta secci on se describir a cu ales son los principales componentes de un sistema de visi on articial. Tal como se aprecia en la Figura 3.1 estos componentes son: el manipulador, la fuente de energ a, el sensor, el conversor an alogo-digital y el computador.
3.1.1.
El Manipulador
El manipulador es un aparato que mueve y ubica el objeto de estudio a una posici on deseada sin ser tocado por el ser humano. Un manipulador posee grados de libertad que indican los posibles movimientos que puede hacer para mover el objeto. Los grados de libertad pueden ser de traslaci on y/o rotaci on. Muchas veces el manipulador se acciona mediante joysticks, otras veces por medio de una interfaz con un PLC o computador. El manipulador consta de elementos deslizantes y de giro con los que se lleva a cabo la traslaci on y rotaci on del objeto respectivamente. Hay conguraciones en los que el manipulador no mueve al objeto sino a la(s) c amara(s), esto es muy ventajoso cuando se trata de analizar objetos muy pesados, ya que mover la(s) c amara(s) requiere de una mec anica m as sencilla y econ omica.
3.1.2.
Fuente de Energ a
Dependiendo del tipo de an alisis que se desea hacer del objeto de estudio se debe escoger la energ a necesaria para poder tomar una imagen de el. Los tipos de energ a utilizados son: luz (visible) para la fotograf a, rayos X y rayos para la radiograf a y tambi en para tomograf a, ultrasonido para la ecograf a, campos magn eticos para la magneto-resonancia, calor para la termograf a, etc. En la gran mayor a de casos se utilizan ltros para restringir el espectro de frecuencias de la energ a. En el caso de iluminaci on es importante analizar si se preere luz difusa o directa y tambi en su color (espectro).
3. Modelaci on Geom etrica de Sistema de Visi on Articial
35
3.1.3.
Sensor de Imagen
El sensor debe ser sensible a la energ a utilizada. Si es luz por ejemplo ser a necesario utilizar alg un tipo de elemento fotosensible que transforme los fotones reejados por el objeto de estudio a alguna se nal el ectrica (generalmente voltaje). Para el caso de los rayos X estos elementos son muy poco sensibles a los fotones de este espectro por lo que se utiliza entre el objeto y el sensor fotosensible un amplicador de imagen que transforma los rayos X en luz visible1 El sensor debe ser bidimensional (o unidimensional en movimiento) para poder captar las dos dimensiones de la imagen.
3.1.4.
Conversor An alogo-Digital
El conversor A/D convierte la se nal el ectrica a un c odigo binario que puede ser interpretado por el computador para conformar una imagen digital del objeto de estudio.
3.1.5.
Computador
El computador se encarga de procesar la informaci on entregada por el conversor A/D. Las tareas t picas de un computador utilizado en un sistema de visi on articial son: i) mejoramiento de la imagen, ii) segmentaci on, iii) clasicaci on de patrones y iv) an alisis espacial.
3.2.
La C amara Pinhole
El modelo b asico de la c amara pinhole ya ha sido visto en la Secci on 2. Un esquema de este modelo se presenta en la Figura 3.2. El modelo consiste en un centro optico C , en donde convergen todos los rayos de la proyecci on, y un plano de imagen R en el cual la imagen es proyectada. El plano de imagen est a ubicado a una distancia focal f del centro optico y perpendicular al eje optico Z .
Existen elementos de estado s olido sensibles a los rayos X, sin embargo el uso del amplicador de imagen resulta tres veces m as econ omico.
1
36
X f
D ista ncia foc al
a Pl
no
de
im
ag
en
R y
Z
E je ptic o
m C
C entro p tico
Y
P roye ccin 2 D
M
P unto 3D
Figura 3.2: Modelo geom etrico de c amara pinhole.
Un punto 3D M es proyectado en el plano de imagen como m. El punto 2D m se dene como la intersecci on de la recta C, M con el plano R, donde la notaci on A, B denota la l nea recta que contiene los puntos A y B : m = C, M R (3.1)
Suponiendo que las coordenadas (inhomog eneas) de los puntos M y m son T T (X, Y, Z ) y (x, y ) respectivamente, se puede encontrar una relaci on entre ellas aplicando el teorema de Thales. Zx = f X Zy = f Y o bien en coordenadas homog eneas:
X x fX f 0 0 0 Y Z y = fY = 0 f 0 0 Z 1 Z 0 0 1 0 1
(3.2)
(3.3)
que puede ser escrita en forma matricial como m = PM (3.4)
37
X
X f
R Z x m C Y M y
R Z x m C Y y
rayo s X
cm a ra oscura
Figura 3.3: Modelo geom etrico de proyecci on rayos X y c amara oscura.
siendo M = [X Y Z 1]T y m = [x y 1]T las coordenadas homog eneas de M y m respectivamente, y P la matriz de 3 4 denominada matriz de proyecci on perspectiva de la c amara. El factor es un factor de escala para mantener la igualdad y es igual a Z . Se observa que la ecuaci on no lineal de la proyecci on en coordenadas inhomog eneas (3.2) se convierte en una ecuaci on lineal en coordenadas homog eneas, lo cual constituye una de las principales ventajas del uso de las coordenadas homog eneas en la geometr a proyectiva. Modelos geom etricos similares presentan la proyecci on de rayos X y la c amara oscura (ver Figura 3.3). En los rayos X la fuente de emisi on es modelada como un punto y coincide con el centro optico C . El objeto es ubicado entre la fuente de rayos X y la placa fotogr aca (plano de imagen R). En este caso, las ecuaciones que describen la proyecci on coinciden con las expresadas anteriormente. Para la c amara oscura, descrita en la Secci on 1.3 e ilustrada en la Figura 1.7, el oricio de ingreso de luz corresponde al centro optico C ya que por el pasan todos los haces de luz que conforman la imagen en el plano de imagen R. Sin embargo, debido a que el centro optico se ubica entre el objeto y el plano de imagen ocurre una inversi on de la imagen, es decir X/Z = x/f y Y /Z = y/f . En la matriz de proyecci on perspectiva P entonces es necesario cambiar f por f :
X x f 0 0 0 Y y = 0 f 0 0 Z 1 0 0 1 0 1
(3.5)
38 En el modelo de proyecci on m = PM se ha asumido que:
i) el origen del sistema de coordenadas del espacio 3D coincide con el centro optico C , ii) el eje optico coincide con el eje Z de este sistema de coordenadas, y iii) el origen del sistema de coordenadas del plano de la imagen coincide con la intersecci on de Z con R. Esta intersecci on es conocida con el punto principal c de la imagen. Qu e pasa si estos tres supuestos no se cumplen? Se considerar a inicialmente un nuevo sistema de coordenadas (X , Y , Z ) como se ilustra en la Figura 3.4. Este nuevo sistema de coordenadas no cumple las dos primeras condiciones anteriormente se naladas ya que su origen no coincide con el centro optico y su eje Z no coincide con el eje optico de la proyecci on. Generalmente, este nuevo sistema de coordenadas est a referido al objeto de estudio. Este cambio de coordenadas corresponde a una transformaci on 3D Eucl dea (ver Figura 2.8) ya que s olo est an involucradas la rotaci on y la traslaci on del objeto (y no la deformaci on o cambio de escala), como ya se analiz o en la Secci on 2.4. Considerando en este caso que la rotaci on de los ejes X , Y y Z respecto a los ejes X , Y , y Z est a denida por la matriz ortonormal 3 3 R y que
X f
R v Z C Z' Y' Y
R ', t '
M m u y
X'
Figura 3.4: Modelo geom etrico de proyecci on con rotaci on de ejes.
39
el origen del nuevo sistema de coordenadas (X , Y , Z ) se representa por el vector 3 1 t en el sistema de coordenadas (X, Y, Z ) entonces se puede escribir: X X Y R t Y (3.6) = , Z 0T 1 Z 1 1 o bien M=SM, (3.7) con M = [X Y Z 1]T , M = [X Y Z 1]T y S la matriz 4 4 que incluye a R y t tal como se muestra en (3.6)2 . Utilizando (3.7) y (3.4) la proyecci on de un punto M en la imagen queda denida por: m = PS M . (3.8)
En el plano de imagen, se considerar a ahora un nuevo sistema de coordenadas dado por los ejes u, y v , como se ilustra en la Figura 3.4, de tal manera que la condici on que el origen del sistema de coordenadas del plano de imagen no coincida con el punto principal de la proyecci on. Si entre los ejes x,y y los ejes u,v s olo existe una traslaci on y rotaci on entonces entre estos dos sistemas de coordenadas se da una transformaci on 2D Eucl dea denida en la Secci on 2.3.1. Es posible tambi en que haya un cambio de escala entre ambos ejes como ocurre en las c amaras CCD, donde las unidades de los ejes est an dadas en p xels y no en mil metros por ejemplo. En t erminos generales se puede decir que entre ambos sistemas de coordenadas existe una transformaci on proyectiva 2D que puede ser expresada como: w = Hm (3.9)
con w = [u v 1]T , m = [x y 1]T y H la matriz 3 3 que dene la transformaci on proyectiva 2D 2D tal como se explic o en la Secci on 2.2. La proyecci on de un punto 3D (X , Y , Z ) (representado en coordenadas homog eneas por el vector M ) en un punto (u, v ) en el plano de imagen (representado en coordenadas homog eneas por el vector w) se puede expresar usando las ecuaciones (3.9) y (3.8) de la siguiente manera: w = HPS M .
2
(3.10)
Se puede observar que la transformaci on inversa est a denida en (2.20).
40
R egistrso s d e tra nsp orte ve rtica l
A rreg lo C CD
S ensores fo tose nsibles P roce sam iento R egistros de lec tura ho rizo nta l S ea l de vdeo
Figura 3.5: Construcci on de un arreglo CCD.
3.3.
C amara CCD
La c amara CCD (charge-coupled-device) es un sensor de imagen que utiliza elementos semiconductores fotosensibles en forma de arreglos matriciales. Los receptores activos de este arreglo son distribuidos en p xels individuales. En un sensor CCD se transforma la energ a de la luz incidente en energ a el ectrica. La carga el ectrica almacenada en la celda es posteriormente transportada utilizando un registro de desplazamiento (shift register) para conformar una se nal de v deo. Cabe se nalar que en las c amaras CCD se discretiza la imagen en p xels, sin embargo el valor de la carga el ectrica almacenado en cada celda no se digitaliza en el arreglo CCD sino en una conversi on posterior realizada por un conversor an alogodigital. Las c amaras CCD son consideradas como dispositivos que poseen una muy baja deformaci on geom etrica de la imagen, una muy buena sensibilidad a la luz y una muy buena resoluci on llegando t picamente a los 400.000 p xels3 . El tiempo de captura de la imagen est a t picamente en el rango de 1/60s y 1/10000s [4]. La formaci on geom etrica de la imagen se considera como una transformaci on de las coordenadas x, y en un nuevo sistema de coordenadas u, v tal como
Hoy en d a existen c amaras CCD para HDTV(High Denition Television) con alrededor de 2.200.000 p xels.
3
41
se explic o a grandes rasgos en la secci on anterior (ver Figura 3.4). Para esta transformaci on es necesario considerar los siguientes cuatro aspectos: Cambio de escala: Las coordenadas de una imagen est an com unmente expresadas en otras unidades m etricas que las empleadas para medir el espacio 3D. Por lo general la imagen se expresa en p xels y el espacio 3D en mil metros. Por esta raz on, en la transformaci on de coordenadas (x, y ) (u, v ) que se mencion o en la Secci on 3.2 es necesario considerar un factor de escala. Adicionalmente es necesario tomar en cuenta que debido a que los p xels no son cuadrados, sino rectangulares, el factor de escala es distinto en cada eje de la imagen. Los factores de escala utilizados son x y y expresados en [pixel/mm]. Traslaci on del origen: Se introducen las variables (u0 , v0 ) para denotar el punto principal de la imagen en el nuevo sistema de coordenadas, es decir u = u0 , v = v0 corresponden al punto x = 0, y = 0. Rotaci on de los ejes: Los ejes x, y y los ejes u, v no tienen la misma orientaci on. En la modelaci on de la c amara existen dos m etodos: uno que considera un angulo de rotaci on, y otro que asume que este angulo es cero y que el ajuste debe hacerse en los ejes X, Y, Z del sistema de coordenadas del espacio 3D. En este segundo m etodo el eje Z sigue siendo el eje optico de la proyecci on y los ejes x,y siguen siendo paralelos a los ejes X , Y , sin embargo se hace coincidir, mediante una rotaci on del eje Z , la orientaci on de los ejes x,y con los ejes u,v . Factor de torcimiento: Muchas veces los ejes u,v no son ortogonales debido a que los p xels en los arreglos CCD no son rectangulares. En este caso es necesario introducirle al modelo de la c amara un factor de torcimiento (skew factor) s. En la gran mayor a de c amaras s es cero. Resumiendo los cuatro aspectos y considerando que la orientaci on de u, v y x, y es la misma, la transformaci on de coordenadas est a denida por:
u x s u 0 x v = 0 y v0 y , 0 0 1 1 1 o bien w = Km,
T T
(3.11)
(3.12)
con w = [u v 1] , m = [x y 1] y K la matriz 3 3 escrita en (3.11). La matriz K es conocida como la matriz de calibraci on de la c amara.
42
La proyecci on (X , Y , Z ) (u, v ) (3D 2D) puede ser escrito utilizando (3.10): w = KPS M . (3.13) En esta ecuaci on se sabe que la matriz K depende de 5 par ametros: los dos factores de escala x y y , las coordenadas del punto principal (u0 , v0 ) y el factor de torcimiento s; la matriz de proyecci on perspectiva P depende de la distancia focal f ; y la matriz de la transformaci on 3D Eucl dea depende de 6 par ametros: 3 para la traslaci on tridimensional (tX , tY , tZ ) y 3 para la rotaci on de los ejes: (X , Y , Z ). Esto quiere decir que el modelo consta de 12 par ametros, sin embargo al realizar la multiplicaci on KP: f 0 0 0 f x f s u 0 0 x s u0 KP = 0 y v0 0 f 0 0 = 0 f y v0 0 0 0 1 0 0 1 0 0 0 1 0

(3.14)
se observa que hay elementos que se resumen en la multiplicaci on. A manera de ejemplo, con este modelo s olo es posible conocer el producto f x y no f y x por separado. Por esta raz on muchas veces el producto anterior se expresa como: x s u0 1 0 0 0 KP = (3.15) 1 y v0 0 1 0 0 0 0 1 0 0 0 1 con x = f x , y = f y y s = f s. Este nuevo modelo pude ser interpretado como una proyecci on con longitud focal normalizada f = 1 y con factores de escala y torcimiento referidos a esta normalizaci on. De esta manera el modelo de la c amara queda denido por s olo 11 par ametros, los que se descomponen en 5 intr nsecos a la c amara (x , y , u0 , v0 , s ) y 6 extr nsecos a la c amara (tX , tY , tZ , X , Y , Z ).
3.4.
Distorsi on del lente
La curvatura del lente utilizado en las c amaras introduce una deformaci on en la imagen. Debido a esta distorsi on las l neas que en el espacio 3D son rectas ya no son vistas en la proyecci on como l neas rectas sino como l neas curvas (ver Figura 1.2). Este efecto puede ser despreciable en el centro de la imagen, sin embargo es considerable en los extremos de la imagen, donde la
43
(a)
(b)
Figura 3.6: Ejemplo de Distorsi on: a) Radiograf a de un objeto de calibraci on, b) Modelaci on de la distorisi on
normal de la supercie del lente no es paralela al eje optico de la proyecci on. Un ejemplo real es mostrado en la Figura 3.6. En los casos en que la distorsi on de la imagen es grande, el modelo lineal de c amara CCD que se introdujo en la Secci on 3.3 deber a ser modicado. En la literatura existe una gran variedad de modelos que incluyen esta distorsi on. La idea general de estos modelos consiste en tener una imagen ideal con coordenadas (x, y ) y una real con coordenadas (x , y ). L ogicamente, s olo la imagen real es vista. De esta manera el modelo de proyecci on total, en el que un punto M = [X Y Z 1]T es proyectado en la imagen como w = [u v 1]T , consta de cuatro partes: i) Transformaci on Eucl dea 3D: Con esta transformaci on las coordenadas de un punto M en coordenadas relativas al objeto de estudio son transformadas a las coordenadas del sistema de proyecci on como un punto M. La transformaci on, denida en (3.7), es: M = S M . ii) Proyecci on en perspectiva: Con esta proyecci on se obtiene a partir del punto M un punto (x, y ) en el plano de la imagen. Esta proyecci on T est a denida en (3.4): m = PM, con m = [x y 1] . Esta imagen proyectada es la que se denomina imagen ideal. iii) Modelaci on de distorsi on: Con una funci on de distorsi on se obtiene la imagen real a partir de la imagen ideal. Es decir a partir de un punto
44
(x, y ) de la imagen ideal se obtiene un punto (x , y ) de la imagen real. La funci on de distorsi on se expresa como: x = x + x (x, y ) , y = y + y (x, y ) (3.16)
iv) Proyecci on en la c amara: La formaci on de la imagen en la c amara CCD se hace mediante la matriz K tal como se explic o en la Secci on 3.3. Utilizando (3.11) para las nuevas coordenadas se obtiene:
u x s u0 x v 1 v = y 0 y , 1 0 0 1 1
(3.17)
A continuaci on se explicar a brevemente como se puede modelar la funci on de distorsi on. Generalmente la distorsi on es modelada como una componente radial r y otra tangencial [35]. Estas componentes son ilustradas en la Figura 3.7 en la que se observa un punto de distorsi on nula (x0 , y0 ), en donde x = x , y y = y , es decir x (x0 , y0 ) = y (x0 , y0 ) = 0. Com unmente este punto es el punto principal de la imagen, sin embargo esta condici on no siempre se cumple porque el lente puede encontrarse un poco desplazado del eje optico de la proyecci on. Descomponiendo (x, y ) en coordenadas polares (r, ) con centro en (x0 , y0 ) se puede escribir la distorsi on como la suma de ambas componentes: x (x, y ) = r (r) cos() r () sin() y (x, y ) = r (r) sin() + r () cos() (3.18)
La componente de distorsi on radial asume que un punto ideal (x, y ) se proyecta en la imagen real sobre la l nea radial que contiene los puntos (x0 , y0 ) y (x, y ). An alogamente, la distorsi on tangencial asume que existe un cambio de angulo (y no de radio). El efecto es ilustrado en la Figura 3.7. As como la distoris on radial depende s olo del radio, la distorsi on tangencial depende s olo del angulo. Las distorsiones pueden modelarse como polinomios de orden mayor que uno.
3.5.
Modelaci on de un manipulador
La modelaci on de un manipulador consiste en encontrar las matrices proyectivas Eucl deas 3D que hacen la transformaci on de coordenadas de un sistema
45
p un to r ea l (x',y') p un to id e a l (x,y)
d istorsin ra d ial
( x 0,y 0)
d istorsin ta n g en c ial
Figura 3.7: Modelaci on de distorsi on de lente en componente radial y tangencial.
de coordenadas relativas al objeto de estudio al sistema de coordenadas del espacio 3D en el que tiene lugar la proyecci on perspectiva. En el modelo deben incluirse los grados de libertad que posee el manipulador. Com unmente por cada centro de rotaci on se establece un sistema de coordenadas. Un ejemplo puede encontrase en el Ejercicio 2.8.
En la modelaci on debe incluirse factores de cambio de escala, ya que por lo general las unidades en las que trabaja un manipulador son incrementos y estos deben convertirse a mil metros o radianes. La conversi on de escala se modela en forma lineal. A manera de ejemplo, si la rotaci on de un eje es proporcionada por una variable de salida del manipulador denominada R, y esta corresponde al angulo de rotaci on X de nuestra transformaci on Eucl dea, deben encontrase los par ametros KR0 y KR1 que establezcan la relaci on X = KR0 + KR1 R, de esta manera KR1 realiza la conversi on de escala (incrementos mil metros) y KR0 denota el angulo de rotaci on en radianes que corresponde a R = 0.
46
3.6.
Calibraci on de un sistema de visi on articial
La calibraci on es el m etodo mediante el cual se estiman los par ametros intr nsecos y extr nsecos de la c amara, as como los par ametros del manipulador. Tambi en es posible estimar los par ametros del modelo de distorsi on del lente de la c amara. Existen dos m etodos com unmente usados para la calibraci on: auto-calibraci on (self-clibration) y calibraci on fotogram etrica. En la auto-calibraci on se toman varias im agenes de una misma escena y mediante la correspondencia entre puntos de distintas im agenes se puede encontrar los mejores par ametros del modelo que puedan otorgar esta correspondencia. La reconstrucci on 3D realizada con el modelo encontrado est a afectada sin embargo por un factor de escala ya que en este m etodo no se puede saber cu al es el tama no real de los objetos captados por las c amaras. Un objeto peque no cerca del centro optico puede tener la misma imagen que el mismo objeto agrandado m as cerca del plano de imagen. Si lo que se busca es una reconstrucci on 3D precisa, como es el caso de muchas de las aplicaciones de la rob otica, es recomendable utilizar la calibraci on fotogram etrica. Esta calibraci on utiliza un objeto 3D de referencia cuya geometr a es conocida a la perfecci on. N puntos de inter es son escogidos del objeto de referencia, obteniendo as las coordenadas Mi = [Xi Yi Zi 1]T , para i =, 1, ...N . El objeto es a continuaci on captado por la c amara y sus puntos de inter es son vistos como puntos 2D con coordenadas wi = [ui vi 1]T . Teniendo un modelo de la proyecci on es posible obtener una estimaci on te orica de los puntos 3D. De esta manera se calculan los puntos: w i = f (Mi ) (3.19)
donde f es la funci on de proyecci on que involucra los par ametros de la c amara, del lente y del manipulador seg un sea el caso. Formalmente f es una funci on no lineal que depende de un vector de par ametros que agrupa los par ametros del modelo. Para el caso de una proyecci on sin distorsi on se puede usar (3.13) como funci on de proyecci on f , en este caso los once par ametros del modelo se agrupan como = [tX tY tZ X Y Z x y u0 v0 s ]T . El problema de calibraci on se transforma en un problema de optimizaci on mediante el cual una funci on objetivo que mide el error entre la proyecci on
47
estimada w i y la proyecci on medida wi debe ser minimizada. De esta manera, se debe encontrar los par ametros de la funci on de proyecci on f de tal manera que se minimice la siguiente funci on objetivo: J () = 1 N
N
w i wi min
i=1
(3.20)
3.7.
Ejercicios
Ejercicio 3.1 En la Figura 3.8 se presenta el sistema p endulo invertido, el cual consiste en un carrito que se desplaza en la direcci on Z y que sostiene una barra de longitud b la cual se debe mantener en equilibrio. La barra se encuentra a un angulo del eje Z . El control del p endulo invertido pretende mover el carrito de tal manera que = /2. El eje de rotaci on de la barra se encuentra a una distancia a del origen de un sistema de coordenadas (X , Y , Z ). En este sistema de coordenadas, la barra de longitud b se encuentra en el plano (X , Z ). Para estudiar el angulo de la barra se cuenta con una c amara cuyo centro optico C se encuentra en las coordenadas (X = X0 , Y = Y0 , Z = Z0 ). En este centro optico se dene un nuevo sistema de coordenadas (X, Y, Z ) el cual presenta una rotaci on del eje X de /2 + . En Z = f se encuentra el plano de imagen R de la c amara en el
M
R
X'
b
Z
x y
m X Y
f
Z'
C
X'0 Z' 0
a
Y' 0 Y'
Figura 3.8: P endulo invertido (ver Ejercicio 3.1).
48
cual se dene un sistema de coordenadas bidimensional (x, y ), donde el eje x y el eje y son paralelos al eje X y al eje Y respectivamente. El origen de este sistema de coordenadas (x = 0, y = 0) es la intersecci on del eje Z con el plano R. Encuentre las coordenadas (x, y ) del punto m denido como la imagen del punto M (ubicado al extremo de la barra) en el plano R. Soluci on: La soluci on a este problema se obtiene en tres etapas: i) c alculo de las coordenadas de M en el sistema de coordenadas (X , Y , Z ); ii) transformaci on Eucl dea 3D (X , Y , Z ) (X, Y, Z ); y iii) proyecci on del punto (X, Y, Z ) en el plano R. i) Las coordenadas de M en el sistema de coordenadas (X , Y , Z ) son: X = b sin , Y = 0 y Z = a + b cos . ii) El punto M en el sistema de coordenadas (X, Y, Z ) se puede calcular utilizando el esquema de la Figura 2.8. En este caso el vector de traslaci on T es t = [X0 Y0 Z0 ] y los angulos de rotaci on son X = /2, Y = 0 y
Z Y
X'
.
X
Z'
Y'
Figura 3.9: Rotaci on del eje X en el p endulo invertido (ver Ejercicio 3.1).
49
Z = 0. El signo menos en X se debe a que el angulo se mide del eje Y al eje Y como se aprecia en la Figura 2.9 (comparar con Figura 3.9). La matriz de rotaci on R corresponde entonces a RX proporcionada por la Tabla 2.3. Seg un (2.20) la transformaci on entre (X , Y , Z ) y (X, Y, Z ) queda:

X Y Z 1
1 0 0 X0 X 0 cos(X ) sin(X ) Y0 Y 0 sin(X ) cos(X ) Z0 Z 0 0 0 1 1 X Y Z 1

=
o bien
RX t 0 1
X Y Z 1
Sin embargo lo que interesa en este ejercicio es la transformaci on inversa (X , Y , Z ) (X, Y, Z ), la que se obtiene de (2.21):

X Y Z 1
=
T RT X RX t 0 1
X Y Z 1
o bien en t erminos matriciales M = S M , donde M = [X Y Z 1]T y M = [X Y Z 1]T y S la matriz 4 4 denida en la ecuaci on anterior. iii) La proyecci on de M en el plano R corresponde a la c amara pinhole mostrada en la Figura 3.2. Esta proyecci on se expresa matem aticamente en T (3.4), es decir, m = PM con m = [x y 1] , y P la matriz de proyecci on perspectiva de la c amara: f 0 0 0 P= 0 f 0 0 0 0 1 0 Finalmente se obtiene:

x y = PS 1
b sin 0 a + b cos 1
50
Ejercicio 3.2 En un sistema optico no lineal ocurre una distorsi on como la que se muestra en la Figura 3.10. La relaci on entre puntos ideales (x, y ) y reales (x , y ) se muestra en la Tabla 3.1. a) Existe distorsi on tangencial? Justique su respuesta. b) Proponga las funciones de distorsi on x (x, y ) y y (x, y ) tal que cumplan: x = x + x (x, y ) , y = y + y (x, y )
y
5
x
ideal
8 7
real
9
Figura 3.10: Distorsi on no lineal (ver Ejercicio 3.2). i 1 2 3 4 5 6 7 8 9 x y -1 0 0 0 1 0 -1 1 0 1 1 1 -1 -1 0 -1 1 -1 x y -1 0 0 0 1 0 -1.2 1.2 0 1 1.2 1.2 -1.2 -1.2 0 -1 1.2 -1.2
Tabla 3.1: Distorsi on no lineal (ver Figura 3.10).
51
Soluci on: En los puntos presentados en la Figura 3.10 se observa que s olo hay distorsi on radial (y no tangencial) ya que los puntos reales se obtienen desplazando los puntos ideales a lo largo de su radio. La distorsi on puede ser modelada de muchas maneras. Una de ellas se presenta a continuaci on en la que se asume solamente una distorsi on radial r (r). Utilizando (3.18) con () = 0 se obtiene x (x, y ) = r (r) cos() y (x, y ) = r (r) sin() (3.21)
donde r, son las coordenadas polares de (x, y ), es decir r = x2 + y 2 y =angle(x, y ). En la Tabla 3.1 se observa que no hay distorsi on (r (r) = 0) para r = 0 (punto 2) y para r = 1 (puntos on se 1,3,5 y 8). La distorsi presenta en los puntos 4, 6, 7 y 9, donde r = 2, en este caso r (r) debe ser la distancia estos puntos ideales y sus respectivos puntos reales, es decir entre on r (r) puede tener la forma r (r) = kr(r 1), (1,2 1) 2 = 0,2 2. La funci as se asegura que r (r) sea cero para r = 0 y para r = 1. El factor se obtiene k evaluando r (r) en r = 2, en este caso queda r ( 2) = k 2( 2 1) = 0,2 2. Despejando k se obtiene k = 0,2/( 2 1) = 0,4828. La distorsi on radial es entonces: r (r) = 0,4828r(r 1) Sustituyendo esta funci on en (3.21) y considerando que cos() = x/r y sin() = y/r, se obtiene x (x, y ) = 0,4828x(x2 + y 2 1) . y (x, y ) = 0,4828y ( x2 + y 2 1)
52
Cap tulo 4 Visi on Est ereo

El t ermino est ereo en visi on se utiliza cuando existe m as de una vista de una escena. Est ereo, del griego o, signica s olido, que en este caso se relaciona con la idea de tridimensionalidad. A trav es de varias im agenes de una escena, tomadas desde distintos puntos de vista, se puede tener la idea de las caracter sticas tridimensionales de la escena en estudio. En este cap tulo se estudiar an las relaciones algebraicas y geom etricas que existen cuando se ha tomado m as de una vista de una escena. Se pondr a enfasis en el an alisis de dos y tres vistas, geometr a bifocal y trifocal respectivamente. Sin embargo, al nal del cap tulo se expondr a s olo a manera de introducci on la geometr a quadrifocal y de N vistas.
4.1.
An alisis Bifocal
En el an alisis bifocal se tiene un sistema de visi on con dos c amaras, o bien una sola c amara que toma dos im agenes del objeto de estudio en dos tiempos distintos, suponiendo que en ese tiempo la c amara o el objeto se han movido. Para efectos de simplicaci on de la exposici on del problema se estudiar a la conguraci on de dos c amaras que toman al mismo tiempo una imagen del objeto de estudio. Sin embargo, con la teor a expuesta en este cap tulo se puede deducir la soluci on al problema de dos vistas distintas con una sola c amara. 53
54
La geometr a de dos vistas es conocida como la Geometr a Epipolar. El t ermino epipolar viene del griego epi (`) que signica sobre, encima, y polos ( oo ) cuyo signicado es punto de atracci on o uno de los dos puntos de una esfera que son intersectados por su eje de rotaci on. La Geometr a Epipolar lleva este nombre porque, como se ver a m as adelante, a cada una de las dos im agenes se le asocia un epipolo. La geometr a de dos vistas es presentada en la Figura 4.1. Un punto 3D M es visto en las dos im agenes como m1 y m2 (ver Figura 4.1a). Como se estudi o en el cap tulo anterior, la imagen es denida como la proyecci on del espacio 3D en un plano de imagen 2D por medio de un centro optico. Los centros opticos en este caso son C1 y C2 . A partir de m1 solamente no se puede saber exactamente la ubicaci on exacta de M , ya que en el proceso
g Ima
en 1
Imag en 2
1 gen I ma
Imag
en 2
(a)
(b)
lnea epipolar
gen Ima
Imag en 2
1 gen I ma
Imag
en 2
(c)
Figura 4.1: Geometr a epipolar.
(d)
4. Visi on Est ereo
55
de proyecci on se ha perdido la informaci on de profundidad. Sin embargo, se puede armar que M debe estar en el rayo que nace en el centro optico C1 para forma m1 , es decir, M pertenece a la recta m1 , C1 . Esta situaci on es mostrada en la Figura 4.1b, donde varios puntos (M incluido) pertenecientes a la recta m1 , C1 pueden ser los que forman el punto m1 en la primera imagen. Si a partir de m1 se desea conocer la ubicaci on de m2 es necesario entonces proyectar en la imagen 2 los posibles puntos que pueden formar m1 (ver Figura 4.1c). Se observa que m2 es uno de estos puntos proyectados, sin embargo a partir de m1 solamente no se puede saber la ubicaci on exacta de m2 , s olo se puede armar que m2 pertenece a la proyecci on de la recta m1 , C1 realizada por el segundo centro optico C2 en la imagen 2. La proyecci on de esta recta, se denomina l nea epipolar y se puede apreciar en la Figura 4.1d. La restricci on epipolar se nala que para que m1 y m2 sean puntos correspondientes, el punto m2 debe estar en la l nea epipolar de m1 . Esto no quiere decir que todos los puntos en la l nea epipolar de m1 son correspondientes a m1 , ya que como bien se puede observar de la Figura 4.1 s olo un punto en la imagen 2 es correspondiente a m1 , y en este caso es la proyecci on de M en la segunda imagen. La restricci on epipolar es entonces una condici on necesaria, mas no suciente. A pesar de que no sea una condici on suciente, es de gran utilidad saber que el punto correspondiente a m1 en la segunda imagen est a sobre una l nea y no est a ubicado en cualquier parte de la imagen. Esto representa una reducci on considerable en la dimensionalidad del problema de b usqueda de puntos correspondientes, ya que en vez de buscar en toda la imagen 2 (de dos dimensiones) se busca s olo a lo largo de una l nea (una dimensi on). A manera de ejemplo, si la segunda imagen tiene N N p xels, la b usqueda de correspondencia se realiza s olo en N p xels de la imagen y no en N 2 p xels. Una segunda representaci on de la Geometr a Epipolar se aprecia en la Figura 4.2, en la que los planos de imagen est an entre los centros opticos y el punto 3D M . Al igual que en la representaci on anterior, las proyecciones de M son m1 y m2 en la primera y segunda imagen respectivamente. En esta conguraci on se observa tambi en el mismo fen omeno: a partir de m1 no se sabe exactamente d onde est a ubicado el punto 3D M, s olo se sabe que se encuentra en alg un punto de la recta que pasa por los puntos m1 y C1 . Los posibles puntos correspondientes a m2 en la segunda imagen se obtienen entonces mediante la proyecci on de esta recta por el centro optico C2 en la segunda imagen. Esta recta en la imagen 2 es la l nea epipolar l2 .
56
M
p lan o e p ip o la r
R1
R2
m1
ln ea e p ipo la r l 1
m2
ln ea e p ipo la r l 2
e1 C1
im agen 1
e2
e p ip o lo s
im agen 2
C2
Figura 4.2: L neas epipolares y epipolos.
De manera an aloga, si se desea buscar los posibles puntos correspondientes a m2 en la primera imagen se obtiene una recta epipolar l1 denida como la proyecci on realizada por C1 de la recta que contiene los puntos C2 y m2 en el plano de la primera imagen. A continuaci on se dene el plano epipolar , como el plano que contiene los puntos C1 , C2 y M . Se observa que el plano epipolar contiene tambi en los puntos m1 y m2 , y sus l neas epipolares l1 y l2 , las que se pueden denir entonces como las intersecciones del plano epipolar con los planos de imagen, es decir: l1 = R1 (4.1) l2 = R2 Si se desea estudiar la Geometr a Epipolar de un nuevo punto 3D M (que no este en el plano ), se observa que en este sistema bifocal, en el que la ubicaci on de los planos de imagen (R1 y R2 ) y los centros opticos (C1 y C2 ) no ha cambiado, existe un nuevo plano epipolar , como se muestra en la Figura 4.3. De acuerdo a la denici on dada, contiene los puntos C1 , C2 y M . Para este nuevo punto M , existen las proyecciones m1 y m2 , denidas como las proyecciones de M en las im agenes 1 y 2 respectivamente, y tambi en existen sus l neas epipolares l1 y l2 , denidas como las intersecciones del plano
4. Visi on Est ereo
57
M'
'
R1 R2
m'1 m1
l1
l' 1
l 2
m'2 m2
l2
e1
lnea base
e2
C1
imagen 1
e pip o lo s
imagen 2
C2
Figura 4.3: Planos epipolares.
epipolar con los planos de imagen R1 y R2 . Se observa que los planos y contienen no s olo los puntos C1 y C2 , sino que todos los puntos que est an en la recta C1 , C2 , conocida como la l nea base. De esta armaci on se puede deducir una propiedad muy importante de las l neas epipolares. Como las l neas epipolares se denen como la intersecci on de los planos epipolares con los planos de imagen, se obtiene entonces que todas las l neas epipolares en una imagen poseen un punto en com un, conocido como el epipolo, denido como la intersecci on de la l nea base con su plano de imagen: e1 = e2 = C 1 , C 2 R1 C 1 , C 2 R2 (4.2)
Ya que los epipolos son comunes a las l neas epipolares se deduce entonces
58 que l1 l1 = e1 l2 l2 = e2
4.1.1.
An alisis geom etrico de dos vistas
En el Cap tulo 3 se logr o establecer una transformaci on proyectiva de un punto 3D M a un punto 2D m. Este punto m se deni o como la proyecci on M en el plano de imagen. Dependiendo del sistema de coordenadas en que est an representados M y m se obtiene una ecuaci on como la presentada en (3.13). En t erminos generales, se puede armar que si la representaci on homog enea de M es M = [X Y Z 1]T y de m es m = [x y 1]T se puede escribir m = AM (4.3) donde A, denominada la matriz de proyecci on general, es en una matriz de 3 4 elementos, encargada de convertir el punto 3D M en la proyecci on 2D 1 m. Para dos vistas se tiene entonces el punto 3D M que es visto como m1 y m2 en la imagen 1 y 2 respectivamente. Como para cada imagen hay una matriz de proyecci on se obtiene el siguiente sistema de ecuaciones 1 m1 = AM 2 m2 = BM (4.4)
donde A y B son las matrices de proyecci on de las im agenes 1 y 2 respectivamente, y m1 y m2 son las representaciones homog eneas de m1 y m2 . Las coordenadas de M en ambas ecuaciones est an refeidas al mismo sistema de coordenadas. A continuaci on se buscar a una expresi on matem atica para l2 , la l nea epipolar de m1 en la segunda imagen a partir de m1 , A y B. Como se mencion o en la introducci on anterior, la l nea epipolar l2 es la proyecci on del rayo C1 , m1 en la segunda imagen. Este rayo queda denido por dos puntos en el espacio 3D. El primero de ellos es C1 cuyas representaci on homog enea utilizando las coordenadas en el sistema de coordenadas en que esta dado el punto 3D ser a
Es necesario observar que en (3.13) la matriz A equivale a KPS , sin embargo, los puntos 3D y 2D han sido representados como M y w respectivamente.
1
4. Visi on Est ereo
59
C1 . Otro punto que est a presente en el rayo C1 , m1 es M sin embargo sus coordenadas son desconocidas. Las coordenadas de m1 est an dadas en un plano, no en el espacio 3D, sin embargo se puede calcular a partir de m1 un punto M+ que est a en el rayo: M+ = A+ m1 (4.5)
donde A+ es la pseudo-inversa de A. La pseudo-inversa de A es una matriz que cumple con la siguiente propiedad: AA+ = I (4.6)
donde I es una matriz identidad de 3 3 elementos. Debido a que A es de 3 4 elementos la matriz A+ tiene que ser de 4 3. Una expresi on para la pseudo-inversa de A es: A+ = AT [AT A]1 . (4.7) Es f acil comprobar que se cumple AA+ = I. Para demostrar que el punto M+ denido en (4.5) pertenece al rayo C1 , m1 es necesario vericar si su proyecci on en la imagen 1 coincide con m1 . Utilizando la primera ecuaci on de (4.4), la proyecci on de este punto ser a: AM+ = AA+ m1 = Im1 = m1 (4.8)
que como se observa coincide con la representaci on homog enea de m1 . De esta manera se conocen dos puntos que pertenecen al rayo C1 , m1 : C1 y M+ . Por denici on, la proyecci on de C1 en la segunda imagen es e2 , el epipolo de la imagen 2. La proyecci on de estos puntos en la segunda imagen ser an entonces e2 (proyecci on de C1 ) y m+ (proyecci o n de M +). Una representaci on 2 homog enea de estos puntos se obtienen a partir de la segunda ecuaci on de (4.4): e2 = BC1 . (4.9) m+ = BM+ 2 Si la recta epipolar l2 contiene estos dos puntos, se puede decir entonces que su representaci on homog enea queda denida como:
+ + l2 = e2 m+ 2 = BC1 BM = BC1 BA m1
(4.10)
A continuaci on se utilizar a el concepto de matriz antisim etrica para encontrar una expresi on m as simple para l2 . Dados dos vectores u y v de tres
60
elementos cada uno, deniendo el vector w como el producto cruz u v, se puede encontrar una matriz [u] , de 3 3 elementos, denominada la matriz antisim etrica de u tal que: w = u v = [u] v (4.11)
Es f acil comprobar que si u = [u1 u2 u3 ]T la matriz antisim etrica de u es: 0 u3 u2 0 u1 [u] = u3 u2 u1 0

(4.12)
Utilizando la matriz antisim etrica de BC1 se obtiene una nueva expresi on para l2 : l2 = [BC1 ] BA+ m1 (4.13) Deniendo la matriz F de 3 3 elementos como: F = [BC1 ] BA+ se puede expresar la l nea epipolar como l2 = Fm1 Si m2 pertenece a esta recta entonces mT 2 l2 = 0, o bien mT 2 Fm1 = 0 (4.16) (4.15) (4.14)
La matriz F es conocida como la Matriz Fundamental y es de gran importancia para el an alisis de dos vistas, ya que F es constante para una geometr a bifocal dada, no depende de m1 , m2 ni M . La ecuaci on (4.16) es conocida como la restricci on epipolar y se nala que para que dos puntos m1 y m2 sean correspondientes, deben satisfacer (4.16). Cabe mencionar que muchas veces las coordenadas de C1 no se conocen, sin embargo a partir de la matriz de proyecci on A es posible encontrar C1 . Se sabe que la proyecci on de C1 en la imagen 1 no est a denida, y que este es el u nico punto del espacio que no puede ser proyectado en el plano de imagen 1. Por lo tanto se puede se nalar que el centro optico debe satisfacer la siguiente ecuaci on AC1 = [0 0 0]T , ya que el punto [0 0 0]T al tener su tercera componente igual a cero no est a denido en el plano de imagen.
4. Visi on Est ereo
61
4.1.2.
Propiedades de la Matriz Fundamental
La Matriz Fundamental F tiene las siguientes propiedades i) Las representaciones homog eneas de las l neas epipolares l1 y l2 se denen como: l2 = Fm1 (4.17) l1 = FT m2 ii) La restricci on epipolar es mT 2 Fm1 = 0 (4.18)
iii) La matriz F es homog enea, ya que k F para k = 0 tambi en puede ser utilizada en los c alculos anteriores. iv) El determinate de F es cero, ya que |F| = |[e2 ] BA+ | = |[e2 ] | |BA+ | = 0 (4.19)
La u ltima igualdad se obtiene debido a que el determinante de una matriz antisim etrica es cero, como se puede deducir de (4.12). v) Como el determinante de F es cero, y F es homog enea se dice que F tiene s olo siete grados de libertad, esto quiere decir que s olo siete (de los nueve) elementos de F son linealmente independientes, los otros dos pueden ser calculados como funci on de los otros siete. vi) La matriz F es constante para una geometr a bifocal dada, no depende de m1 , m2 ni M , s olo depende de sus matrices de proyecci on A y B. vii) Los epipolos y la matriz Fundamental est an relaciones de la siguiente manera: Fe1 = 0 y FT e2 = 0, (4.20) siendo 0 = [0 0 0]T . Estas ecuaciones sirven para calcular los epipolos, ya que se puede asumir que como e1 y e2 son representaciones homog eneas, su tercera componente es uno. La relaci on anterior se puede deducir a partir de la condici on epipolar: si se tiene un punto m1 cualquiera en la imagen 1, se sabe que su l nea epipolar en la imagen 2 pasa por el epipolo e2 , esto quiere decir que se cumple
62
eT on se cumple siempre para cualquier 2 Fm1 = 0. Como esta condici T m1 entonces se puede armar que eT 2 F = [0 0 0], o bien F e2 = 0. El mismo razonamiento se puede hacer para el epipolo e1 , con lo que se obtiene Fe1 = 0.
4.1.3.
An alisis algebraico de dos vistas
El problema de correspondencia en dos vistas se puede resolver algebraicamente utilizando los tensores bifocales [14, 18]. A continuaci on se presenta detalladamente el an alisis algebraico de dos vistas. Las proyecciones de un punto 3D M en dos planos de imagen, imagen 1 e imagen 2, m1 y m2 respectivamente, tal como se aprecia en la Figura 4.1, se pueden calcular por medio de la ecuaci on general de proyecci on (4.3) utilizando la matriz de proyecci on A para la imagen 1 y la matriz de proyecci on B para la segunda: 1 m1 = AM 2 m2 = BM o bien haciendo una transformaci on de coordenadas para M = A M 1 m1 = [I | 0]M M 2 m2 = B donde M = H1 M = AH1 = [I | 0] . A = BH1 B (4.22) (4.21)
(4.23)
La matriz H, de 4 4 elementos, es una matriz regular cuyas tres primeras las corresponden a la matriz A [13]. Suponiendo que la cuarta la de H es h se obtiene:
HH1 =
A h
H1 =
AH1 hH1
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
La u ltima igualdad se obtiene sabiendo que H es regular, entonces HH1 es una matriz identidad de 4 4. Como AH1 corresponde a las primeras
4. Visi on Est ereo
63
tres las de este resultado se dice que AH1 = [I | 0], donde I es una matriz identidad de 3 3 y 0 = [0 0 0]T . Mediante la matriz H se hace una transformaci on del sistema de coordenadas en el cual se hab a representado el punto M . Se trata de una transformaci on proyectiva 3D no Eucl dea. En este nuevo sistema de coordenadas, las coor . De esta denadas de M ahora son representadas homog eneamente como M manera se obtiene una matriz de proyecci on normalizada para la primera = [I | 0]. imagen del tipo A Reformulando (4.22) se puede escribir el sistema de ecuaciones:

a1 x1 0 0 a2 y1 0 0 M a3 1 0 0 , 1 = 1 0 x2 b 0 2 2 0 y2 0 b v 3 0 1 0 b
G
(4.24)
i corresponden a la la i de la matriz A yB respectivamente, donde ai y b para i = 1, 2, 3. Bajo la hip otesis de que m1 y m2 son puntos correspondientes, es decir que ambos son proyecciones de un mismo punto 3D, existe entonces un punto M u nico. En este caso el sistema de ecuaciones (4.24) tiene una soluci on no trivial para v. Por lo tanto se puede armar que bajo esta hip otesis de correspondencia v = 0. Se observa que la matriz G es de 6 6 elementos, por lo tanto una condici on necesaria y suciente para la existencia de una soluci on no trivial de v es que el rango de G sea 5, o bien, que el determinate de G sea igual a cero. Es decir |G | = 0 . (4.25)
El determinante de G se puede obtener por medio de la f ormula de Laplace [3], en la que |G| se expande como una sumatoria de los elementos de G de una la o columna multiplicados por sus respectivos cofactores, lo cual resulta muy conveniente en matrices que tienen muchos elementos iguales a cero. Expandiendo |G| a trav es de la quinta columna en la que est an los
64
i tienen elementos x1 , y1 y 1 (no hay que olvidar que los vectores la ai y b cuatro elementos) se obtiene: a2 0 a3 0 1 x2 y 1 b 2 y2 b 3 1 b a1 0 a1 0 a3 0 a2 0 1 x2 + b 1 x2 b b2 y 2 b2 y2 3 1 b3 1 b
|G | = x 1
= 0.
A continuaci on se emplea nuevamente la formula de Laplace para expandir cada uno de los tres determinantes de 5 5 elementos presentes en la ecuaci on anterior. En este caso se emplea la columna en la que est an x2 , y2 y 1, obteni endose as : a2 a3 y 1 x2 b2 3 b a1 a3 + x2 b2 3 b a1 a2 + b2 3 b a1 a1 a3 a2 + b1 b1 2 b2 b
|G| = x1 x2
x1 y 2
a2 a3 + y1 y2 b1 3 b
a1 a3 y2 b1 3 b
a1 a2 + x1 b1 3 b
a2 a3 y1 b1 2 b
= 0.
Esta ecuaci on puede ser escrita de la siguiente manera: x1 F11 F12 F13 |G| = [x2 y2 1] F21 F22 F23 y1 = mT 2 Fm1 = 0, 1 F31 F32 F33
F
(4.26)
donde Fij = (1)i+j
aj i b
para i, j = 1, 2, 3.
(4.27)
i signican respectivamente las matrices A sin la Los t erminos aj y b sin la la i. la j y la matriz B La matriz F, de 3 3 elementos, es la conocida Matriz Fundamental de la Geometr a Epipolar. Los elementos Fij se denominan los Tensores Bifocales [14].
4. Visi on Est ereo
65
La ecuaci on (4.26) se puede escribir de manera tensorial utilizando la convenci on de Einstein para la suma tensorial2 :
i |G| = mj 1 m2 Fij = 0, 2 3 T 1 2 3 T donde [m1 1 m1 m1 ] = [x1 y1 1] = m1 y [m2 m2 m2 ] = [x2 y2 1] = m2 .
(4.28)
Para la forma can onica de la matriz de proyecci on de la primera imagen, A = [I | 0], los tensores bifocales calculados a partir de (4.27) son: Fij = bi1,j bi2,4 bi2,j bi1,4 , donde ik = i+k si i + k 3 . i + k 3 en caso contrario (4.29)
La ecuaci on (4.26), o bien la ecuaci on (4.28), expresan matem aticamente la ya mencionada restricci on epipolar: para que m1 y m2 sean correspondientes, m2 debe estar en la l nea epipolar de m1 en la segunda imagen. Se observa que la l nea epipolar l est a dada entonces por: mT 2 l = l 1 x2 + l 2 y 2 + l 3 = 0 donde l = [l1 l2 l3 ]T = Fm1 , o bien en la forma tensorial: li = mj 1 Fij . (4.31) (4.30)
Es de suma importancia hacer notar que la Matriz Fundamental F es independiente de las coordenadas de m1 , m2 y M . La Matriz Fundamental es denida como una funci on de las matrices de proyecci on A y B , esto quiere decir que F es una funci on de la ubicaci on de los planos de proyecci on y de los centros opticos de ambas im agenes.
4.1.4.
Restricci on bifocal pr actica
En la pr actica debido a errores en la medici on y calibraci on, dos puntos correspondientes m1 y m2 satisfacen la condici on epipolar con una probabilidad muy baja, ya que m2 no est a exactamente sobre la l nea epipolar l,
La convenci on de Einstein para la suma de tensores indica que dos tensores que tienen el mismo ndice deben desglosarse, multiplic andose y sum andose de la siguiente manera i i = 1 1 + ... + n n , siendo n el n umero de elementos de cada tensor.
2
66
sino que est a muy cerca. Por esta raz on es necesario utilizar otro criterio de correspondencia. En la pr actica se dice que m1 y m2 pueden ser puntos correspondientes si la distancia m nima de m2 a l es menor que una distancia d0 . Esta distancia se calcula a partir de una l nea perpendicular a l que pase por m2 (ver Ejercicio 4.2). De esta manera, se obtiene que la restricci on epipolar pr actica se expresa como [24]: d= |m T 2 Fm1 |
2 2 l1 + l2
< d0 .
(4.32)
4.2.
An alisis Trifocal
En el caso de tener tres vistas de una misma escena, se estudiar a si los puntos de proyecci on m1 , m2 y m3 en las im agenes 1, 2 y 3 respectivamente, son puntos correspondientes, es decir si los tres puntos son proyecciones de un mismo punto 3D M . Bas andose en la geometr a epipolar, se puede armar que si se calcula la l nea epipolar de m1 y la l nea epipolar de m2 en la tercera imagen, m3 debe estar en la intersecci on de ambas l neas, ya que si m1 y m3 son correspondientes m3 debe estar en la l nea epipolar de m1 en la tercera imagen y Como la misma deducci on se puede hacer para m2 ,
m1
m2
Lneas epipolares
m3
o o
Interseccin
M
Im
o
1 g en Im a 2 g en Im a
o
ag
en
C1 C3 C2
Figura 4.4: Geometr a Epipolar para tres vistas.
4. Visi on Est ereo
67
entonces m3 debe pertenecer a ambas l neas epipolares, es decir m3 es el punto de intersecci on de las l neas, tal como se ilustra en la Figura 4.4. La Geometr a Epipolar en tres im agenes se nala entonces que m1 , m2 y m3 son puntos correspondientes si m3 coincide con el punto de intersecci on de las l neas epipolares de m1 y m2 en la tercera imagen [10]. Esta es una condici on necesaria y suciente. Sin embargo, el punto de intersecci on no est a denido si ambas l neas epipolares son iguales. Lamentablemente esta situaci on no es poco com un. Ambas l neas son iguales cuando los planos epipolares 13 y 23 , denidos como los planos que contienen M , C1 y C3 , y M , C2 y C3 respectivamente, son iguales. Esto sucede en dos ocasiones: i) cuando los tres centros opticos C1 , C2 y C3 son colineares; o bien ii) cuando los tres centros opticos C1 , C2 y C3 no son colineares y m1 , m2 y m3 se encuentran sobre el plano denido por los tres centros opticos [8, 29]. La primera de ellas ocurre en la pr actica muy frecuentemente, ya que se obtiene al tomar tres im agenes con una misma c amara que se mueve en l nea recta. Adem as de las dos desventajas mencionadas para el uso de la Geometr a Epipolar en tres vistas, hay que se nalar que la Geometr a Epipolar no proporciona un m etodo directo para analizar la correspondencia de tres puntos, ya que es necesario calcular dos l neas epipolares y luego su intersecci on.
4.2.1.
An alisis algebraico de la geometr a trifocal
Una forma de estudiar el problema de la geometr a trifocal es por medio de los tensores trifocales [15, 30], que ser an presentados a continuaci on. Mediante los tensores trifocales se puede por una parte evitar las singularidades indicadas anteriormente y por otra parte obtener una soluci on directa para la correspondencia en tres vistas. Las tres proyecciones de un punto 3D expresarse matem aticamente, como se la ecuaci on general de proyecci on (4.3) A, B y C. La forma can onica de estas
1 m1
2 2 m 3 3
M en las im agenes 1, 2 y 3, pueden hizo en la Secci on 4.1.3, a partir de utilizando las matrices de proyecci on ecuaciones es: (4.33)
= A M = [I | 0]M M , = B M = C
68
= CH1 . Las entidades A , B , M fueron denidas en (4.23). donde C Se sabe que si m1 , m2 y m3 son puntos correspondientes entonces debe existir una soluci on para M . Una soluci on conocida al problema de establecer la correspondencia se obtiene al reformular el sistema de ecuaciones (4.33) de la siguiente manera:

a1 x1 0 0 a2 y1 0 0 a3 1 0 0 1 0 x2 0 b 2 0 y2 0 b 3 0 1 0 b c1 0 0 x3 c2 0 0 y3 c3 0 0 1
G
M 1 = 2 3 v
0 0 0 0 0 0 0 0 0
(4.34)
i y , B y C . donde ai , b ci son respectivamente la la i de las matrices A Planteando la hip otesis de correspondencia, se puede armar que si m1 , m2 y m3 son puntos correspondientes, entonces debe existir una soluci on no trivial para v. Cabe destacar que G es una matriz de 9 7, es decir su determinante no est a denido. Sin embargo si se escogen 7 cualesquiera de las 9 ecuaciones del sistema (4.34) se obtiene un nuevo sistema de ecuaciones cuya representaci on matricial es G7 v = 0. Si v = 0 entonces el determinante de G7 debe ser cero. Esto quiere decir que para que exista una soluci on no trivial para v todas las submatrices de G formadas a partir de 7 de sus las, debe ser cero. El desarrollo de los subdeterminantes de G a partir de la f ormula de Laplace, como se hizo en la Secci on 4.1.3, lleva a expresiones matem aticas que dependen de las coordenadas de los puntos m1 , m2 y m3 y valores constantes para las tres im agenes que dependen s olo de las tres matrices de proyecci on. Estos valores constantes son los denominados tensores trifocales [14, 18, 19]. En este caso existen 36 posibles submatrices de G obtenidas a partir de la eliminaci on de dos de sus las. Estas submatrices se pueden dividir en dos tipos, aquellas que tienen s olo una la de una matriz de proyecci on (9 casos) y aquellas que tienen las tres las de una matriz de proyecci on (27 casos).
4. Visi on Est ereo
69
A manera de ejemplo, en el primer tipo de submatrices, se obtiene para el subdeterminante de la matriz G en la que se han eliminado las las 2 y 3: a1 x1 0 0 b1 0 x2 0 2 0 y2 0 b 3 0 1 0 b c1 0 0 x3 c2 0 0 y3 c3 0 0 1
= x1
1 x2 0 b 2 y2 0 b 3 1 0 b c1 0 x3 c2 0 y3 c3 0 1
= 0.
Esto lleva a que el segundo determinante es cero, ya que la soluci on x 1 = 0 es trivial. Se observa que este determinante no contiene informaci on de la primera c amara, y corresponde al an alisis bifocal de las im agenes 2 y 3. La expansi on de este determinante es mT 3 F23 m2 = 0, donde F23 es la matriz Fundamental de las im agenes 2 y 3. Como esta expresi on no es trifocal, no interesa para el an alisis de tres vistas. El segundo caso de submatrices, en las que est an presentes las tres las de una matriz de proyecci on resulta m as interesante para el an alisis trifocal. A manera de ejemplo, un subdeterminante en el que est an presentes todas las las de la primera matriz de proyecci on ser a: a1 x1 0 0 a2 y1 0 0 a3 1 0 0 b1 0 x2 0 3 0 1 0 b c1 0 0 x3 c3 0 0 1
= 0.
En este ejemplo se han eliminado las las de G en las que est an las segundas yC . las de B Para el caso de submatrices en los que se mantienen las tres las de una de las matrices de proyecci on se obtienen tres subcasos distintos, uno para cada matriz de proyecci on seleccionada. Para cada subcaso existen 9 subdeterminantes posibles de los cuales s olo cuatro son linealmente independiente
70
del resto. Esto quiere decir que si estos cuatro subdeterminantes son cero, el resto de subdeterminantes tambi en ser a cero [16]. Para el caso de escoger la primera matriz de proyecci on los cuatro subdeterminantes son: a1 x1 0 0 a2 x2 0 0 a3 1 0 0 D 1 = b1 0 x2 0 3 0 1 0 b c1 0 0 x3 c3 0 0 1 a1 x1 0 0 a2 y1 0 0 a3 1 0 0 2 0 y2 0 D3 = b 3 0 1 0 b c1 0 0 x3 c3 0 0 1 a1 x1 0 0 a2 y1 0 0 a3 1 0 0 = 0 D 2 = b1 0 x2 0 3 0 1 0 b c2 0 0 y3 c3 0 0 1 a1 x1 0 0 a2 y1 0 0 a3 1 0 0 2 0 y2 0 = 0 D4 = b 3 0 1 0 b c2 0 0 y3 c3 0 0 1
=0
=0
Expandiendo estos determinantes por medio de la f ormula de Laplace que debe ser utilizada tres veces (una vez para la columna de m1 , otra vez para la columna de m2 y otra para la columna de m3 ) se obtiene la expresi on:
13 33 31 11 D1 = mT 1 (x3 T x3 x2 T + x2 T T ) = 0 T 13 33 32 12
D2 = m1 (y3 T y3 x2 T + x2 T T ) = 0 , 23 33 31 21 D3 = mT 1 (x3 T x3 y2 T + y2 T T ) = 0 23 33 32 22 D4 = mT = 0 1 (y3 T y3 y2 T + y2 T T ) donde

jk jk jk T Tjk = [T1 T2 T3 ] ,
(4.35)
y Tijk = (1)
i+1
ai bj ck
= bji c k4 bj 4 c ki ,
para i, j, k = 1, 2, 3
(4.36)
4. Visi on Est ereo
71
Los elementos Tijk son los denominados tensores trifocales para las im agenes 1, 2 y 3. La ecuaci on (4.35), conocida como las Trilinearidades de Shashua [31], es de suma importancia en el an alisis trifocal ya que establece una relaci on lineal entre las coordenadas de los puntos m1 , m2 y m3 para establecer su correspondencia. Si se cumplen las cuatro trilinearidades se dice entonces que m1 , m2 y m3 son correspondientes (condici on necesaria y suciente). Como se observa, los tensores trifocales son dependientes exclusivamente de las matrices de proyecci on, no dependenden de los puntos m1 , m2 , m3 y M .
4.2.2.
Deducci on alternativa de los tensores trifocales
A continuaci on se presentar a otra forma de deducir las trilinearidades. Se puede obtener directamente del sistema de ecuaciones (4.33) una relaci on trifocal de una manera m as simple [13, 15]: A partir de la primera ecuaci on 1 m1 = [I | 0]M: x1 1 0 0 0 1 y1 = 0 1 0 0 1 0 0 1 0 : se obtiene una expresi on para M
M=
X Y Z 1
X = Y
(4.37)
X Y Z 1
= 1
x1 y1 1 1/1
(4.38)
El c alculo de la proyecci on de este punto en la segunda imagen ser a entonces a partir de (4.33) x2 2 y2 = 1 1

b11 b21 b31
b12 b22 b32
b13 b23 b33
x b14 1 y b24 1 1 b34 1/1
(4.39)
72
Sustituyendo la tercera ecuaci on de (4.39) en las primeras dos quedar a: x2 ( b31 x1 + b32 y1 + b33 + b34 /1 ) = ( b11 x1 + b12 y1 + b13 + b14 /1 ) . y2 (b31 x1 + b32 y1 + b33 + b34 /1 ) = (b21 x1 + b22 y1 + b23 + b24 /1 ) (4.40) Las dos posibles soluciones para 1 son entonces: 1 = ( b14 b34 x2 )/[x2 ( b31 x1 + b32 y1 + b33 ) ( b11 x1 + b12 y1 + b13 )] . 1 = (b24 b34 y2 )/[y2 (b31 x1 + b32 y1 + b33 ) (b21 x1 + b22 y1 + b23 )] (4.41) Otras dos posibles soluciones para 1 pueden ser calculadas de la misma en (4.33): manera a partir de la tercera proyecci on de M 1 = ( c14 c 34 x3 )/[x3 ( c31 x1 + c 32 y1 + c 33 ) ( c11 x1 + c 12 y1 + c 13 )] . 1 = ( c24 c 34 y3 )/[y3 ( c31 x1 + c 32 y1 + c 33 ) ( c21 x1 + c 22 y1 + c 23 )] (4.42) De esta manera se obtienen cuatro relaciones trifocales al igualar una ecuaci on de (4.41) a una ecuaci on de (4.42):

( c14 c 34 x3 )[x2 ( b31 x1 + b32 y1 + b33 ) ( b11 x1 + b12 y1 + b13 )] (b14 b34 x2 )[x3 ( c31 x1 + c 32 y1 + c 33 ) ( c11 x1 + c 12 y1 + c 13 )] = 0 ( c24 c 34 y3 )[x2 ( b31 x1 + b32 y1 + b33 ) ( b11 x1 + b12 y1 + b13 )] (b14 b34 x2 )[y3 ( c31 x1 + c 32 y1 + c 33 ) ( c21 x1 + c 22 y1 + c 23 )] = 0 ( c14 c 34 x3 )[y2 ( b31 x1 + b32 y1 + b33 ) ( b21 x1 + b22 y1 + b23 )] (b24 b34 y2 )[x3 ( c31 x1 + c 32 y1 + c 33 ) ( c11 x1 + c 12 y1 + c 13 )] = 0 .
( c24 c 34 y3 )[y2 ( b31 x1 + b32 y1 + b33 ) ( b21 x1 + b22 y1 + b23 )] (b24 b34 y2 )[y3 ( c31 x1 + c 32 y1 + c 33 ) ( c21 x1 + c 22 y1 + c 23 )] = 0 (4.43)
Estas cuatro ecuaciones corresponden a las Trilinearidades de Shashua [31] expresadas en (4.35), que acontinuaci on se repiten:
13 33 31 11 mT 1 (x3 T x3 x2 T + x2 T T ) = 0 13 33 32 12 T
m1 (y3 T y3 x2 T + x2 T T ) = 0 , 23 33 31 21 mT 1 (x3 T x3 y2 T + y2 T T ) = 0 23 33 32 22 = 0 mT 1 (y3 T y3 y2 T + y2 T T )
(4.44)
4. Visi on Est ereo
73
donde
jk jk jk T Tjk = [T1 T2 T3 ] ,
y Tijk = (1)
i+1
ai bj ck
= bji c k4 bj 4 c ki ,
para i, j, k = 1, 2, 3
Como ya se mencion o, los elementos Tijk son los tensores trifocales para las im agenes 1, 2 y 3. En forma tensorial se pueden escribir las Trilinearidades de Shahua de la siguiente manera:
jk mi 1 sj rk Ti = 0
para , = 1, 2
(4.45)
mit s j = 1 0 x2 0 1 y2
rk =
1 0 x3 0 1 y3
4.2.3.
Interpretaci on geom etrica de las trilinearidades
A continuaci on se le dar a una interpretaci on geom etrica a las trilinearidades bas andose en la Figura 4.5. La ecuaci on (4.38) corresponde al proceso de proyecci on de M en m1 , esto quiere decir que esta ecuaci on dene la recta l1 : C1 , m1 que contiene los puntos C1 , M y m1 . D onde exactamente esta M sobre esta l nea recta no se puede determinar a partir de m1 y C1 , s olo se sabe que est a en alg un punto perteneciente a l1 . El par ametro 1 proporciona la informaci on de la ubicaci on de M . En (4.39) se proyecta M en la segunda imagen. Las coordenadas (x2 , y2 ) de este segundo punto se pueden determinar a partir de (4.40), o bien a partir de (4.41). Estas coordenadas tienen la forma x2 = fx2 (x1 , y1 , 1 ) , y2 = fy2 (x1 , y1 , 1 ) (4.46)
esto quiere decir que los puntos posibles en la segunda imagen que satisfacen (4.46a) se encuentran sobre una l nea vertical en la que est a el punto m2 . Esta recta ha sido denominada como lx2 en la Figura 4.5. Este mismo
74
planteamiento es v alido para la recta horizontal ly2 que se puede denir a partir de (4.46b). Los puntos m1 y m2 son correspondientes si l1 x2 = M y l1 y2 = M, (4.47)
donde x2 y y2 denotan los planos denidos a partir del centro optico C2 y la recta lx2 y la recta ly2 respectivamente. De esta manera se obtiene para la tercera proyecci on de M en la imagen 3 las rectas lx3 y ly3 , las que son denidas a partir de (4.42): x3 = fx3 (x1 , y1 , 1 ) , y3 = fy3 (x1 , y1 , 1 ) (4.48)
Al igual que la condici on que se estableci o para la correspondencia de m1 y m2 , se puede armar que m1 y m3 son correspondientes si l1 x3 = M y l1 y3 = M, (4.49)
x
m1 m2
x y
2
m3
y
M
P lan o
Im a 2 g en
g Im a
en 1
x3
Lne a
Im
ag
en
1
C3
P lan o
C1
y2
C2
Figura 4.5: Representaci on geom etrica de las Trilinearidades (adaptada de [1]).
4. Visi on Est ereo
75
donde x3 y y3 son los planos denidos a partir del punto C3 con las rectas lx3 y ly3 respectivamente. Si los puntos de intersecci on de (4.47) y los puntos de intersecci on de (4.49) son iguales, entonces se ha encontrado una correspondnecia entre m1 , m2 y m3 . De esta manera las cuatro trilinearidades en esta interpretaci on geom etrica son: l1 x2 = l1 x3 l 1 x2 = l1 y3 (4.50) l y2 = l1 x3 1 l1 y2 = l1 y3 Cada trilinearidad representa una correspondencia entre el punto m1 (en la imagen 1), una recta horizontal o vertical (en la imagen 2) que contiene a m2 y una recta horizontal o vertical (en la imagen 3) que contiene a m3 . El punto M es el punto de intersecci on de la recta l1 con los planos que se forman a partir de las rectas mencionadas con sus centros opticos respectivos. Como ejemplo la Figura 4.5 muestra la tercera trilinearidad.
4.2.4.
Propiedades de las trilinearidades
Las principales propiedades de las cuatro trilinearidades (ver ecuaciones (4.35) y (4.44)) pueden resumirse de la siguiente manera [14, 15, 29, 30]: i) Las trilinearidades representan relaciones lineales y trifocales. Estas relaciones han sido determinadas sin emplear la Geometr a Epipolar (ver Secci on 4.2.1). ii) Los tensores trifocales son independientes de los puntos proyectados en las tres im agenes m1 , m2 , m3 y tambi en del punto 3D M . Los tensores , B yC (ver trifocales son una fucni on de las matrices de proyecci on A ecuaci on (4.36)). iii) La reproyecci on de m3 , es decir la predicci on de las coordenadas de m3 a partir de las coordenadas de m1 y m2 , puede calcularse directamente de las trilinearidades. La reproyecci on no tiene ninguna singularidad. iv) Las cuatro trilinearidades son linealmente independientes.
76
v) Los puntos m1 , m2 y m3 (en tres im agenes distintas) son correspondientes, si las cuatro trilinearidades son v aidas (condici on necesaria y suciente) (ver Secci on 4.2.3).
4.2.5.
Relaci on entre la geometr a bifocal y trifocal
Una relaci on entre la geometr a epipolar y las trilinearidades se presenta a continuaci on: Teorema 4.1 Si m1 , m2 y m3 son tres puntos en tres im agenes distintas, entonces son correspondientes si: a) m1 y m2 satisfacen la condici on epipolar, y b) m1 , m2 y m3 satisfacen las dos primeras o las dos u ltimas trilinearidades.
Prueba: Las cuatro trilinearidades provienen de las ecuaciones (4.41) y (4.42), en las que una ecuacion de (4.41) se ha igualado a una ecuaci on de (4.42). Si se igualan sin embargo las dos ecuaciones de (4.41) se obtiene entonces la condici on epipolar entre m1 y m2 (comparar con (4.26)). Esto quiere decir que las trilinearidades (4.44a) y (4.44c) y las trilinearidades (4.44b) y (4.44d) en este caso son iguales. En la pr actica, se puede utilizar el Teorema 4.1 como criterio de correspondencia. Es decir, m1 , m2 y m3 son puntos correspondientes si m1 y m2 satisfacen la condici on epipolar pr actica (4.32) y si la distancia Eucl dea entre m3 y m 3 (la reproyecci on de m3 ) calculado a partir de m1 y m2 es sucientemente peque na: d = m3 m 3 < d1 , (4.51) donde la reproyecci on m 3 se calcula de las dos primeras trilinearidades (4.44a) y (4.44b):
11 31 x 3 mT 1 (T x2 T ) 1 12 T 3 = T 13 m 3 = y m1 (T x2 T32 ) m1 (T x2 T33 ) 13 33 1 mT 1 (T x2 T )
(4.52)
4. Visi on Est ereo
77
M m2 m1
R1
R2
Figura 4.6: Correspondencia en dos vistas que comparten el centro optico (ver Ejercicio 4.1).
4.3.
Ejercicios
Ejercicio 4.1 En el esquema de la Figura 4.6 se muestra la formaci on de dos im agenes en los planos R1 y R2 a partir de un centro optico C . Si se conoce la ubicaci on de m1 y las matrices 3 4 de proyecci on A y B tal que 1 m1 = AM y 2 m2 = BM, pero no se conoce la ubicaci on de M , a) qu e restricci on existe para la ubicaci on de m2 ? b) Qu e relaci on existe entre A y B?
Ejercicio 4.2 En el plano (x, y ) se tiene una recta l y un punto m2 , cuyas representaciones homog eneas son m2 = [x2 y2 1]T y l = [l1 l2 l3 ]T . a) Calcule la distancia m nima d (ver Figura 4.7) que existe entre m2 y l. b) En la pr actica, dos puntos correspondientes en dos im agenes distintas no cumplen la restricci on epipolar porque la medici on de las coordenadas de los puntos, as como el c alculo de la Matriz Fundamental F est an sujetos a errores. Por lo tanto se usa como restricci on pr actica que dos puntos pueden ser correspondientes si el segundo punto est a a menos de una distancia dmin de la l nea epipolar del primer punto en la segunda imagen. Utilice el resultado de a) para expresar matem aticamente esta restricci on epipolar pr actica suponiendo que se conocen las representaciones homog eneas de los dos puntos m1 y m2 y se conoce la Matriz Fundamental F (sugerencia: calcule la l nea epipolar l del
78
y m2 l
Figura 4.7: Distancia m nima de un punto m2 a una recta l (ver Problema 4.2).
primer punto en la segunda imagen; calcule la distancia d del segundo punto a la l nea epipolar usando el resultado de a); y compare esta distancia con dmin ). Ejercicio 4.3 Un sistema bifocal tiene la siguiente matriz fundamental entre la imagen 1 y 2: 1 2 2 1 F= (4.53) 4 3 3 1 1 Encuentre el epipolo en la segunda imagen. Soluci on: Se puede asumir e2 = [x2 y2 1]T . Reemplazando este valor en (4.20b) se obtiene un sistema de tres ecuaciones con dos inc ognitas. Como det(F)=0 basta con considerar s olo dos ecuaciones lineal independientes, ya que la tercera es linealmente dependiente de las otras dos. Tomando las dos primeras ecuaciones de FT [x2 y2 1]T = 0 se obtiene: x2 + 4 y 2 = 3 2x2 + 3y2 = 1 Las coordenadas de e2 son entonces (x2 = 1; y2 = 1).
Cap tulo 5 Reconstrucci on 3D

En este Cap tulo se estudiar an algunos algoritmos para reconstruir las coordenadas de un punto 3D M a partir de sus vistas. Es necesario aclarar que el t ermino reconstrucci on empleado en tomograf a computarizada es distinto al usado en este Cap tulo, ya que aqu se utilizar a reconstrucci on en el sentido de localizaci on de un punto 3D y no en el sentido reconstrucci on de las caracter sticas de la materia de este punto, como es el caso de la tomograf a computarizada. El punto 3D M se estimar a entonces a partir de sus distintas proyecciones obtenidas de las im agenes. Para este problema, las coordenadas de estas proyecciones m1 , ... mn (en n im agenes) son conocidas y se asumir a que estos puntos son correspondientes, es decir que son proyecciones de un mismo punto 3D. Asimismo, son conocidas las matrices de proyecci on que generaron estos puntos a partir del punto 3D M . Las matrices de proyecci on se obtienen a partir de alg un proceso de calibraci on. Debido a que con una sola vista la informaci on de profundidad del espacio 3D se pierde en la proyecci on, para la reconstrucci on 3D son necesarias por lo menos dos vistas. Detr as de los m etodos de reconstrucci on 3D est a el concepto de triangulaci on que se usa en la estimaci on de un punto 3D a partir de sus vistas. La triangulaci on consiste en inferir la informaci on 3D a partir de los rayos que van desde los centros opticos de las im agenes respectivas hasta los puntos proyectados. Como es sabido que el punto 3D que produjo estas proyecciones pertenece a estos rayos se busca entonces la intersecci on de ellos en el espacio 3D. Un ejemplo para tres vistas se muestra en la Figura 5.1. En 79
80
m1
m2 m3
M
1 g en Im a Im n 2 ag e
Im
ag
en
C1 C3 C2
Figura 5.1: Triangulaci on en tres vistas: M es la intersecci on de los rayos Ci , mi .
este caso el punto M es la intersecci on de los tres rayos C1 , m1 , C2 , m2 y C3 , m3 1 . Como en la gran mayor a de casos pr acticos estos rayos no se intersectan (incluso para el caso de s olo dos vistas), es necesario encontrar entonces el mejor punto 3D que producir a las proyecciones dadas. A continuaci on se presentar an dos m etodos de reconstrucci on 3D. El primero de ellos es una reconstrucci on 3D directa y lineal a partir de dos vistas. El segundo m etodo utiliza el criterio de los m nimos cuadrados para hacer una reconstrucci on 3D a partir de dos o m as vistas.
5.1.
M etodo de reconstrucci on lineal para dos vistas
En esta secci on se realizar a una estimaci on del punto 3D M a partir de dos puntos correspondientes m1 y m2 ubicados en la imagen 1 y la imagen 2 respectivamente (ver ilustraci on en Figura 4.1a). Este m etodo fue desarrollado por Hartley en [13].
1
Otro ejemplo se puede apreciar en la Figura 1.3.
5. Reconstrucci on 3D
81
Como ya se vio en la Secci on 4.1.3 las ecuaciones de proyecci on en dos im agenes est an dadas por: 1 m1 = AM 2 m2 = BM (5.1)
donde M = [X Y Z 1]T y mi = [xi yi 1]T son las representaciones homog eneas de M y mi , i = 1, 2, y A y B las respectivas matrices de proyecci on de las im agenes 1 y 2. Haciendo una transformaci on de coordenadas para M, la ecuaci on (5.1) se puede escribir como: = A M 1 m1 = [I | 0]M M 2 m2 = B donde M = H1 M = AH 1 = [I | 0] . A = BH1 B (5.2)
(5.3)
La matriz H, de 4 4 elementos, es una matriz regular cuyas tres primeras las corresponden a la matriz A2 . La primera ecuaci on de (5.2) 1 m1 = [I | 0]M se puede reescribir como x1 1 0 0 0 1 y1 = 0 1 0 0 1 0 0 1 0

(5.4)
X Y Z 1
X = . Y
(5.5)
, es decir las coordeCon esta ecuaci on es f acil obtener una expresi on para M nadas de M en un sistema de coordenadas transformadas, en el que la matriz de proyecci on tiene una forma can onica del tipo [I | 0]:

= M
X Y Z 1
= 1
x1 y1 1 1/1
(5.6)
La demostraci on de AH1 = [I | 0] se puede encontrar en la Secci on 4.1.3.
82
Se observa que 1 establece en qu e lugar del rayo que produce m1 se encuentra M . Utilizando (5.2), la proyecci on de este punto 3D en la segunda imagen es: x1 b11 b12 b13 b14 x2 y 2 y2 = 1 b21 (5.7) b22 b23 b24 1 . 1 1 b31 b32 b33 b34 1/
1
Suponiendo que se conocen las coordenadas de m1 y m2 , y tambi en se conoce la matriz de proyecci on B, entonces la ecuaci on (5.7) representa un sistema de tres ecuaciones con dos inc ognitas (1 y 2 ). Si m1 y m2 son puntos correspondientes se puede establecer una soluci on a partir de dos de las tres ecuaciones. Las primeras dos ecuaciones son: 2 x2 = 1 b11 x1 + 1 b12 y1 + 1 b13 + b14 . 2 y2 = 1 b21 x1 + 1 b22 y1 + 1 b23 + b34 (5.8)
Estas ecuaciones se pueden dividir para cancelar 2 . De esta manera se puede obtener la siguiente ecuaci on: x2 (1 b21 x1 + 1 b22 y1 + 1 b23 + b34 ) = y2 (1 b11 x1 + 1 b12 y1 + 1 b13 + b14 ) A partir de esta ecuaci on se puede despejar 1 : 1 = y2 b14 x2 b24 x1 x2 b21 + y1 x2 b22 + x2 b23 x1 y2 b11 y1 y2 b12 y2 b13 (5.10) (5.9)
que, utilizando m1 = [x1 y1 1]T , puede ser escrito como: 1 = (x2 [ b21 (y2 b14 x2 b24 ) b22 b23 ] y2 [b11 b12 b13 ])m1 (5.11)
Substituyendo en (5.6) el valor obtenido para 1 en (5.11), y utilizando la en (5.3a) se obtiene el punto 3D reconstruido. denici on de M a partir de M
= H1 M = H1 M
(x2 [ b21
(y2 b14 x2 b24 )m1 b22 b23 ]y2 [ b11 b12 b13 ])m1
(5.12)
De esta manera se obtiene una estimaci on de M a partir de dos puntos m1 y m2 cuyas coordenadas son (x1 , y1 ) y (x2 , y2 ).
5. Reconstrucci on 3D
83
5.2.
Reconstrucci on 3D para dos o m as vistas
En n vistas distintas (n 2) se tienen los puntos correspondientes mi , i = 1, ..., n. El punto 3D M que produjo estas proyecciones se puede obtener por medio del m etodo de los m nimos cuadrados [6]. La representaci on homog enea de los puntos correspondientes est a dada por T T mi = [xi yi 1] , y para M ser a M = [X Y Z 1] . Cada proyecci on proporciona un sistema de ecuaciones i mi = Pi M, donde Pi es la matriz de proyecci on de la imagen i. Este sistema de ecuaciones es de tres ecuaciones con cuatro inc ognitas X , Y , Z y i . Para i = 1, ..., n se obtiene entonces el sistema de 3n ecuaciones con 3 + n inc ognitas (X , Y , Z , 1 , ..., n ):

1 x1 1 y1 1 : n xn n yn n
p1 11 p1 21 p1 31 : pn 11 pn 21 pn 31
p1 12 p1 22 p1 32 : pn 12 pn 22 pn 32
p1 13 p1 23 p1 33 : pn 13 pn 23 pn 33
p1 14 p1 24 p1 34 : pn 14 pn 24 pn 34
X Y Z 1
(5.13)
donde pi atriz Pi . De la tercera jk corresponde al elemento (j, k ) de la m ecuaci on de cada proyecci on se obtiene:
i i i i = p i 31 X + p32 Y + p33 Z + p34
(5.14)
Este valor encontrado para i puede reemplazarse en (5.13) dando:
1 1 1 (p1 31 X + p32 Y + p33 Z + p34 )x1 1 1 1 (p31 X + p32 Y + p33 Z + p1 34 )y1 : n n n n (p31 X + p32 Y + p33 Z + p34 )xn n n n (p31 X + p32 Y + p33 Z + pn 34 )yn
p1 11 p1 21 : pn 11 pn 21
p1 12 p1 22 : pn 12 pn 22
p1 13 p1 23 : pn 13 pn 23
p1 14 p1 24 : pn 14 pn 24
X Y , (5.15) Z
Se obtiene as un nuevo sistema de ecuaciones con 2n ecuaciones con s olo 3 inc ognitas (X , Y y Z ), ya que en (5.14) se obtuvo una expresi on para i en funci on de X , Y y Z . La ecuaci on anterior puede ser reformulada de la
84 siguiente manera:

1 p1 31 x1 p11 1 1 p31 y1 p21 : n p31 xn pn 11 n pn y p 31 n 21 1 p1 32 x1 p12 1 1 p32 y1 p22 : n p32 xn pn 12 n pn y p 32 n 22 Q 1 p1 33 x1 p13 1 1 p33 y1 p23 : n p33 xn pn 13 n pn y p 33 n 23
X Y = Z
1 p1 14 p34 x1 1 p24 p1 34 y1 : n p14 pn 34 xn n pn p 24 34 yn r
(5.16) = En caso de que el rango de Q sea tres, existe una soluci on para M T [X Y Z 1] utilizando el m etodo de los m nimos cuadrados: Y Z ]T = [QT Q]1 QT r [X (5.17)
Este m etodo puede usarse tambi en para n = 2 proyecciones, sin embargo el n umero de operaciones necesrias para obtener la reconstrucci on de M es mayor que las que se necesitan utilizando el m etodo de la Secci on 5.1 donde no hay que calcular las matrices Q y [QT Q]1 . En el m etodo de los m nimos cuadrados se ha minimizado QM r 2 con respecto a M. Esto tiene la gran ventaja de poder obtener una soluci on no iterativa para M, sin embargo, la gran desventaja es que la expresi on QMr no tiene una buena interpretacion f sica. Una alternativa interesante es presentada en [6], donde se minimiza
n
J (M) =
i=1
( xi xi )2 + ( yi yi )2
(5.18)
donde (xi , yi ) son las coordenadas de mi y ( xi , y i ) son las estimaciones de mi obtenidas del modelo de proyecci on a partir de i m i = Pi M. En este problema se debe encontrar el mejor M, es decir M, tal que se minimice la funci on de costo (5.18). La soluci on de este problema de optimizaci on se puede obtener mediante m etodos iterativos como los m etodos de gradiente [32]. En este caso el valor inicial de la iteraci on puede ser el encontrado en (5.17).
Cap tulo 6 Matching y tracking

6.1. Introducci on
En este cap tulo se analizar an distintas t ecnicas para establecer la correspondencia entre elementos que est an presentes en varias im agenes. En la Secci on 6.2 se estudiar a en detalle el matching en dos vistas. Se presenta la correspondencia punto-punto, l nea-l nea y regi on-regi on. En la Secci on 6.3 se estudia el seguimiento, o tracking, de un objeto a lo largo de una secuencia de im agenes.
6.2.
Matching
El t ermino matching se utiliza en visi on articial para establecer la correspondencia entre im agenes distintas de un mismo objeto. Com unmente, se emplea como objeto un punto, una l nea o una regi on. Como ya se estudi o con detalle en el Cap tulo 4, se sabe que una condici on necesaria pero no suciente para establecer la correspondencia en dos puntos (en dos im agenes distintas) es la condici on epipolar. Se plantea entonces la pregunta qu e otros criterios se pueden emplear para realizar el matching de dos puntos? En esta secci on se estudiar an algunas posibilidades. 85
86
J
Imagen 1
Imagen 2
Figura 6.1: Flujo optico: en la imagen 2 se busca la ventana roja m as parecida a la ventana I = 5, J = 5 de la imagen 1.
6.2.1.
Correspondencia entre puntos
Una posibilidad la da el ujo optico, que corresponde a un conjunto de vectores que indica el movimiento de una imagen hacia otra. En el ujo optico primero se divide la primera imagen en ventanas peque nas. Luego, para cada una de estas ventanas se busca en la segunda imagen la ventana (de las mismas dimensiones) que sea lo m as parecida posible a la ventana de la primera imagen. Finalmente, teniendo la ubicaci on de la ventana en la primera y en la segunda imagen, se obtiene un vector de desplazamiento. Este vector se puede interpretar como el movimiento que sufri o la ventana de la primera imagen para transformarse en la ventana de la segunda imagen. Como se puede apreciar, este m etodo s olo se puede usar si la diferencia entre las dos im agenes es peque na, ya que para un movimiento mayor, por ejemplo una rotaci on de 900 , no ser a posible encontrar las ventanas similares. Matem aticamente se puede establecer que si las im agenes son I1 e I2 , cuyos tama nos son N M , se puede dividir la imagen en ventanas de n m. Siendo los ndices I = 1, ..., n y J = 1, ...m los que indican cu al de las ventanas de I1 se va a analizar, se puede encontrar el vector de desplazamiento vIJ = (kI , kJ )
6. Matching y tracking
87
minimizando la funci on objetivo que calcula el valor absoluto de la diferencia entre la ventana (I, J ) de la imagen I1 con una ventana en la imagen I2 desplazada kI p xels y kJ p xels en la direcci on i y j respectivamente, es decir:
n m
kI , kJ = arg m n
i=1 j =1
|I1 (nI + i, mJ + j ) I2 (nI + i + kI , mJ + j + kJ )|
(6.1)
En la Figura 6.1 se muestra a manera de ejemplo el vector de desplazamiento v55 . El vector de desplazamiento tambi en se puede encontrar maximizando una funci on objetivo que calcule la correlaci on entre las dos ventanas:
n m
kI , kJ = arg m ax
i=1 j =1
I1 (nI + i, mJ + j )I2 (nI + i + kI , mJ + j + kJ )
(6.2)
o bien utilizando la correlaci on normalizada:

n i=1 n i=1 m I (nI j =1 1
kI , kJ = arg m ax
+ i, mJ + j )I2 (nI + i + kI , mJ + j + kJ )
n i=1 m I 2 (nI j =1 2
m I 2 (nI j =1 1
(6.3)
+ i, mJ + j )
+ i + kI , mJ + j + kJ )
En la Figura 6.2 se muestran dos im agenes en una esquina en las que se observa que ha habido un movimiento de los autom oviles. Al calcular el ujo optico, s olo en las porciones en que ha ocurrido un cambio se detectar a un vector de desplazamiento mayor que cero. Se puede pensar entonces, que esta herramienta puede ser de gran utilidad para encontrar la correspondencia entre dos puntos de dos im agenes distintas, ya que para un punto en la imagen I1 se puede buscar su correspondiente en la imagen I2 buscando la intersecci on del vector de desplazamiento del ujo optico con la l nea epipolar del primer punto en la imagen I2 . Existen tambi en t ecnicas m as sosticadas en que la ventana en la imagen I2 no necesariamente tiene la misma orientaci on y tama no de la ventana de la imagen 1 [27]. Es necesario tomar en cuenta que el ujo optico presenta dos problemas: oclusi on y ambig uedad. En el primero no es posible realizar el matching si el objeto que aparece en la ventana de b usqueda en I1 ya no aparece en la imagen I2 . En el problema de ambig uedad, el matching puede equivocarse si a repetido. Esta situaci on se puede lo que se desea buscar en la imagen I2 est
88
Imagen 1
Flujo ptico
Imagen 2
Figura 6.2: Ejemplo de ujo optico [2].
producir por ejemplo en la Figura 6.1 si la ventana de la imagen I1 es m as peque na a la indicada y contiene la ventana izquierda de la torre que aparece en la parte superior derecha de la imagen. Al buscar el matching en la imagen I2 no se podr a diferenciar entre las dos ventanas que tiene la torre, es posible entonces que el algoritmo asocie la ventana izquierda con la ventana derecha.
6.2.2.
Correspondencia entre l neas
Establecer la correspondencia entre dos l neas (en dos im agenes distintas) no tiene mucho sentido, ya que en la gran mayor a de los casos existe una l nea 3D que podr a haber producido las l neas en las im agenes. Tal como se muestra en la Figura 6.3, la intersecci on de los planos C1 , l1 y C2 , l2 > proporciona una l nea en el espacio 3D, que proyectada en ambas im agenes corresponde con las l neas originales l1 y l2 , sin embargo es posible que l1 haya sido producida por otra l nea 3D que pertenezca al plano < C1 , l1 >, en este caso la intersecci on de los planos no proporciona una condici on suciente
89
1 ea n L
Ln ea 2
gen Im a
Ima gen
C
Lnea 3D
Figura 6.3: An alisis de l neas correspondientes.
para establecer la correspondencia. Un caso particular se produce cuando los planos son paralelos y no tienen una l nea 3D de intersecci on, en este caso se dice que las l neas l1 y l2 no son correspondientes. Otro caso particular es cuando ambos planos son iguales, en este caso existen innitas l neas 3D que podr an proyectarse como l1 y l2 , lo que quiere decir que las l neas podr an ser correspondientes. Para establecer si dos l neas son correspondiente es conveniente introducir criterios adicionales al descrito anteriormente. Estos criterios deben analizar por ejemplo las caracter sticas de color de cada una de las l neas o bien la longitud. En el segundo caso sin embargo, es dif cil establecer si las l neas en las im agenes son proyecciones de la misma porci on de la l nea 3D.
6.2.3.
Correspondencia entre regiones
Una t ecnica muy utilizada para establecer la correspondencia de objetos correspondientes en dos im agenes es la de b usqueda de regiones similares. En esta t ecnica se segmentan en cada una de las dos im agenes las regiones que sean de inter es. Luego, se extraen las caracter sticas de estas regiones y se comparan las caracter sticas de las regiones de la imagen 1 con las carac-
90
ter sticas de las regiones de la imagen 2. Aquellas regiones que tengan caracter sticas similares y que est en ubicadas obedeciendo la condici on epipolar ser an entonces regiones correspondientes. En esta secci on se describen algunas caracter sticas que pueden ser empleadas para describir cuantitativamente regiones que hayan sido segmentadas en una imagen. Se entender a por regi on aquel conjunto de p xels que pertenezcan a una misma zona de la imagen y que est e limitado por bordes. Se asumir a que los bordes no pertenecen a la regi on. Para explicar las caracter sticas que se detallar an a continuaci on se usar a el ejemplo de la Figura 6.4. En este ejemplo se presenta una regi on circular que ha sido segmentada. La regi on entonces se conforma por los p xels que pertenecen al c rculo (pero no a su per metro), es decir los p xels que han sido marcados con color gris en la Figura 6.4b. Los bordes de la regi on denen el l mite de la regi on. Las caracter sticas que se pueden extraer de una regi on se dividen en dos categor as: caracter sticas geom etricas y caracter sticas de color.
6.2.4.
Caracter sticas geom etricas
A continuaci on se enumeran algunas caracter sticas geom etricas que se usan com unmente en el reconocimiento de patrones.
1 2 3 4 1 2 3 4 5 6 7 8 9 10 11 5 6 7 8 9 10 11
j g[i,j] Pixel (4,6)
i (c)
i (a) (b)
Figura 6.4: Ejemplo de una regi on: a) Imagen. b) Regi on segmentada. c) Representaci on 3D de los valores de gris de la regi on y su entorno.
91
Altura y ancho (h y w): La altura y el ancho de una regi on se denen como: h = imax imin + 1 y w = jmax jmin + 1 (6.4) donde imax e imin representan el valor m aximo y m nimo que toma la coordenada i en la regi on (ver Figura 6.4), y lo mismo es v alido para jmax y jmin . En el ejemplo mostrado h = w = 7 p xels. Area (A): El area de una regi on se dene como el n umero de los p xels de la regi on. En el ejemplo A = 45 p xels. Per metro (L): El per metro de una regi on puede ser denido de varias maneras. Una denici on pr actica, mas no exacta, es tomar el per metro como 1 el n umero de p xels que pertenecen al borde de la regi on . En el ejemplo de la Figura 6.4b, L es el n umero de p xels marcados en color blanco, es decir L = 24. Redondez (R): Esta caracter stica que indica la calidad de redondo de una regi on es una medida de su forma. La redondez se dene como [17]: R= 4A L2 (6.5)
La redondez R de una regi on estar a entre los valores 0 y 1. Te oricamente R = 1 para un c rculo (perfecto); y R = 0 para una regi on que tenga altura y/o ancho igual a cero. En la pr actica sin embargo, debido al muestreo en el espacio de la regi on estos valores presentan desviaciones como se puede ver en la regi on circular de nuestro ejemplo. En este caso R = 4 45 /242 = 0, 98. Momentos: Los momentos estad sticos se denen como mrs =
i,j
ir j s
para r, s N
(6.6)
donde es el conjunto de p xels de la regi on. En el ejemplo de la Figura 6.4b el pixel cuyas coordenadas son (i = 4, j = 6) pertenece a este conjunto. El par ametro r + s denota el orden del momento. El momento de orden cero
Otras deniciones m as exactas consideran el factor 2 para p xels del borde de la regi on que est en en diagonal, como por ejemplo en el caso de un borde que contenga los p xels (i, j ) y (i + 1, j + 1) [4]. En este caso existe un compromiso entre la precisi on y el costo computacional que requiere su c alculo.
1
92
m00 corresponde al area de la regi on A. El centro de gravedad de una regi on queda denido por: m10 m01 = = (6.7) m00 m00 Con ayuda de las coordenadas del centro de gravedad se denen los momentos centrales que son invariantes al desplazamiento de la regi on en la imagen. rs =
i,j
(i )r (j )s
para r, s N
(6.8)
Muy conocidos en la teor a de reconocimiento de patrones son las caracter sticas derivadas de los momentos centrales, denominados momentos de Hu [20, 34]: 1 2 3 4 5 6 7 con rs = rs t 00 t= r+s + 1. 2 = = = = = 20 02 2 (20 02 )2 + 411 (30 312 )2 + (321 03 )2 (30 + 12 )2 + (21 + 03 )2 (30 312 )(30 + 12 )[(30 + 12 )2 3(21 + 03 )2 ]+ (321 03 )(21 + 03 )[3(30 + 12 )2 (21 + 03 )2 ] = (20 02 )[(30 + 12 )2 (21 + 03 )2 ]+ 411 (30 + 12 )(21 + 03 ) = (321 03 )(30 + 12 )[(30 + 12 )2 3(21 + 03 )2 ] (30 312 )(21 + 03 )[3(30 + 12 )2 (21 + 03 )2 ]
(6.9)
Los momentos de Hu son invariantes a la traslaci on, rotaci on y escalamiento. Esto quiere decir que dos regiones que tengan la misma forma pero que sean de distinto tama no y que est en ubicados en posiciones y orientaciones distintas en la imagen tendr an momentos de Hu iguales. A veces sin embargo, es necesario contar con caracter sticas que adem as sean inavariantes a las transformadas anes. Un conjunto alternativo de caracter sticas que son invariantes a la traslaci on, rotaci on, escalamiento y tambi en a transformaciones anes se puede derivar de los momentos de segundo y tercer orden [33]: I1 = 20 02 2 11 4 00
6. Matching y tracking 2 3 3 2 2 2 30 03 630 21 12 03 + 430 12 + 421 03 321 12 10 00
93
I2 =
2 20 (21 03 2 12 ) 11 (30 03 21 12 ) + 02 (30 12 21 ) I3 = 7 00
(6.10)
I4 =
2 2 2 2 2 ( 3 20 03 620 11 12 03 620 02 21 03 + 920 02 12 1220 2 11 21 03 + 620 11 02 30 03 1820 11 02 21 12 2 2 83 11 30 03 620 02 30 12 + 920 02 21 2 3 2 11 +122 11 02 30 12 611 02 30 21 + 02 30 )/00
Descriptores de Fourier: Una buena caracterizaci on de la forma de una regi on se logra utilizando los descriptores de Fourier [5, 28, 36]. Las coordenadas (ik , jk ) de los p xels del borde, para k = 0, ..., L 1 de una regi on se agrupan en un sentido de giro conformando un n umero complejo (ik + j jk ) con j = 1, donde L es el per metro de la regi on denido como el n umero de p xels del borde de la regi on. La l nea continua formada por estas coordenadas corresponden a una se nal peri odica que puede ser transformada al dominio de Fourier por medio de la Transformada Discreta de Fourier (DFT) [4]:
L1
Fn =
k=0
(ik + j jk )ej
2kn L
para n = 0, ..., L 1.
(6.11)
Los descriptores de Fourier corresponden al m odulo de los coecientes complejos de Fourier. Como se puede apreciar los descriptores de Fourier son invariantes a la rotaci on de la regi on. El primer descriptor de Fourier |F0 | da informaci on de la ubicaci on de la regi on en la imagen. Los descriptores que son invariantes a la posici on de la regi on son los siguientes descriptores. La fase de los coecientes de Fourier proporciona informaci on acerca de la orientaci on y de la simetr a de las regiones. En la Figura 6.5 se muestran los descriptores de Fourier para el ejemplo de la Figura 6.4. En este ejemplo el pixel de partida es (i0 , j0 ) = (6, 10). En el caso de un c rculo ideal los descriptores ser an |Fn | = 0 para 1 < n < L, ya que la representaci on de las coordenadas (ik , jk ) corresponder an a una sinusoide perfecta.
94
12 200 10 180
|F n |
jk
8
160 140 120
ik
100 80
4 60 2 40 20 0 0 5 10 15 20 0 0 5 10 15 20
Figura 6.5: Coordenadas del borde de la regi on de la Figura 6.4 y sus descriptores de Fourier.
6.2.5.
Caracter sticas de color
Antes de entrar a denir las caracter sticas del color es necesario saber si la imagen que se pretende analizar es a color o en blanco y negro. En el primer caso el color se descompone en tres componentes (rojo, verde y azul) para cada p xel de la imagen, en el segundo caso se cuenta s olo con el tono de gris en cada p xel. Las caracter sticas que se mencionan a continuaci on son para una sola variable de color. Esta variable puede ser cada una de las componentes del color, una combinaci on lineal de las tres componentes o bien simplemente el tono de gris. La informaci on entonces necesaria para calcular estas caracter sticas es el valor de esta variable de color en cada p xel que es representada como x[i, j ] para el p xel (i, j ) de la imagen. Es posible que en algunas aplicaciones sea necesario analizar de manera independiente dos variables de color, por ejemplo la componente en rojo y la componente en azul. En este tipo de aplicaciones ser a necesario extraer las caracter sticas de color para cada una de las variables de color requeridas. Color promedio (G): Esta caracter stica es el promedio de la variable de color que se dene como: G= 1 x[i, j ] A i,j (6.12)
donde denota el conjunto de p xels de la regi on y x[i, j ] el valor de la variable de color en el p xel (i, j ).
95
El n umero de p xels de la regi on es A, el area de la regi on. Una representaci on 3D de la variable de color de una regi on y su entorno se muestra en la Figura 6.4c. En este caso se trabaja con el valor de gris, ya que la imagen es blanco y negro. Para este ejemplo el promedio es G = 121, 90 (G=0 signica 100 % negro y G=255 corresponde a 100 % blanco). Gradiente promedio en el borde (C ): Esta caracter stica toma el valor promedio del gradiente de la variable de color en el borde de la regi on. Con esta caracter stica se puede medir qu e tan abrupto es el cambio en la coloraci on en la regi on con respecto a su entorno. El gradiente promedio en el borde se calcula como: C= 1 x [i, j ] L i,j (6.13)
donde x [i, j ] es el m odulo del gradiente de la variable de color del p xel (i, j ). Los p xels a evaluar pertenecen exclusivamente al borde. Estos p xels conforman el conjunto . El n umero de p xels del conjunto es L, el per metro de la regi on. El gradiente puede ser calculado utilizando el operador de gradiente de Gauss [4], en este caso para el ejemplo de la Figura 6.4 C = 35, 47. Promedio de la segunda derivada (D): Esta caracter stica se calcula como el promedio de la segunda derivada de la variable de color en la regi on: D= 1 x [i, j ] A i,j (6.14)
donde x [i, j ] denota el m odulo de la segunda derivada de la variable de color en el p xel (i, j ), y el conjunto de p xles que pertenecen a la regi on. Para calcular la segunda derivada se puede utilizar el operado LoG (Laplacian-ofGauss) [25, 4]. Es necesario observar que D < 0 signica que la regi on es m as clara que su entorno (es decir que su variable de color es mayor en la regi on que fuera de ella). As mismo D > 0 indica una regi on m as oscura que su entorno. Contraste: El contraste de una regi on es concebido como una medida para la diferencia de color entre la regi on y su entorno. Regi on y entorno no tienen p xels en com un, y conforman una zona, que puede ser denida como un rect angulo: La zona entonces queda denida como la ventana g [i, j ] = x[i + ir , j + jr ] (6.15)
96
para i = 1, ..., 2h +1 y j = 1, ..., 2w +1, donde h y w representan la altura y el ancho de la regi on respectivamente (ver ecuaci on (6.4)). Los puntos centrales de estas zonas se denen como ir = h 1 y jr = b 1, donde ( , ) corresponde al centro de gravedad de la regi on (ver ecuaci on (6.7)). Entre m as peque na sea la diferencia de la variable de color en la regi on con respecto a su entorno, m as peque no ser a el contraste. Para visualizar el contraste se pueden representar la variable de color de una zona como una funci on 3D, donde el eje x y el eje y representan el eje i y el eje j de la imagen, y el eje z el valor de la variable de color que toma el pixel correspondiente, es decir g [i, j ]. La Figura 6.4c muestra esta representaci on para el ejemplo de la Figura 6.4a. Se reconoce en este ejemplo una regi on de alto contraste. El contraste se dene matem aticamente de diversas formas. Una denici on com unmente usada es utilizando caracter sticas de textura [4], que ser an explicadas posteriormente. Otras deniciones de contraste [23, 33] se dan a continuaci on: K1 = G Ge , Ge K2 = G Ge G + Ge y K3 = ln(G/Ge ), (6.16)
donde G y Ge representan el promedio de la variable de color en la regi on y en el entorno respectivamente. Una nueva forma de calcular el contraste se muestra en [26]. El c alculo de esta caracter stica se obtiene en tres pasos: i) Extracci on del color en los ejes principales de la zona: se calculan dos funciones de color P1 y P2 . La primera funci on P1 toma los valores de la variable de color en la direcci on i y la segunda funci on P2 en la direcci on j . Ambas funciones se centran en los centros de gravedad. En el ejemplo de la Figura 6.4b el centro de gravedad est a en el p xel (6,6), esto quiere decir que P1 y P2 son los valores del tono de gris de la zona de la columna 6 y de la la 6 respectivamente, tal como se muestra en la Figura 6.6a-b. ii) Aislamiento de la regi on: Para aislar la regi on de su entorno se trata de eliminar el fondo de la regi on, que se modela como una funci on lineal de primer orden, es decir una rampa. Se asume entonces que los valores extremos de P1 y P2 pertenecen las rampas R1 y R2 , tal como se ilustra en la Figura 6.6a-b. Las rampas ser an substra das de las funciones originales para conformar Q1 = P1 R1 y Q2 = P2 R2 que se fusionan en la nueva funci on Q como se muestra en la Figura 6.6c.
180
97
P1 R1
0 1 2 3 4 5 6 7 8 9 10 11 1 2
P2 R2
3 4 5 6 7 8 9 10 11 1 2
Q =Q1
3 4 5 6 7 8 9 10 1 1
=Q2
12 13 14 15 16 17 18 19 20 21
(a)
(b)
(c)
Figura 6.6: C alculo del contraste para la Figura 6.4: a) valor de gris de la zona y rampa en direcci on i; b) valor de gris de la zona y rampa en direcci on j ; c) fusi on de las funciones de a) y b) sin rampas.
iii) C alculo del contraste: a partir de la nueva funci on Q se denen dos nuevos contrastes: K = Q y K = ln(Qmax Qmin ) (6.17) donde Q , Qmax y Qmin representan la desviaci on est andar, el m aximo y el m nimo de Q respectivamente. Momentos: Los momentos denidos en la Secci on 6.2.4 pueden ser utilizados en el an alisis de color de la regi on si en la ecuaci on del c alculo de los momentos (6.6) se incorpora la informaci on de la variable de color: mrs =
i,j
ir j s x[i, j ]
para r, s N .
(6.18)
La sumatoria se calcula sobre los pixels (i, j ) de la regi on. De esta manera se pueden calcular las caracter sticas indicadas en (6.9) y (6.10) que incorporen la informaci on del color seg un (6.18), el resultado ser a el conjunto de caracter sticas 1 ...7 e I1 ...I4 . Caracter sticas de textura: Las caracter sticas de textura proporcionan informaci on sobre la distribuci on espacial del color en la imagen. Para el an alisis de regiones se pueden aplicar las caracter sticas de textura no a la imagen entera sino s olo a las zonas (regi on y entorno) como se deni o en (6.15). Una caracter stica simple de textura es la varianza local [21] denida como:
2 = g 2h+1 2b+1 1 .(g [i, j ] g )2 4hb + 2h + 2b i=1 j =1
(6.19)
98
donde g denota el valor promedio de la variable de color en la zona. Otras caracter sticas de textura se obtienen por medio de la matriz de coocur2 rencia . La matriz de coocurrencia se denotar a como Pkl , donde el elemento Pkl [i, j ] otorga el valor de frecuencia (divido por NT ) de ocurrencia de los valores de color i y j en dos p xels ubicados en una posici on relativa dada por el vector (k, l). La variable NT signica el n umero de p xels que fueron necesarios para calcular Pkl , con esto se normaliza la matriz de coocurrencia ya que la suma de todos sus elementos es uno. Si la variable de color tiene una resoluci on de 256, por ejemplo de 0 a 255, el tama no de la matriz de coocurrencia Pkl ser a 256 256. Ya que esto implica un costo computacional muy alto, es com un que se utilicen matrices m as peque nas empleando s olo los bits m as signicativos de la variable de color [4]. A manera de ejemplo, se puede tener una matriz de coocurrencia de 8 8 agrupando el valor de la variable de color x en [0, ..., 31], [32, ..., 63], ... [224, ..., 255]. Algunas caracter sticas de textura para im agenes (o zonas) cuyas matrices de coocurrencia sean de Nx Nx elementos se presentan a continuaci on [4, 33, 12, 9]: Entrop a:
Nx Nx
Hkl =
i=1 j =1
Pkl [i, j ] log(Pkl [i, j ])
(6.20)
Inercia o contraste: Ikl = Homogenidad o energ a:
Nx Nx
(i j )2 Pkl [i, j ]
(6.21)
i=1 j =1
Nx Nx
Ekl = Momento de diferencia inverso: Zkl =

2
[Pkl [i, j ]]2
(6.22)
i=1 j =1
Pkl [i, j ] 2 i=1 j =1 1 + (i j )
Nx Nx
(6.23)
del ingl es co-occurence matrix.
99
6.2.6.
Criterios de correspondencia entre regiones
Para establecer si dos regiones r1 y r2 , en dos im agenes distintas, son correspondientes se utilizan los siguientes criterios: Condici on epipolar: Los centros de gravedad de las regiones deben satisfacer la condici on epipolar . Como la condici on epipolar se aplica a puntos (y no a regiones) es necesario simplicar la regi on en un punto. Esto se hace tomando el centro de gravedad de la regi on. Esta simplicaci on est a sujeta a un error, que muchas veces puede ser considerablemente grande, ya que los centros de gravedad no necesariamente corresponden a la proyecci on del mismo punto 3D en el espacio. A manera de ejemplo esta simplicaci on es cierta si se tratara de regiones esf ericas, donde la proyecci on del centro de gravedad de la esfera coincide con los centros de gravedad de las regiones en las im agenes. Sin embargo, las regiones reales no son proyecciones de esferas, por esta raz on el uso de este criterio debe usarse sabiendo que est a sujeto a error. Este criterio s olo debe usarse si se trabaja con regiones circulares o si la rotaci on relativa del objeto (o de las c amaras) en ambas im agenes es peque na. Si m1 y m2 son los centros de gravedad de r1 y r2 respectivamente, es necesario comprobar entonces si satisfacen la condici on epipolar. Para esto se utiliza com unmente la restricci on epipolar pr actica, que se nala que m1 y m2 satisfacen la condici on epipolar si m2 se encuentra a una distancia Eucl dea de la l nea epipolar de m1 en la segunda imagen a una distancia peque na (ver ecuaci on (4.32)). d2 (m1 , F, m2 ) = |mT 2 Fm1 |
2 2 l1 + l2
< 2
(6.24)
donde F la matriz fundamental existente entre la imagen 1 y 2, y [l1 l2 l3 ]T = Fm1 . Coloraci on correcta de las regiones con su entorno: Ambas regiones deben ser o bien m as claras, o bien m as oscuras que su entorno. Si una regi on en la imagen 1 es m as clara que su entorno se puede
100
pensar que en la imagen 2 su regi on correspondiente tambi en deber a ser m as clara que su entorno(suponiendo la misma iluminaci on). El mismo criterio se puede aplicar para regiones que sean m as oscuras que su entorno. Por esta raz on, para que las regiones sean correspondientes, la coloraci on relativa de las regiones con respecto a su entorno debe ser la misma. Para expresar matem aticamente este criterio se puede decir que el signo del promedio de la segunda derivada de la variable de color (ver ecuaci on (6.14)) de las regiones debe ser igual: 1 para x > 0 0 para x = 0 . sgn(D1 ) = sgn(D2 ) con sgn(x) 1 para x < 0 (6.25) donde D1 y D2 son los promedios de la segunda derivada de las regiones. Criterio de similitud: Las regiones deben ser similares. Antes de investigar qu e tan similares son las regiones, es necesario hacer un estudio de cuales caracter sticas son las que proporcionan informaci on relevante, esto se logra haciendo un an alisis estad stico [22, 11]. Suponiendo que se hayan extra do n caracter sticas3 de cada una de las regiones r1 y r2 se tiene entonces los vectores de caracter sticas z1 = [z11 z12 ... z1n ]T y z2 = [z21 z22 ... z2n ]T para r1 y r2 respectivamenteEl criterio de similitud eval ua la distancia Eucl dea ente los vectores de caracter sticas z1 y z2 . De esta manera se considera que las regiones son similares si cumplen:
n
Sd (z1 , z2 ) = z1 z2 =
i=1
(z1i z2i )2 < s
(6.26)
donde s es un valor peque no. Caracter sticas de f acil computaci on y que sirven en muchos casos para establecer si dos regiones son similares, son el area (A), el per metro (L), el color promedio (G) y el contraste (K ) [26].
Por lo general se utilizan caracter sticas normalizadas. Un criterio de normalizaci on es desplazando los valores que toman las caracter sticas a un rango entre 0 y 1. Otro criterio es obtener nuevas caracter sticas que tengan media igual a cero y varianza igual a uno.
3
101
Lnea Epipolar acotada

1
gen Im a
I ma gen 2
C
Volumen
C
Figura 6.7: L nea epipolar acotada: la reconstrucci on de M a partir de m1 a m2 debe pertenecer a un subespacio 3D.
Localizaci on correcta en el espacio 3D: El punto 3D reconstruido, obtenido por triangulaci on a partir de los centros de gravedad m1 y m2 de las regiones, debe encontrarse dentro del espacio 3D ocupado por el objeto de an alisis. Muchas veces se sabe a-priori d onde est a ubicado en el espacio el objeto de an alisis. Este espacio puede corresponder a un cubo, cilindro o a un volumen m as complejo almacenado como un modelo CAD. Si se cuenta con esta informaci on, es posible entonces realizar una reconstrucci on del punto 3D M utilizando el m etodo lineal explicado en la Secci on 5.1 y vericar si las coordenadas de este punto pertenecen al volumen que ocupa el objeto de an alisis. Este criterio corresponde a evaluar la condici on epipolar s olo en una porci on de la imagen. Esta l nea epipolar acotada se obtiene a partir de la proyecci on en la segunda imagen del segmento de recta C1 , m1 que est a en el subespacio 3D donde se encuentra el objeto de an alisis (ver Figura 6.7). Evaluando estos cuatro criterios se puede establecer con un grado mayor de certeza si las regiones r1 y r2 son correspondientes entre s .
102
6.3.
Tracking
En esta Secci on se estudia el seguimiento, o tracking, de un objeto a lo largo de una secuencia de im agenes.
Indice de guras
1.1. Ejemplo de recticaci on de perspectiva . . . . . . . . . . . . . 1.2. Ejemplo de recticaci on de distorisi on de lente . . . . . . . . . 1.3. Triangulaci on . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4. Correspondencia en tres puntos . . . . . . . . . . . . . . . . . 1.5. Pintura pre-renacentista y renacentista . . . . . . . . . . . . . 1.6. M aquina de perspectiva por Albrecht D urer . . . . . . . . . . 1.7. C amara oscura . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 3 4 6 7 8
2.1. Proyecci on (x1 , x2 , x3 ) (x, y ) . . . . . . . . . . . . . . . . . . 12 2.2. Proyecci on en dos planos paralelos . . . . . . . . . . . . . . . . 14 2.3. Proyecci on en dos planos no paralelos . . . . . . . . . . . . . . 15 2.4. Recticaci on de distorsi on proyectiva . . . . . . . . . . . . . . 16 2.5. Transformaci on 2D isom etrica (Eucl dea) . . . . . . . . . . . . 18 2.6. Transformaciones proyectivas 2D . . . . . . . . . . . . . . . . 21 2.7. Transformaciones proyectivas 3D . . . . . . . . . . . . . . . . 22 2.8. Transformaci on 3D Eucl dea . . . . . . . . . . . . . . . . . . . 23 2.9. Rotaci on de los ejes Z , Y , y X . . . . . . . . . . . . . . . . . 24 2.10. Figura del Ejercicio 2.8: Transformaci on (X4 , Y4 , Z4 ) (X1 , Y1 , Z1 ) 29 2.11. Distorsi on de perspectiva (ver Ejercicio 2.9) . . . . . . . . . . 29 2.12. Transformaci on Eucl dea 2D (Ejercicio 2.10) . . . . . . . . . . 31 3.1. Sistema de visi on articial . . . . . . . . . . . . . . . . . . . . 33 103
104
3.2. Modelo geom etrico de c amara pinhole . . . . . . . . . . . . . . 36 3.3. Modelo geom etrico de proyecci on rayos X y c amara oscura . . 37 3.4. Modelo geom etrico de proyecci on con rotaci on de ejes . . . . . 38 3.5. Construcci on de un arreglo CCD . . . . . . . . . . . . . . . . 40 3.6. Ejemplo de Distorsi on . . . . . . . . . . . . . . . . . . . . . . 43 3.7. Modelaci on de distorsi on de lente . . . . . . . . . . . . . . . . 45 3.8. P endulo invertido . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.9. Rotaci on del eje X en el p endulo invertido . . . . . . . . . . . 48 3.10. Distorsi on no lineal . . . . . . . . . . . . . . . . . . . . . . . . 50 4.1. Geometr a epipolar . . . . . . . . . . . . . . . . . . . . . . . . 54 4.2. L neas epipolares y epipolos . . . . . . . . . . . . . . . . . . . 56 4.3. Planos epipolares . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.4. Geometr a Epipolar para tres vistas . . . . . . . . . . . . . . . 66 4.5. Representaci on geom etrica de las Trilinearidades . . . . . . . . 74 4.6. Correspondencia en dos vistas que comparten el centro optico 77 4.7. Distancia m nima de un punto a una recta . . . . . . . . . . . 78 5.1. Triangulaci on . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 6.1. Flujo optico . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 6.2. Ejemplo de ujo optico . . . . . . . . . . . . . . . . . . . . . . 88 6.3. An alisis de l neas correspondientes . . . . . . . . . . . . . . . . 89 6.4. Ejemplo de una regi on . . . . . . . . . . . . . . . . . . . . . . 90 6.5. Descriptores de Fourier . . . . . . . . . . . . . . . . . . . . . . 94 6.6. C alculo del contraste . . . . . . . . . . . . . . . . . . . . . . . 97 6.7. L nea epipolar acotada . . . . . . . . . . . . . . . . . . . . . . 101
Bibliograf a
[1] A. Avidan and A. Shashua. Novel view synthesis in tensor space. In Conference on Computer Vision and Pattern Recognition (CVPR-97), pages 10341040, Puerto Rico, 1997. [2] A.G. Bors and I. Pitas. Prediction and tracking of moving objects in image sequences. IEEE Trans. Image Processing, 9(8):14411445, 2000. [3] I.N. Bronstein and K.A. Semendjajew. Taschenbuch der Mathematik. Harri Deutsch, Thun-Frankfurt, Main, 24 edition, 1989. [4] K.R. Castleman. Digital Image Processing. Prentice-Hall, Englewood Clis, New Jersey, 1996. [5] R. Chellappa and R. Bagdazian. Fourier coding of image boundaries. IEEE Trans. Pattern Analysis and Machine Intelligence, PAMI-6(1):102105, 1984. [6] O. Faugeras. Three-Dimensional Computer Vision: A Geometric Viewpoint. The MIT Press, Cambridge MA, London, 1993. [7] O. Faugeras, Q.-T. Luong, and T. Papadopoulo. The Geometry of Multiple Images: The Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications. The MIT Press, Cambridge MA, London, 2001. [8] O. Faugeras and T. Papadopulo. A nonlinear method for estimating the projective geometry of 3 views. In 6th International Conference on Computer Vision, pages 477484, Bombay, India, 1998. [9] O. Faugeras and W. Pratt. Decorrelation methods of texture feature extraction. IEEE Trans. Pattern Analysis and Machine Intelligence, PAMI-2(4):323332, 1980. [10] O. Faugeras and L. Robert. What can two images tell us about a third one. International Journal of Computer Vision, 18(1):520, Apr. 1996. [11] K. Fukunaga. Introduction to statistical pattern recognition. Academic Press, Inc., San Diego, 2 edition, 1990. [12] R.M. Haralick. Statistical and structural approaches to texture. 67(5):786804, 1979. Proc. IEEE,
105
106
[13] R. Hartley. A linear method for reconstruction from lines and points. In 5th International Conference on Computer Vision (ICCV-95), pages 882887, Cambridge, MA, 1995. [14] R. Hartley. Multilinear relationships between coordinates of corresponding image points and lines. In Proceedings of the International Workshop on Computer Vision and Applied Geometry, International Sophus Lie Center, Nordfjordeid, Norway, Aug. 1995. [15] R. Hartley. Lines and points in three views and the trifocal tensor. International Journal of Computer Vision, 22(2):125150, 1997. [16] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2000. [17] I. Hartmann. Mustererkennung. Skriptreihe Regelungstechnik und Bildverarbeitung, Technische Universit at Berlin, 1996. [18] A. Heyden. A common framework for multiple view tensors. In 5th European Conference on Computer Vision (ECCV-98), pages 319, Jun. 1998. [19] A. Heyden. Multiple view geometry using multifocal tensors. In DSAGM, K openhamn, 1999. [20] M.-K. Hu. Visual pattern recognition by moment invariants. IRE Trans. Info. Theory, IT(8):179187, 1962. [21] B. J ahne. Digitale Bildverarbeitung. Springer, Berlin, Heidelberg, 2 edition, 1995. [22] A.K. Jain, R.P.W. Duin, and J. Mao. Statistical pattern recognition: A review. IEEE Trans. Pattern Analysis and Machine Intelligence, 22(1):437, 2000. [23] K.-F Kamm. Grundlagen der R.ontgenabbildung. In K. Ewen, editor, Moderne Bildgebung: Physik, Ger atetechnik, Bildbearbeitung und -kommunikation, Strahlenschutz, Qualit atskontrolle, pages 4562, Stuttgart, New York, 1998. Georg Thieme Verlag. [24] Q.-T. Luong and O. Faugeras. The fundamental matrix: theory, algorithms and stability analysis. International Journal of Computer Vision, 17(1):4376, 1996. [25] D. Marr and E. Hildreth. B(207):187217, 1980. Theory of edge detection. Proc. Roy. Soc. London,
[26] D. Mery. Automated Flaw Detection in Castings from Digital Radioscopic Image Sequences. Verlag Dr. K oster, Berlin, 2001. (Ph.D. Thesis in German). [27] J.-R. Ohm. Digitale Bildcodierung. Springer, Berlin Heidelberg, 1995. [28] E. Persoon and K.S. Fu. Shape discrimination using fourier descriptors. IEEE Trans. Systems, Man, and Cybernetics, SMC-7(3):170179, 1977. [29] A. Shashua. Algebraic functions for recognition. IEEE Trans. on Pattern Analysis and Machine Intelligence PAMI, 17(8):779789, 1995.
Bibliograa
107
[30] A. Shashua. Trilinear tensor: The fundamental construct of multiple-view geometry and its applications. In International Workshop on Algebraic Frames For The Perception Action Cycle (AFPAC), Kiel, Sep. 8-9 1997. [31] A. Shashua and M. Werman. Trilinearity of three perspective views and its associated tensor. In International Conference on Computer Vision (ICCV), Boston MA, Jun. 1995. [32] T. S oderstr om and P. Stoica. System Identication. Prentice Hall, New York, 1989. [33] M. Sonka, V. Hlavac, and R. Boyle. Image Processing, Analysys, and Machine Vision. PWS Publishing, Pacic Grove, CA, 2 edition, 1998. [34] C.H. Teh and R.T. Chin. On digital approximation of moment invariants. Computer Vision, Graphics and Image Processing, 33(3):318326, 1986. [35] J. Weng, P. Cohen, and M. Herniou. Camera calibration with distorsion models and accuracy evaluation. IEEE Trans. Pattern Analysis and Machine Intelligence, 4(10):965980, 1992. [36] C.T. Zahn and R.Z. Roskies. Fourier descriptors for plane closed curves. IEEE Trans. Computers, C-21(3):269281, 1971.

Vision Artificial

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Vision Artificial

Transféré par

Droits d'auteur :

Formats disponibles

Visi on Articial

vi 3. Modelaci on Geom etrica de un Sistema de Visi on Articial 33

Cap tulo 1 Introducci on

D.Mery: Visi on Articial

D isto rsi n de pe rspe ctiv a

C orre cci n d e pe rsp ectiva

Figura 1.1: Ejemplo de recticaci on de perspectiva.

D isto rsi n de len te

C orre cci n d e distorsin

Figura 1.2: Ejemplo de recticaci on de distorsi on de lente.

Figura 1.3: Triangulaci on: estimaci on de Q a partir de A y B.

D.Mery: Visi on Articial

Figura 1.4: Correspondencia en tres puntos.

Gran parte de esta secci on fue obtenida de la secci on 4.1 de [7].

D.Mery: Visi on Articial

Figura 1.6: M aquina de perspectiva por Albrecht D urer [6, 7].

D.Mery: Visi on Articial

Figura 1.7: C amara oscura.

Cap tulo 2 Geometr a Proyectiva

10 el algebra puede representarlo y resolverlo m as f acilmente.

D.Mery: Visi on Articial

Planos, puntos y l neas rectas

D.Mery: Visi on Articial

Figura 2.1: Proyecci on (x1 , x2 , x3 ) (x, y ).

x1 h11 h12 h13 x1 x2 = h21 h22 h23 x2 . x3 h31 h32 h33 x3

D.Mery: Visi on Articial

Figura 2.2: Proyecci on en dos planos paralelos.

Figura 2.3: Proyecci on en dos planos no paralelos.

D.Mery: Visi on Articial

Figura 2.4: Recticaci on de distorsi on proyectiva.

h11 h12 h13 h21 h22 h23 h31 h32

Categorizaci on de las Transformaciones Proyectivas 2D

A continuaci on se presentan 4 categor as existentes en las transformaciones 2 2 proyectivas R R .

Transformaci on Isom etrica (Eucl dea)

x cos() sin() tx x y sin( ) cos( ) t = y y 1 0 0 1 1

D.Mery: Visi on Articial

con 0T = [0 0]. La transformaci on inversa (x, y ) (x , y ) se obtiene de (2.9): x y = [R ]1 x y t . (2.11)

D.Mery: Visi on Articial

Transformaci on Proyectiva General

Resumen de Transformaciones Proyectivas 2D

Transformaci on Eucl dea

Invariantes longitud entre puntos.

Tabla 2.1: Resumen de Transformaciones Proyectivas 2D.

Figura 2.6: Transformaciones proyectivas 2D.

D.Mery: Visi on Articial

Transformaci on Eucl dea

Invariantes longitud entre puntos, volumen.

angulos entre planos, forma.

intersecci on y tangentes de supercies en contacto.

Figura 2.7: Transformaciones proyectivas 3D.

Figura 2.8: Transformaci on 3D Eucl dea.

D.Mery: Visi on Articial

Y Y' X' X'

Figura 2.9: Rotaci on de los ejes Z , Y , y X .

o en coordenadas homog eneas:

1 0 0 X X cos(X ) sin(X ) Y . Y = 0 Z 0 sin(X ) cos(X ) Z

D.Mery: Visi on Articial

En la u tlima igualdad se utiliz o la propiedad (2.13).

Ejercicio 2.1 Resolver el sistema de ecuaciones

D.Mery: Visi on Articial

Figura 2.10: Figura del Ejercicio 2.8: Transformaci on (X4 , Y4 , Z4 ) (X1 , Y1 , Z1 ).

Figura 2.11: Distorsi on de perspectiva (ver Ejercicio 2.9).

D.Mery: Visi on Articial

0 1 1 h11 1 1 1 h12 0 16 4 h13 1 4 1 h21 0 12 12 h22 1 16 16 h23 0 2 8 h31 1 4 16 h32