XIV SIMPOSIO DE TRATAMIENTO DE SEALES, IMGENES Y VISIN ARTIFICIAL STSIVA 2009

Deteccin de Objetos Mviles en una Escena Utilizando Flujo ptico

David Mora, Andrs Pez y Julin Quiroga Seplveda
ResumenEn este documento se presenta un algoritmo que permite detectar objetos mviles a partir de la estimacin del flujo ptico e informacin a priori del tipo de objeto. La estimacin del flujo ptico es realizada utilizando una implementacin piramidal del algoritmo de Lucas y Kanade sobre un conjunto de puntos especficos. Los puntos que presentan movimiento son detectados y agrupados de acuerdo a la distancia, velocidad e informacin a priori. El algoritmo fue probado en videos de vehculos. Palabras claves Flujo ptico, procesamiento de imgenes, deteccin de movimiento, segmentacin de objetos.

I. INTRODUCCIN a investigacin y desarrollo de mtodos de deteccin de objetos mediante el procesamiento de imgenes se ha incrementando en los ltimos aos debido a su aplicacin en robtica y control de trfico, adems del mejoramiento de los sistemas de computacin. Las investigaciones en el estudio de trfico, se han enfocado en el rea de anlisis automtico del flujo vehicular y peatonal por medio del desarrollo de algoritmos de visin por computador. Este inters de investigaciones en variables de trfico surge debido al incremento acelerado del trfico vehicular y de los altos ndices de accidentalidad en las principales capitales del mundo. El uso de visin artificial en sistemas de monitoreo de trafico pueden ofrecer muchas ventajas respecto de otras tecnologas [1]. Actualmente, el grupo de investigacin en Sistemas Inteligentes, Robtica y Percepcin (SIRP) del Departamento de Ingeniera Electrnica de la Pontificia Universidad Javeriana est llevando a cabo investigaciones en el rea de anlisis automtico de variables de trfico por medio del desarrollo de algoritmos de visin por computador. Hasta el momento los trabajos se han basado en la estimacin o modelado del fondo de la escena para detectar los objetos de inters como vehculos en [2] o peatones en [3]. En [2] el primer plano es estimado a partir de un modelo del fondo obtenido utilizando el mtodo FGDStatmodel [4], el cual realiza una clasificacin Bayesiana de los pxeles de la imagen, como pertenecientes al fondo o al primer plano, en funcin de su comportamiento temporal. En [3] el fondo es modelado a partir de un segmento de video en donde para cada pxel del fondo es elaborado un conjunto de posibles valores de acuerdo a su frecuencia de aparicin, de acuerdo a [5].

La estimacin del primer plano basada en fondo presenta algunos problemas, entre los cuales cabe destacar el alto costo computacional, debido a que el fondo debe ser actualizado o frecuentemente estimado, la sensibilidad a los cambios de iluminacin y la dificultad para estimar el fondo ante la presencia de objetos de inters estticos [6]. Con el fin de superar estos inconvenientes en los ltimos aos se han venido desarrollando diferentes mtodos para la deteccin y el seguimiento de objetos mviles en los cuales no se realiza un modelado del fondo. Por lo general estos mtodos se basan en la extraccin y correspondencia de puntos caractersticos sobre un conjunto de imgenes para determinar desplazamiento aparente de los objetos [7], o en la estimacin del flujo ptico de la imagen [8]. Los puntos caractersticos pueden ser elegidos de diferentes formas siguiendo un compromiso entre tiempo y robustez. Las caractersticas invariantes a escala (SIFT) propuestas por Lowe en [9] son comnmente utilizados para este fin, sin embargo, recientemente caractersticas diferentes, basadas en superficies deformables han probado ser ms robustas [7]. La correspondencia de SIFT, entre un par de cuadros de video, permite determinar con exactitud el desplazamiento relativo de un objeto en la escena, sin embargo la extraccin y posterior comparacin de estas caractersticas requiere de un alto costo computacional, el cual se incrementa rpidamente con el nmero de objetos mviles. En este trabajo se presenta un algoritmo que permite detectar objetos mviles a partir de la estimacin del flujo ptico e informacin a priori del tipo de objeto. La estimacin del movimiento aparente es realizada utilizando una versin piramidal del algoritmo de Lucas y Kanade [10], lo que permite un algoritmo ms rpido respecto a las estrategias basadas en SIFT, pero a su vez menos robusto a los cambios de iluminacin y de escala. Con el fin de incrementar la velocidad del algoritmo, el flujo ptico es estimado slo sobre un conjunto de puntos seleccionados de acuerdo al mtodo propuesto por Shi y Tomassi [13]. Los objetos mviles son detectados a partir de las regiones de la imagen con flujo diferente de cero y agrupados de acuerdo a la velocidad de movimiento y distancia euclidiana. La segmentacin de los objetos detectados es realizada utilizando informacin a priori de los mismos. Para la evaluacin del algoritmo se utilizaron videos que contienen flujo vehicular, en los cuales se cumple que los
__________________________________________ Departamento de Electrnica, Pontificia Universidad Javeriana, Bogot. david.mora@javeriana.edu.co, paez-a@javeriana.edu.co, quiroga.j@javeriana.edu.co

XIV SIMPOSIO DE TRATAMIENTO DE SEALES, IMGENES Y VISIN ARTIFICIAL STSIVA 2009 vehculos presentan un buen contraste respecto la va y el ngulo de captura garantiza que los mismos no se traslapan. El algoritmo se implement en el lenguaje de programacin C++ y se utilizaron las libreras de OpenCV [14]. El artculo se divide de la siguiente forma. En la Seccin II se presenta la tcnica de estimacin de flujo ptico utilizada. El algoritmo de deteccin y segmentacin de objetos mviles es descrito en la Seccin III. Los resultados obtenidos sobre un conjunto de videos de pruebas son ilustrados en la Seccin IV. Finalmente en la Seccin V son presentadas las conclusiones del trabajo realizado y los lineamientos de los trabajos futuros. II. ESTIMACIN DEL FLUJO OPTICO El flujo ptico juega un papel importante en la estimacin y descripcin del movimiento, por lo cual es comnmente utilizado en tareas de deteccin, segmentacin y seguimiento de objetos mviles en una escena a partir de un conjunto de imgenes. En este trabajo se seleccion una estrategia de flujo ptico, para estimar el movimiento relativo de la imagen, ya que puede ser implementada con bajo costo computacional. A continuacin se describe el principio de las tcnicas de flujo ptico y en particular se detallada la estrategia implementada. Se considerar un video como una secuencia de imgenes en niveles de gris. A. Flujo ptico. El flujo ptico puede ser definido como el movimiento aparente de los patrones de intensidad en una imagen. La palabra aparente indica que el movimiento espacial de los objetos (campo de movimiento) puede coincidir o no con el flujo estimado. No obstante, en situaciones en las cuales el movimiento de los objetos implica un movimiento de sus patrones de intensidad en el plano imagen, el flujo ptico puede ser directamente relacionado con el movimiento de los objetos en la escena. Tal es el caso del flujo vehicular capturado en video que se presenta en la Figura 3. La mayora de las tcnicas existentes para la estimacin del flujo ptico se puede clasificar en 4 categoras: las basadas en gradientes espacio-temporales, las basadas en comparacin de regiones, las basadas en fase y las basadas en energa. En todas las estrategias de estimacin de flujo ptico se parte de la hiptesis de que los niveles de gris permanecen constantes ante movimientos espaciales en un tiempo dado. Dicha hiptesis da lugar a la ecuacin general de flujo ptico (1), donde I ( x, y , t ) corresponde a la intensidad en niveles de gris del pxel (x,y) de la imagen I en el tiempo t. (1) Expandiendo (1) en series de Taylor sobre el punto (x,y,t) donde contiene la informacin de las derivadas de orden superior. Si se asume despreciable, la ecuacin de flujo ptico puede reescribirse como (2) donde (u,v), con u = dx dt y v = dy dt , corresponde al vector de flujo ptico y, I x y I y son las derivadas parciales horizontal y vertical de la imagen, respectivamente. Para cada pxel (x,y) de la imagen, en el tiempo t, puede plantearse la ecuacin (2), sin embargo no existe una nica solucin para esta ecuacin. Diferentes restricciones pueden emplearse para estimar el flujo ptico en la imagen. Horn y Shunck en [11] restringen el flujo ptico en la imagen a variar suavemente, por lo que la ecuacin (2) es minimizada junto a un trmino de regularizacin que penaliza los cambios abruptos del flujo. Lucas y Kanade (LK) en [12] proponen un mtodo alternativo que se describe a continuacin el cual puede ser implementado de forma ms eficiente que el propuesto en [11]. Las tcnicas propuestas en [11] y [12] se basan en gradientes espaciotemporales pues minimizan la ecuacin (2).
B. Mtodo de Lucas y Kanade Este mtodo asume que el flujo ptico es constante sobre una regin. Sea R una regin de la imagen y (u,v) su vector de flujo ptico asociado, entonces (2) se cumple para cada pxel de la regin, es decir

Organizando el conjunto de ecuaciones en forma matricial

(3)

donde la matriz A contiene las derivadas espaciales de la imagen, el vector d corresponde al vector de flujo ptico (u,v) y el vector b contiene las derivadas temporales de la imagen. Pre-multiplicando (3) por la transpuesta de A se tiene

donde el vector de flujo ptico es encontrado como

d = AT A

AT b

El clculo del flujo ptico implica la inversin de la matriz

XIV SIMPOSIO DE TRATAMIENTO DE SEALES, IMGENES Y VISIN ARTIFICIAL STSIVA 2009 por la cual la solucin existe si la matriz ATA es invertible y bien condicionada. Shi y Tomassi definen en [13] las propiedades que debe cumplir una regin para que el flujo ptico se estimado apropiadamente utilizando la tcnica de LK. Sean 1 y 2 los valores propios de la matriz ATA para cierta regin R de la imagen, entonces se debe cumplir que:

min(1 , 2 ) > min R + , lo cual garantiza que ATA es invertible y la regin no es ruidosa.

1 / 2 < , lo que garantiza que ATA est bien

condicionada y no se presenta bordes en una sola direccin
Figura 1. Puntos caractersticos seleccionados de acuerdo a [13].

Bajo estas 2 condiciones el flujo ptico puede ser apropiadamente estimado. Puede comprobarse que la solucin propuesta por LK corresponde tambin a solucin de la tcnica de comparacin de regiones definida como

La magnitud y direccin del flujo ptico es encontrada en funcin del desplazamiento horizontal y vertical de los puntos seleccionados. III. DETECCIN DE OBJETOS MOVILES En nuestro algoritmo de deteccin de objetos mviles se parte de las siguientes presunciones: un nmero mnimo de puntos de inters son ubicados sobre los objetos en movimiento, el contraste entre los objetos y el fondo permite percibir su desplazamiento, el desplazamiento entre puntos pertenecientes a un mismo objeto es similar y se cuenta con informacin a priori del objeto a detectar. Dado que la estimacin del flujo ptico permite determinar la nueva localizacin de los puntos de inters, los puntos pertenecientes a un objeto rgido en movimiento, deben presentar valores similares de velocidad (magnitud y direccin del vector de flujo ptico). As mismo la distancia euclidiana de puntos pertenecientes a un mismo objeto debe ser pequea y la distribucin de los puntos debe satisfacer las condiciones geomtricas definidas a priori. Utilizando est informacin se propone el algoritmo que se presenta en la Figura 2 y cuya descripcin se realiza a continuacin. La entrada del algoritmo es un video que cumple con las condiciones de contraste y de traslape de los objetos mviles, en nuestro caso vehculos. Se debe seleccionar la regin de inters sobre la cual se realizar la deteccin con el fin de evitar regiones de la imagen que no son de inters. El algoritmo selecciona un conjunto de puntos caractersticos y el flujo ptico es computado para cada uno de ellos. Los puntos cuyo desplazamiento (magnitud del flujo ptico) es inferior a un umbral son eliminados, pues son considerados ruido o movimientos despreciables. Los puntos resultantes son agrupados de acuerdo a su distancia en N conjuntos, utilizando un algoritmo de clustering con distancia de Mahalanobis. La matriz de covarianza de la distribucin se estima a partir de un conjunto de puntos sobre imgenes de vehculos segmentados manualmente para la configuracin del algoritmo. La orientacin de la distribucin puede ser ajustada para permitir cualquier direccin en el desplazamiento de los vehculos, en este caso la direccin de desplazamiento es estimada a partir del flujo ptico y la matriz de covarianza es rotada a la orientacin apropiada. Posteriormente, los valores de desplazamiento de cada conjunto son modelados como una distribucin normal y los

En la prctica existen ciertos factores que pueden inducir errores en la estimacin. Entre ellos se encuentran la variacin temporal de los niveles de gris sobre la regin, desplazamientos grandes de la regin entre las imgenes consecutivas e incoherencia de movimiento. El primero es independiente de la tcnica de LK pero los otros 2 factores pueden ser controlados seleccionando un tamao apropiado para la regin R. Una regin pequea en comparacin al tamao del objeto garantiza una consistencia en el movimiento de las intensidades de gris, sin embargo si el objeto se desplaza rpidamente, ste puede salir de la regin lo que produce un error en la estimacin del flujo ptico. Por tal motivo existe un compromiso en el tamao de la regin R, el cual puede ser manejado con una implementacin piramidal que estime secuencialmente el flujo en diferentes escalas. En [10] se presenta una implementacin piramidal de la tcnica de LK en la cual el flujo ptico es calculado recursivamente sobre versiones de diferentes escalas de las imgenes. En principio el flujo es estimado sobre imgenes en una escala baja para permitir grandes desplazamientos, posteriormente la escala se reduce para realizar una estimacin ms precisa y evitar inconsistencias de movimiento. El tamao de la regin se mantiene fijo sobre todas las escalas.
C. Algoritmo implementado Para obtener una implementacin eficiente se implement el mtodo de LK piramidal, el cual estima el flujo ptico por medio de pirmides gaussianas de una manera iterativa tratando de minimiza el error del flujo ptico. El flujo ptico es estimado slo sobre un conjunto de puntos de la escena, seleccionados de acuerdo a [13]. Este criterio de seleccin tiende a elegir regiones de la imagen que presenten esquinas y puntos aislados. En nuestro caso, los vehculos presentan estas propiedades, por lo que un buen nmero de puntos son seleccionados sobre los vehculos, ver Figura 1.

XIV SIMPOSIO DE TRATAMIENTO DE SEALES, IMGENES Y VISIN ARTIFICIAL STSIVA 2009 valores extremos (distanciados en ms de 4 desviaciones estndar de la media) son eliminados. Finalmente a cada conjunto le es ajustado un rectngulo que contiene la mayora de los puntos, cuyo centro es identificado como el centro del objeto.
Video

Seleccin de regin de inters Figura 3. Puntos caractersticos de objetos en movimiento de acuerdo a [10]. Seleccin de puntos caractersticos

Lucas y Kanade Piramidal

Agrupacin de puntos por distancia y desplazamiento Figura 4. Agrupacin de puntos y segmentacin de objetos de inters correspondientes a vehculos dentro de la escena. Ajuste de rectngulos y ubicacin de objetos

V. CONCLUSIONES Y TRABAJOS FUTUROS En este documento hemos presentado un algoritmo para la deteccin de objetos en movimiento en una escena. Este algoritmo obtuvo buenos resultados con videos tomados de forma vertical a la va. Los resultados mostraron que la implementacin de LK piramidal como herramienta para segmentar objetos en movimiento resulta eficiente en trminos de costo computacional. La aplicacin de [13] sobre una secuencia de imgenes con vehculos en movimiento selecciona un buen nmero de puntos sobre los vehculos proporcionando informacin til para su segmentacin. Como continuacin de nuestra investigacin, se pretende trabajar con diferentes ngulos de captura, para determinar de qu forma la posicin de la cmara afecta la deteccin de objetos. As mismo queremos evaluar el algoritmo con videos que presenten flujo de peatones, traslape entre los vehculos, y videos que contengan diferentes clases de objetos en una misma escena tales como peatones y vehculos. Este trabajo se puede utilizar como base para el desarrollo de algoritmos de seguimiento y conteo de objetos. Como solucin a los problemas de alto costo computacional de estrategias de seguimiento basadas en SIFT, proponemos la utilizacin de SURF para ejecutar el algoritmo de forma ms rpida.

Figura 2. Diagrama en bloques del algoritmo.

IV. RESULTADOS Para evaluar el algoritmo desarrollado, utilizamos videos tomados por el grupo de investigacin SIRP del Departamento de Ingeniera Electrnica de la Pontificia Universidad Javeriana. Estos videos fueron tomados en una locacin elevada en la parte exterior de un edificio, que limita con la va a ser estudiada. La cmara fue orientada de manera vertical tratando de minimizar los problemas de perspectiva de los vehculos [6]. En la Figura 1 se muestran los puntos caractersticos seleccionados de acuerdo al mtodo propuesto por Shi y Tomassi sobre una escena con 3 vehculos movindose en la misma direccin. La estimacin del flujo ptico sobre los puntos obtenidos en la Figura 1 al implementar el mtodo de LK piramidal se muestra en la Figura 3. Los puntos obtenidos son agrupados por distancia, velocidad e informacin a priori del objeto de inters, utilizando un algoritmo de clustering. Los puntos pertenecientes a los conjuntos son encerrados mediante un rectngulo como se muestra en la Figura 4, detectando los objetos mviles dentro de la escena.

XIV SIMPOSIO DE TRATAMIENTO DE SEALES, IMGENES Y VISIN ARTIFICIAL STSIVA 2009

REFERENCIAS
[1] Kim-Sung Jie, Ming Liu. (2005) Computer Vision Based Real-time Information acquicition for transport Trafic, Information Acquisition, 2005 IEEE International Conference on Volume, 27 paginas: 6 pp. [2] Caldern Francisco, Urrego Germn. Conteo Automtico de Vehculos. Trabajo de Grado. Departamento Ing. Electrnica, Pontificia Universidad Javeriana. Bogot 2008. [3] Nestor Romero y Carolina Garcia, Deteccin y Seguimiento de personas en un cruce peatonal. Trabajo de Grado. Departamento Ing. Electrnica, Pontificia Universidad Javeriana. Bogot 2009. [4] P. L. Rosin, Thresholding for Change Detection, Sixth International Conference on Computer Vision, 1998. [5] K. Kim, T. H. Chalidabhongse, D. Harwood, and L. Davis, "Real-time foregroundbackground segmentation," Real-Time Imaging 11, pp. 167-256, 2005. [6] G Chris Stauffer and W.E.L Grimson, Adaptive background mixture models for real-time tracking IEEE Computer Society Conference on. Volume 2, 23-25 June 1999. [7] Michail Krinidis, Nikos Nikolaidis, Ioannis Pitas, 2-D Feature-Point Selection and Tracking Using 3-D Physics-Based Deformable Surfaces Circuits and Systems for Video Technology, IEEE Transactions on Volume 17, Issue 7, July 2007 Page(s):876 888. [8] Adrian G. Bors and Ioannis Pitas. Prediction and Tracking of Moving Objects in Image Sequences. IEEE Transactions on image processing, vol. 9, no. 8, August 2000. [9] David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, Computer Science Department, University of British Columbia, Vancouver, B.C., Canad,lowe@cs.ubc.ca, January 5, 2004 [10] Jean-Yves Bouguet Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm Intel Corporation Microprocessor Research Labs. [11] B.K.P. Horn and B.G. Schunck, "Determining optical flow." Artificial Intelligence, vol 17, pp 185-203, 1981. [12] Bruce D. Lucas Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. From Proceedings of Imaging Understanding Workshop, pp. 121-130 (1981). H. Poor, An Introduction to Signal Detection and Estimation. New York: SpringerVerlag, 1985, ch. 4. [13] Jianbo Shi and Tomasi C. Good features to track. IEEE Computer Society Conference on 21-23 June 1994 Page(s):593 600. [14] Gary Bradski E Adrian Kaebler, Learning OpenCV: Computer Vision whit the OpenCV Library, OReilly, Software That Sees.