1

CLASSIFICAO DE ELEMENTOS EM UM SISTEMA DE PRODUO UTILIZANDO PROCESSAMENTO DE IMAGEM

Luciano Alexandre Bratti Paitch (UTFPR) lpaitch@pg.cefetpr.br Joaquim de Mira Junior (UTFPR) demira@pg.cefetpr.br Tonia Mansani (CESCAGE) tonia@cescage.com.br RESUMO Este artigo apresenta um sistema capaz de reconhecer e classificar elementos dentro de um ambiente de manufatura integrada por computador. Procurando promover a integrao entre os sub-sistemas pertencentes a um Sistema Flexvel de Manufatura, este processo determina a que sub-sistema pertence o elemento transportado pelo pallet da linha de produo. Assim, o processo de reconhecimento englobou desde a aquisio da imagem a ser processada at o processamento de imagem propriamente dito. Uma vez determinado o tipo de elemento, o processo de classificao realizado pelo controle de um manipulador robtico que transporta o elemento at o sub-sistema a que pertence. Palavras chave: processamento de imagem, manipuladores robticos, sistemas flexveis de manufatura. 1. Introduo A rea de Processamento de Imagens vem sendo objeto de crescente interesse por permitir viabilizar grande nmero de aplicaes em duas categorias bem distintas: aprimoramento de informaes pictricas para interpretao humana; e a anlise automtica por computador de informaes extradas de uma cena. Para a segunda categoria que se definem termos como anlise de imagens, ou ainda, viso computacional. Os sistemas de viso fornecem uma imagem de relativa preciso, capaz de ser analisada e interpretada pelo dispositivo controlador, visando a obteno de uma informao visual mais especfica da planta ou objeto monitorado. A implementao de um sistema de viso, num contexto industrial, exige o cumprimento de uma srie de condies bsicas para seu correto funcionamento e adequada utilizao. Uma destas condies refere-se ao posicionamento da cmera, com objetivo de obter um campo de viso de tamanho e orientao adequados; campos de viso maiores do que o necessrio diminuem a resoluo do

II Encontro de Engenharia e Tecnologia dos Campos Gerais

objeto e, campos pequenos implicam no risco do objeto no se enquadrar na sua totalidade dentro destes, Outra condio a ser observada consiste em operar em ambientes sem demasiada interferncia visual, como poeira ou objetos que possam eventualmente entrar no campo de viso da cmera de maneira no desejada. Na Figura 1.1 pode ser observada a interferncia visual causada pela trajetria do manipulador robtico no campo de viso da cmera acoplada a Planta.
Figura 1.1. Interferncia visual do manipulador robtico

Fonte: do autor.

Uma das aplicaes dos sistemas de viso a identificao de peas e elementos, que se refere ao reconhecimento de parmetros. Estes parmetros podem reportar dados tais como rea da pea, permetro, quantidade de furos, ou ainda, posio e orientao da pea dentro da imagem. Para este trabalho foram considerados por mtodos de anlise relacional os valores de posio, orientao e cor de parmetros pr-definidos. Pela prpria configurao da Planta CIM (Manufatura Integrada por Computador) utilizada, do Laboratrio de Automao de Manufatura (LAUT), foram aplicados atravs da identificao e classificao dos elementos: seleo de peas, paletizao e despaletizao e a manipulao de peas posicionadas e orientadas. 2. SISTEMA DE RECONHECIMENTO E CLASSIFICAO O sistema de identificao e classificao apresenta dois algoritmos referentes a cada uma destas partes, sendo um para o processamento de imagem e outro para o sistema de controle de classificao, que responsvel pelo controle do manipulador. Estes posteriormente referenciados como SPI e SCT, respectivamente. O sistema de processamento de imagem (SPI), apresenta como principais etapas: aquisio da imagem, extrao de parmetros, comparao com banco de dados, anlise por lgica condicional, e identificao e reconhecimento do elemento. Existem ainda, dois recursos desenvolvidos para controle e acompanhamento do sistema: histograma de fluxo de elementos e histrico do sistema. J para o sistema de controle do manipulador, em funo do software de interface com o dispositivo de controle (driver) do brao robtico utilizado, foram desenvolvidos algoritmos especficos de posio e orientao das articulaes para cada elemento que circula pela linha de produo.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

2.1 Sistema de processamento de imagens (SPI) Este algoritmo desenvolvido apresenta as seguintes funes aqui definidas como etapas para a identificao e classificao. 2.2.1. Aquisio da Imagem a ser processada A aquisio da imagem foi realizada atravs da captura de uma imagem do elemento a ser identificado. Para tanto, foi utilizada uma cmera (webcam) conectada ao computador por uma porta padro USB (Universal Serial Bus), e as imagens capturadas so armazenadas no computador. Abaixo a Figura 2.1, mostra a cmera posicionada na planta.
Figura 2.1. Cmera posicionada para captura de imagens

Fonte: do autor.

Definiu-se como padro para as imagens adquiridas as seguintes caractersticas: - Imagem no formato JPEG, com extenso .jpg. - Resoluo: 640x480 pixels, sendo esta a mxima resoluo permitida pela cmera. - Definio de Cor: TrueColor, isto , padro de cor RGB com 24 bits de cores. Para a captura da imagem foi utilizado o software do fabricante da cmera que disponibiliza a funo de monitorao de movimento e captura. Assim quando o pallet chega a estao definida como o local onde ocorrer a aquisio da imagem, o prprio movimento do pallet aciona a captura automtica da imagem. Enquanto o SPI realiza uma varredura do local onde ser armazenada temporariamente a foto. A tela principal do Sistema de Classificao de Manufatura (SCM) apresenta os padres da imagem adquirida, como pode ser visualizada na figura 2.2.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

Figura 2.2. Tela principal do SCM, no detalhe os padres requeridos.

Fonte: do autor.

Uma vez que o SPI, na etapa de aquisio, reconhece e verifica os padres da imagem, estar validada a transio para a prxima etapa abaixo descrita. A figura 2.3 apresenta imagens adquiridas e validadas.

Figura 2.3. Imagem padro adquirida que ser processada.

Fonte: do autor.

Foram utilizadas 580 imagens para teste, imagens estas capturadas em diferentes horrios e para diferentes condies de luminosidade. Porm sem variaes bruscas por ser em ambiente fechado. Porm este projeto foi desenvolvido para ser utilizado sobre os mais variados ambientes de aplicao. Pois no necessrio definir um plano de fundo, ou ainda, ambiente especifico para a aquisio de imagens, como por exemplo, a cobertura da rea de aquisio ou iluminao especial.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

2.2.2. Extrao de parmetros Nesta etapa so extrados os parmetros que permitem a comparao com o banco de dados, ou ainda no processo de lgica condicional. Uma vez adquirida a imagem e validada, nesta etapa so utilizadas tcnicas de anlise relacional que permitem a extrao das caractersticas pertinentes ao elemento a ser identificado. Para este caso, os parmetros extrados referem-se aos valores das componentes RGB em trs pontos. Estes pontos so determinados previamente em funo de apresentarem caractersticas especficas e que j possibilitam a determinao da identidade do elemento. Isto , so definidas regies de interesse na imagem e dessas regies so extrados valores de pontos especficos e significativos. Estes valores de componentes sero repassados s prximas etapas responsveis pela identificao do elemento a ser classificado, no formato de uma matriz de valores que correspondem a valores determinados por uma associao pertinente de informaes. 2.2.3. Comparao com banco de dados Os parmetros extrados repassados a esta etapa no formato de uma matriz de valores so comparados com as informaes disponveis num banco de dados. Este banco de dados contm as informaes individuais dos elementos que circulam pela linha de produo e que devero ser reconhecidos. Portanto, para cada elemento so armazenados os valores da matriz de parmetros, bem como informaes referentes s caractersticas estruturais como medidas de dimetro, material de composio, entre outras. Sendo estas informaes repassadas a etapa de identificao e classificao. Em caso negativo de comparao com os valores do banco de dados passa-se a etapa referente anlise por lgica condicional. A figura 2.4. apresenta a tela do SPI com um valor positivo de reconhecimento por comparao com o banco de dados.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

Figura 2.4. Tela principal do SCM, sinalizao de identificao atravs de comparao com banco de dados.

Fonte: do autor.

Da totalizao das imagens utilizadas para testes: 40% (232 imagens) foram reconhecidas por comparao com o banco de dados. Representando assim um valor significativo, porm o diferencial do projeto e que garante o correto funcionamento do sistema est relacionado a prxima etapa. 2.2.4. Anlise por lgica condicional Esta anlise forada da informao foi definida como lgica condicional, pois define o resultado em funo dos valores de parmetros condicionados. Assim, cada valor da matriz de parmetros ir passar por comparaes lgicas que associados e classificados definiro por aproximao a um elemento integrante da planta. Isto , os valores sero testados dentro de lgicas condicionais, porm com um valor de limiarizao que permitir uma maior flexibilidade do sistema condicional. Numericamente o sistema condicional ficou responsvel por reconhecer 60% (348 fotos) das imagens adquiridas e que no foram reconhecidas pela etapa de comparao com o banco de dados. Convm ressaltar que com a indexao deste valor de limiar ao algoritmo, a porcentagem de identificaes corretas aumentou de 65% para 94%, para testes contnuos de

II Encontro de Engenharia e Tecnologia dos Campos Gerais

resposta, testes estes realizados com os diferentes elementos testados alternadamente, definindo assim o diferencial do sistema de identificao. Uma vez reconhecido o elemento a etapa de identificao e classificao receber um valor de referncia que ser associado a um dos elementos do banco de dados. A figura 2.5. apresenta a tela do SPI que indica a identificao por lgica condicional (RNF).
Figura 2.5. Anlise por lgica condicional, indicao RNF

Fonte: do autor.

2.2.5. Identificao e Classificao A identificao e classificao so definidas pela associao do valor de referncia obtido em uma das etapas anteriores a um valor que corresponde a um elemento no banco de dados. Assim que ocorre a correta identificao apresentado na tela de superviso do sistema as caractersticas do elemento classificado, bem como, ser visualmente sinalizado a que sub-sistema da planta o elemento pertence, sendo realizado o transporte deste com a utilizao do elemento manipulador, como pode ser observado na figura 2.6..

II Encontro de Engenharia e Tecnologia dos Campos Gerais

Figura 2.6. Identificado o elemento, sinaliza-se a que sub-sistema pertence. Fonte: do autor.

Portanto, conforme o valor de referncia definido tambm o cdigo-fonte a ser carregado para o driver de controle do brao robtico. Esta interface entre os dois sistemas permite que enquanto o SCT desloque um elemento entre os sub-sistemas, o SPI j esteja realizando a aquisio de uma nova imagem a ser processada. Uma vez finalizada esta etapa, a imagem ser excluda, pois no h necessidade de armazenamento da mesma, o que possibilita a utilizao do software em sistemas que no tenham disponveis grandes espaos de memria. 2.3. Histograma de fluxo do processo O histograma de fluxo do processo foi idealizado para que se possa ter um acompanhamento do sistema no decorrer do tempo, apresentando as quantidades de elementos que j foram identificados e classificados. Assim podem ser realizados estudos que venham a melhorar a performance do sistema gerando um quadro de importncia e repetibilidade que pode agilizar o processo de comparao com o banco de dados, por exemplo.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

Figura 2.7. Tela de apresentao do Histograma de Fluxo do Sistema Fonte: do autor.

2.4. Histrico do Sistema de Classificao Este recurso gera um controle de entrada e sada de material na planta em funo da classificao dos elementos, podendo assim, por exemplo, agilizar pedidos de matria prima, bem como ser utilizado em sistemas integrados, permitindo um controle exato do que j foi produzido, do que matria prima ou esta em produo.

Figura 2.8. Documento com o Histrico, gerado para controle do Sistema. Fonte: do autor.

3. RESULTADOS Os resultados obtidos com os testes realizados para o sistema de identificao e classificao podem ser analisados a seguir. 3.1. Condies dos testes Os testes aplicados foram realizados em diferentes horrios e condies de iluminao, tanto com iluminao natural do local, isto , durante o dia ou sob iluminao artificial com as lmpadas da prpria instalao do Laboratrio. Foram, portanto, dispensadas tcnicas

II Encontro de Engenharia e Tecnologia dos Campos Gerais

10

especficas de iluminao ou ainda a utilizao de anteparos para a aquisio das imagens. Isto j evidencia a perfeita aplicao deste sistema nos mais variados ambientes, conforme o objetivo pretendido. Porm, podem ser utilizadas tais tcnicas caso a aplicao necessite, sem a necessidade de modificaes significativas no sistema. 3.2. Testes durante o desenvolvimento Por tratar-se de um sistema desenvolvido para ser dinmico e com padro de resposta significativo, os testes realizados durante o desenvolvimento no foram considerados, pois a medida em que as modificaes eram realizadas, testes aleatrios eram executados com elementos variados. O valor de 580 imagens utilizadas para teste, refere-se ao valor para os testes realizados depois de concludo o sistema. A seguir sero apresentados os resultados de testes realizados antes das modificaes na anlise por lgica condicional. 3.3. Testes finais Estes testes foram aplicados quando o software j estava concludo, assim, tm-se os valores que definem a tima resposta do sistema, tanto em relao processamento de imagem quanto ao processo de controle do manipulador. Os elementos foram inseridos de forma contnua, sem grandes intervalos de tempo e aleatria para comprovar o dinamismo do sistema. O sistema foi forado ao erro, para que apresentasse os possveis erros se aplicado em ambientes severos, em que necessitasse de alto desempenho, tanto para a correta identificao como em relao ao tempo de processamento. 3.3.1. Anlise dos resultados para o SPI O percentual de acerto alcanado ao final dos testes para a identificao e classificao das 580 imagens foi de 94,48%. No entanto, das 548 imagens corretamente identificadas, 40,32% (221 imagens) foram reconhecidas utilizando a comparao com o banco de dados pr-determinado, e os outros 59,68% (327 imagens) identificadas atravs da anlise por lgica condicional. Como mostram os grficos abaixo.
TESTES FINAIS

TESTES SPI

600 500 400 300 200 100 0

60 40 20 0 BND ALC
BND
ALC

Figura 3.0. Grficos dos resultados obtidos. Sendo ALC, anlise por lgica condicional e BND, comparao com o banco de dados.
Fonte: do autor.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

11

Atravs da anlise dos resultados obtidos, pode-se afirmar que o sistema alcanou os objetivos desejados. Convm, porm ressaltar que o percentual de 4% de erro, nmero que corresponde a 32 imagens capturadas, foi obtido no mximo esforo do sistema, isto , sob pssimas condies de iluminao ou ainda sob condies limitantes da cmera, quanto calibrao da mesma. A resposta alcanada para o tempo de processamento foi otimizada com a incluso da limiarizao na anlise por lgica condicional, caindo de 0,45s para 0,08s, tempo este calculado entre a aquisio da imagem pelo software e a correta classificao. Foram ainda realizados testes em que no se utilizou a etapa de comparao com o banco de dados, cerca de 50 fotos foram adquiridas e somente reconhecidas atravs da lgica de anlise condicional. Para este teste a resposta ficou prxima de 98% de identificaes corretas. Com isto, para uma falha do sistema de banco de dados, ainda assim a etapa de anlise condicional garante a adequada funcionalidade do sistema como um todo. 3.3.2. Anlise dos resultados para o SCT O sistema de controle de transporte desenvolvido para o controle do manipulador robtico apresentou tima resposta em relao ao tempo de deslocamento dos elementos, bem como, em relao s caractersticas relacionadas aos movimentos de manipuladores como preciso, repetibilidade e dinmica. A primeira delas pode ser definida como a capacidade do manipulador de atingir um ponto especificado, seja qual for o sistema de coordenadas utilizado. A repetibilidade a capacidade do manipulador de retornar seguidamente a um ponto determinado do espao de trabalho. E por fim, a dinmica de um sistema a relao entre as foras ou torques que movimentam cada junta, com as trajetrias, velocidades e aceleraes desenvolvidas. Como o sistema SCT est associado classificao dos elementos, para as 580 imagens capturadas e utilizadas nos testes, foram por conseqncia executadas 580 seqncias de movimentos do manipulador, sem apresentar para tais, nenhuma alterao na posio e nem na orientao que gerassem erro de preciso. Assim, o tempo de deslocamento dos elementos pelo manipulador ir variar em funo da trajetria projetada, variando assim somente em relao distncia a ser percorrida pelo efetuador, no caso a garra do manipulador, pois a velocidade e acelerao sero sempre as mesmas. 4. CONCLUSO Foi de fato desenvolvido um sistema autnomo capaz de realizar a identificao e classificao dos elementos que circulam pela planta de manufatura. Os resultados dos testes foram satisfatrios tanto para o SPI, quanto para o SPC. Considerando-se ainda, que os erros se deram em condies extremas, para um perfeito funcionamento do sistema, se forem mantidas condies adequadas, este apresentar tima resposta no decorrer do tempo. Portanto, a anlise pela lgica condicional desenvolvida aparece como o diferencial deste trabalho, pois apresentou timo resultado tanto em relao ao tempo de processamento quanto ao nmero de identificaes realizadas. A forma como foi elaborado o sistema de controle de transporte permite que futuramente, se necessrio, sejam facilmente substitudos os algoritmos de interface com o driver do manipulador. Com isto, este sistema se torna flexvel o suficiente para poder

II Encontro de Engenharia e Tecnologia dos Campos Gerais

12

trabalhar com outros modelos de manipuladores ou atuadores em qualquer planta de manufatura a que se aplique um sistema de identificao e classificao. Quanto ao desempenho do sistema, o mesmo pode ser melhorado com a utilizao de cmeras especificas pra automao industrial, que possibilitam a realizao do prprocessamento e reduo de informao em sistemas embutidos no prprio dispositivo de aquisio. Porm, o custo significativamente maior quando comparado ao de uma cmera como a que foi utilizada. O nmero de linhas de produo que trabalham com plantas de manufatura integrada por computador vem se expandindo no pas nestas ltimas dcadas. Assumindo que o mercado interno est ainda defasado em relao a evoluo tecnolgica, solues aqui empregadas geralmente vm de integradores internacionais que limitam e controlam o mercado. Isto dificulta o surgimento e crescimento de empresas nacionais de desenvolvimento de solues e sistemas. Porm solues como esta aqui apresentada, com baixo custo e alto desempenho, vm atraindo o mercado para as empresas nacionais, tanto pela criatividade na soluo de problemas encontrados nestas linhas como pelo fcil acesso a manuteno destes sistemas. Com isto, abre-se o leque de oportunidades, isto , de aplicaes reais para o sistema desenvolvido. 5. POSIBILIDADES DE MELHORIAS Embora se tenha conseguido valores significativos nos resultados dos teste do sistema, ainda podem ser realizadas modificaes na etapa de aquisio das imagens, utilizando dispositivos com melhor resoluo de imagem ou mesmo que j possuam o prprocessamento embutido, passando ao sistema uma imagem que ter suas informaes melhor interpretadas. A velocidade de processamento pode ser melhorada, se desenvolvido um algoritmo de importncia e repetibilidade de imagens de entradas, no caso da comparao com o banco de dados. Esta velocidade pode ainda ser aumentada se para a etapa de anlise por lgica condicional, forem utilizados algoritmos de redes neurais com alto poder de aprendizado. A etapa de anlise por lgica condicional para a verso atual foi modificada e transformada num sistema de malha fechada. Com isso, o valor de limiarizao agora calculado atravs da ponderao do valor de repetibilidade de imagens. Com estas melhorias, o sistema estar trabalhando muito prximo do melhor possvel, permitindo um melhor desempenho e gerando ainda a possibilidade de aplicaes que vo alm da identificao e classificao de elementos, como em sistemas de qualidade e de inspeo visual. Desta forma o sistema tornar-se- completo para determinadas aplicaes, pois o mesmo programa ser capaz de: identificar e classificar o elemento, realizar a inspeo visual da matria-prima a procura de defeitos, controlar o transporte dos elementos com o manipulador e ainda, realizar a verificao de qualidade da manufatura produzida.

II Encontro de Engenharia e Tecnologia dos Campos Gerais

13

8. REFERNCIAS BIBLIOGRFICAS PAZOS, F., Automao de Sistemas e Robtica, Axel Books do Brasil Editora Ltda, 2002. MARQUES F., O.; VIEIRA N. H., Processamento Digital de Imagens, Brasport, 1999. GONZALEZ R. C.; WOODS R. E., Digital Image Processing, Addison-Wesley Publishing Company, 1993. ESQUEF, I. A.; ALBUQUERQUE, M. P.; ALBUQUERQUE, M. P. Processamento Digital de Imagens. Rio de Janeiro. 12 f. Centro Brasileiro de Pesquisas Fsicas. Cap3webfinal. Disponvel em: <http://www.cbpf.br/cat/pdsi/ tutoriais.html>, acesso em: 21/09/2004. FIORANTE, G. R. C., Aplicaes em Viso Robtica Estreo com Sensores de Imagem. So Paulo. Universidade de So Paulo. Disponvel em: <http:// sim.lme.usp.br/linhas/iinteligente/pimagem/sistaquisicao/aplicarobotica.pdf>, acesso em: 20/11/2004 ASFAHL, C. R., Robots and Manufacturing Automation. John Wiley & Sons, Inc. Arkansas, USA, 2 ed. 1992

II Encontro de Engenharia e Tecnologia dos Campos Gerais