RECONHECIMENTO EM TEMPO REAL DE CARTAS DE BARALHO

UTILIZANDO PROCESSAMENTO DIGITAL DE IMAGENS E REDES NEURAIS

Felipe Adriano da Silva Gonalves, Gustavo Gomes Mendona, Igor Borges Tavares, Keiji Yamanaka,
Vincius Ramos de Faria
Faculdade de Engenharia Eltrica (FEELT)
Universidade Federal de Uberlndia (UFU)
Av. Joo Naves de vila, 2160 - Bloco 3N - Campus Santa Mnica CEP: 38400-902
Uberlndia, MG, Brasil
e-mail: igorborgest@gmail.com

Resumo Tendo como foco o reconhecimento em

tempo real de cartas de baralho, foi elaborado um
trabalho utilizando tecnologias recentes e tcnicas
avanadas de processamento digital de imagem e
inteligncia artificial que conseguiu alcanar com xito o
objetivo proposto.

Palavras-Chave Baralho, Processamento Digital de

Imagens, Inteligncia Artificial.

REAL TIME CARDS RECOGNITION

USING IMAGE PROCESSING AND NEURAL
NETWORKS
Abstract Centering on the real-time recognition of
cards, we designed a study using recent technologies and Figura 1:Ilustrao Black-Jack.
advanced techniques of digital image processing and
artificial intelligence that could successfully achieve our
objective.
1

Keywords Cards, Digital Image Processing, Artificial II. SOFTWARE DE TREINAMENTO DA REDE
Intelligence.
Existem inmeras estratgias que podem ser adotadas
I. INTRODUO para treinar uma rede neural, estas so aplicadas conforme as
caractersticas e complexidade do problema. Neste trabalho
Reconhecimento de cartas de baralho podem ser em particular a rede neural ser utilizada para
utilizados para identificar possveis trapaceiros em jogos tais reconhecimento de padres em imagens de cartas de baralho.
como Black-Jack e pquer minimizando assim o tempo gasto esperado ento que a rede apreenda e separe os pontos em
por casas de jogos na tentativa de identificar indivduos que um espao, de tal forma que seja possvel diferenci-los.
tentam burlar o sistema, pode tambm ser utilizado para Estes pontos correspondem aos naipes, nmeros e letras de
calcular a probabilidade de vitria de uma mo. cada carta, binarizados e transformados em vetores de
Este artigo envolve binarizao, identificao de arestas, zeros e uns como na Figura 2.
processamento de manchas e correspondncia com os
padres de entrada atravs do uso de redes neurais
multicamadas.
A estratgia proposta possui um foco no baralho utilizado
para teste, trazendo resultados satisfatrios em condies
adversas o que demonstra a robustez das redes neurais.
Entretanto, o algoritmo de reconhecimento pode ser
facilmente ampliado para reconhecer qualquer tipo de
baralho levando assim a um sistema de inspeo de padres
de cartas universal.

1
 Figura 2:Imagem binarizada
Para facilitar o treinamento da rede, para vez que esta
possa ser treinada vrias vezes com variados padres de
entrada e permitir fcil modificao de parmetros como taxa
de aprendizagem nmeros de camadas foi construdo um
programa baseado no treinamento backpropagation para
treinar as rede com os targets, que correspondem a converso
das imagens em vetores bitmap, como mostra a Figura 2.
Na primeira tela do programa utilizado para treinar a rede
neural (Figura 3) possvel adicionar as entradas que so os
targets, imagens no formato .bmp, e as sadas. As sadas
correspondem ao vetores que a rede dever vincular a cada
target de entrada, por exemplo para imagem A0.bmp ser
vinculado a sada [0 1], para imagem A1.bmp ser vinculado
a sada [0 1] e assim por diante. Neste programa possvel
treinar a rede com vrios padres da mesma letra, de forma
tornar a rede o mais generalista possvel, tornando-a capas de
reconhecer a letra A, por exemplo, estando deslocada, com
excesso de luminosidade ou algum borro.
Figura 3:Primeira tela do programa, definio dos targets.
Uma vez definido os targets e suas sadas necessrio
treinar a rede. Entretanto antes de treinar a rede possvel
ajustar os parmetros de treinamento como mostra a tela da
Figura 4.
Figura 4:Tela para definir a arquitetura da rede e os parmetros de
treinamento.
Aps definidos os parmetros de treinamento, nmero
mximo de iteraes, erro mnimo e a arquitetura da rede
neural o treinamento pode ser iniciado. O treinamento da
rede baseado no algoritmo backpropagation, onde o erro
retro propagado para cada camada escondida permitindo
assim treinar a rede at que se chegue em um erro mnimo
pr-estabelecido. No programa possvel acompanhar o
desempenho da rede e verificar como vai o andamento de seu
aprendizado a partir do grfico do erro (Figura 5), sendo
possvel parar o treinamento e comear outro caso os
parmetros configurados no estejam coerentes.
Figura 5:Grfico do erro produzido pela rede neural.
Terminado o treinamento possvel validar a rede,
colocando uma imagem bitmap em sua entrada e verificando
sua sada como pode ser visto na Figura 6. Caso a resposta
da rede esteja coerente e de acordo com as expectativa ela
pode ser serializada em um arquivo para ser desserializada e
utilizada em outro programa, que far o reconhecimento das
imagens.
 Figura 6: Teste da rede neural.
Figura 7:Salvando Rede para ser reutilizada.
III. SOFTWARE PARA RECONHECIMENTO DAS
IMAGENS
Para reconhecer cartas de baralho, foi utilizado uma
webcam e a ferramenta de programao .NET, o Microsoft
Visual Studio juntamente com o framework Aforge.NET para
reconhecimento digital de imagens. Foi utilizado uma classe
VideoCaptureDevice para reconhecer os frames da webcam e
dessa maneira, a cada dez frames a imagem da webcam
clonada como um bitmap, e atravs de uma classe feitos os
tratamentos para reconhecer as cartas do baralho.
O bitmap que passado para a classe, ento clonado
para preservar a imagem original. Com o bitmap clonado,
aplicado um filtro de escala de cinza e aps um utilizado de
um limiar (Threshold) para que a imagem fique binarizada
em preto e branco, conforme mostrada na Figura 8.
Figura 8:Imagem original, Com escala de Cinza e Binarizada.
Dessa maneira, utilizado a classe BlobCounter, para
pegar as manchas, ou seja objetos que tenham entre 150 e
350 pixels de largura para conseguir reconhecer cartas tanto
deitadas quanto em p. A partir do reconhecimento dessas
manchas, para cada uma reconhecido as arestas e a partir
dessas, encontrado os vrtices quadrilteros. A carta ento
rotacionada se estiver deitada, e depois normalizada para
ambos os casos.
Aps isso, reconhecido quais manchas so cartas,
avaliado se as cartas so famlia real, ou seja, cartas J, Q,
K atravs das manchas na prpria carta, avaliando se h
alguma grande no centro da carta, se houver a carta uma
famlia real, se no a carta numrica. Como o s de Espada
tem tambm uma mancha grande no centro da carta, as
cartas s foram separadas em ambos os conjuntos de carta.
Com as cartas e os conjuntos definidos, parte-se para o
reconhecimento de qual nmero ou letra a carta representa,
para isso so cortados dois bitmaps da carta original. A partir
do canto esquerdo do bitmap recorta-se dois retngulos, um
contendo a imagem da letra ou nmero e um para a imagem
do naipe. Novamente, a imagem binarizada em preto e
branco e, ainda retirado os espaos em branco ao redor do
nmero, letra ou naipe para que o que se quer comparar fique
preenchendo o bitmap. Com isso, feito o
redimensionamento para que as imagens dos naipes e
nmeros sejam do mesmo tamanho, ao treinado na Rede
Neural. Aps o redimensionamento, aplicado outro filtro
com limiar para garantir a binarizao, j que com o
redimensionamento os pixels podem voltar ficarem cinza,
conforme apresentado na Figura 9.
Figura 9:Etapas do processamento de imagens para o naipe de
Copas.

Com o bitmap de cada naipe, nmero ou letra de cada carta
mostrada na webcam, a verificao feita com a matriz de
pixel do bitmap, considerando pretos como 1, e brancos
como 0. Essa matriz ento comparada com a Rede
Neural retornando o valor da letra, do nmero ou da letra
encontrada. A carta encontrada ento adicionada a uma
coleo de cartas e passada tela de exibio da webcam.
Com o nome da carta, com os vrtices e arestas da mesma
possvel desenhar um polgono ao redor da carta e escrever o
nome no padro s de Espadas, conforme apresentado na
Figura 10.
http://users.isr.ist.utl.pt/~cjs/cadeiras/controlodata/Grup
o03.pdf>.Acesso em: 21 maio 2011.
[2] Eduardo Camponogara. Clculo Numrico para
controle e automao. Santa Catarina, Departamento de
Automao e Sistemas Universidade Federal de Santa
Catarina. Disponvel em:<
http://www.das.ufsc.br/~camponog/Disciplinas/DAS-
5103/Slides/l21-numint-simpson.pdf >.Acesso em: 25
maio 2011.
[3] Eduardo Camponogara. Clculo Numrico para
controle e automao. Santa Catarina, Departamento de
Automao e Sistemas Universidade Federal de Santa
Catarina. Disponvel em:<
http://www.das.ufsc.br/~camponog/Disciplinas/DAS-
5103/Slides/l21-numint-simpson.pdf>.Acesso em: 27
maio 2011.

[4] ALTUN, Nazmi. Playing Card Recognition Using

AForge.Net Framework. ndia: Nazmi Altun, 2011.

[5] FAUSSET, Laurene. Fundamentals of Neural

Networks: Architectures, Algorithms, and Aplications.
ndia: Pearson Education Do Brasil, 2006.

Figura 10:Programa em funcionamento.

IV. CONCLUSO

Conclui-se ento que, os mtodos e algoritmos utilizados

em combinao com as estratgias descritas no artigo
alcanaram com bastante xito o objetivo proposto,
conseguindo reconhecer todas as cartas do baralho francs,
com quase 100% de acerto, mesmo sobre condies de
iluminao descontnua e outros desafios na exposio das
cartas.
O trabalho desenvolvido ainda tem bastante margem para
continuaes em projetos futuros, para que possa ser
utilizado em aplicaes reais, como o reconhecimento de
cartas parcialmente sobrepostas por objetos ou at mesmo
por outras cartas que estejam na mo do jogador. Tambm
sugerido que haja continuidade do trabalho na rea de
probabilidade e estatstica que procede a parte de
reconhecimento das cartas.

AGRADECIMENTOS

Os autores agradecem aos seus familiares pela

compreenso nos momentos de ausncia pela realizao do
trabalho, assim como pelo apoio incondicional.
A concluso do projeto tambm no seria possvel sem a
colaborao, do professor Keiji Yamanaka.

REFERNCIAS BIBLIOGRFICAS

[1] Eduardo Morgad. Cap. 8 - Controlador P-I-D. Portugal,

Departamento de Engenharia Eletrotcnica e de
Computadores (DEEC). Disponvel em:<