Manuscrit auteur, publi dans " (2006)"

Mthode hybride de sparation Avant/arrire-plan pour la restauration des manuscrits arabes anciens couleur
Wafa Boussellaa 1 Abderrazak Zahour 2 Bruno Taconet 2 Abdellatif Benabdelhafid 2 Adel Alimi1
REsearch Group on Intelligent Machines (REGIM) University de Sfax, ENIS, DGE, BP. W-3038 - Sfax Tunisia Universit du Havre, IUT du Havre, Place Robert Schuman, F-76 610 Le Havre Wafa.boussellaa@gmail.com, adel.alimi@ieee.org {abderrazak.zahour, bruno.taconet,benabdelhadid} @benuniv-lehavre.fr Rsum : Cet article prsente un systme de segmentation hybride dimages de documents couleur de type manuscrits arabes anciens. La mthode consiste coupler un algorithme de normalisation de lintensit lumineuse de larrire-plan de limage du document avec un algorithme de classification par K- moyennes pour la sparation Avant-plan/Arrire-plan. La mthode de normalisation permet une premire sparation entre le fond et lavant-plan ; seul ce dernier est exploit pour les traitements ultrieurs. Cette technique de sparation agit sur la luminance et altre le contraste. Ces dformations sont rectifies par une correction gamma suivi dun rehaussement du contraste. L'image davant-plan ainsi traite est nouveau segmente en deux classes (avant-plan/arrire-plan) par l'algorithme de maximum de vraisemblance ayant comme extracteur de paramtres lalgorithme des kmoyennes. Larrire-plan subit un lissage puis est combin par superposition avec lavant pour obtenir limage restaure du document. Notre mthode a t teste sur un chantillon de 100 images de documents extrait dune base de 2000 manuscrits arabes anciens de la Bibliothque Nationale Tunisienne. Elle a montr de bons rsultats sur des images altres par un effet de transparence (lcriture du verso transparat en filigrane au recto), par des tches localises et par un fond de couleur irrgulire. Mots-cls : Segmentation, restauration, normalisation de lintensit lumineuse, k-moyennes, maximum de vraisemblance, avant/arrire-plan, image de document manuscrit ancien couleur. mais il est confront de nombreuses difficults dues au mauvais tat de conservation de ces manuscrits et la complexit de leur contenu. En effet, les documents anciens possdent de nombreuses particularits qui invalident les algorithmes de segmentation couleurs classiques. La figure 1 illustre les dtriorations les plus communes que lon trouve dans les images de documents arabes anciens telles que leffet de transparence (Figure 1.a), la prsence de taches dhumidit absorb par le papier (Figure 1.b), les variations de la couleur du papier, la prsence de plis et de dchirures, et les dformations dues la courbure naturelle des pages.
2 1

hal-00118735, version 1 - 6 Dec 2006

(b) (a) FIG. 1 - Images de documents manuscrits arabes anciens : (a) Effet de transparence et fond irrgulier, (b) Effet de transparence et prsence de taches. Plusieurs mthodes de sparation texte/fond ont t proposes dans la littrature : ces mthodes visent extraire du texte partir des images de documents arrire-plan bruit et irrgulier. Trois mthodes de seuillages globales pour la sparation texte/fond, la technique de seuillage dOtsu [OTS 79], les techniques dentropie propose par Kapur et al [KAP 85], et la technique derreur minimale prsente par Kittler et Illingworth [KIT 86], sont analyses et compares dans [LEE 02, LEE 03]. Une autre mthode base sur lentropie et destine la segmentation des documents historiques [MEL 00] traite le bruit inhrent au papier dans le cas des documents crits en recto verso. Tan et al [TAN 02] ont prsent une mthode de sparation du texte partir dun fond bruit avec effet de transparence.

1 Introduction
Les ouvrages anciens conservs dans la bibliothque nationale de la Tunisie forme une bonne partie de son patrimoine culturel et scientifique. Ces manuscrits encourent une dgradation progressive et sont menacs d'un rel danger de disparition. Le traitement automatique de ces documents en vue de leur restauration/exploitation offre un avantage certain,

Cette technique est base sur lutilisation des ondelettes directionnelles. Une autre mthode pour le rehaussement de limage de document historique est propose dans [MEL 02] et vise amliorer la lisibilit du document. Les travaux dcrits dans [BOT 98, LEY 04, GAR 06] sont ddis la sparation avant et arrire-plan dans les images de documents couleur. DjVu [BOT 98] a utilis une mthode de segmentation qui sert la compression des images de documents. Cette approche est base sur une classification multi chelle bicouleur qui examine les groupes de pixels haute rsolution. Cette technique est efficace pour des documents en niveaux de gris et en couleur mais elle est inoprante sur des documents faible contraste. Leydier et al [LEY 04] ont ralis un systme de segmentation adaptatif base sur une srialisation de lalgorithme des k-moyennes applique squentiellement sur limage dans une fentre glissante. Lors du dplacement de la fentre, lalgorithme rutilise des informations provenant des nues calcules dans la fentre prcdente et les ajuste automatiquement pour adapter le classificateur toute variation locale des couleurs. Les caractristiques utilises sont les canaux RVB et TSL. Garain et al [GAR 05] ont propos une mthode adaptative pour la sparation avant/arrire-plan des images de documents couleur faible contraste. Cette technique utilise l'tiquetage des composantes connexes pour dterminer les composantes couleur similaire. Les composantes dominantes reprsentant le fond permettent de dtecter les composantes de lavant-plan. Cette mthode a fourni de trs bons rsultats par rapport celle du systme DjVu [BOT 98]. Shi et al [SHI 04, SHI 05] ont propos un algorithme de segmentation de documents historiques couleur arrire-plan irrgulier. Cette mthode est base sur la normalisation de lintensit lumineuse de larrire-plan. Lalgorithme commence par une approximation de larrire-plan suivi dune normalisation de lavant-plan (par translation et par tirement). Cette mthode a montr des rsultats significatifs sur des manuscrits crits sur des feuilles de palmiers faible contraste et a permis de rsoudre le problme de lirrgularit de larrire-plan. Cet article prsente une nouvelle mthode pour la sparation Avant/Arrire-plan pour les images de documents manuscrits arabes anciens couleur. Elle combine deux techniques de segmentation : la sparation avant/arrire-plan par la normalisation de lintensit lumineuse de larrire-plan et lamlioration de lavantplan obtenu par lalgorithme des k-moyennes aprs une correction gamma et une normalisation de lhistogramme de limage de lavant-plan. La suite de larticle dcrit la mthode propose et les rsultats exprimentaux.

tapes : extraction de lavant-plan, correction du contraste, segmentation avant/arrire-plan, reconstruction avec lissage de limage de document. La mthode de sparation dveloppe opre partir de l'algorithme de normalisation de lintensit lumineuse des images de manuscrits historiques crits sur des feuilles de palmiers et propose par Shi et al [SHI 04, SHI 05]. Nous avons amlior cette technique par lexploitation de lalgorithme de normalisation dhistogramme utilis pour la restauration des images monochromes et que nous avons adapt au contexte de la couleur. Cette technique de sparation agit sur la luminance et altre le contraste. Nous avons rectifi ces dformations par une correction gamma suivi dun rehaussement de contraste. Une technique de classification par lalgorithme des k-moyennes affins par la mthode du maximum de vraisemblance est applique par la suite sur lavant-plan obtenu pour la restauration du manuscrit. Le schma prsent ci-dessous dcrit larchitecture gnrale de notre systme.

hal-00118735, version 1 - 6 Dec 2006

FIG. 2 - Architecture du systme de segmentation/restauration propose Les tapes ci-dessous seront dveloppes dans les sections suivantes : Lutilisation dun processus itratif de normalisation de lintensit lumineuse de larrire-plan pour une premire sparation Arrire/Avant-plan ; Rectification des dformations visuelles de lavant plan obtenue par une correction du contraste en utilisant la technique de correction gamma et la normalisation de lhistogramme ; Lapplication de lalgorithme de classification des kmoyennes comme estimateur de paramtres pour la mthode de maximum de vraisemblance. Cet algorithme permet une sparation complte entre les pixels de lavant-plan et ceux correspondants larrire-plan ; Reconstruction des espaces de couleur et restauration de limage du manuscrit ;

2 Mthodologie propose
La mthode propose dans cet article permet d'amliorer la qualit des images de documents arabes anciens qui prsentent des irrgularits dues leur mode artisanal de fabrication ainsi qu leffet de vieillissement et de dgradation. Elle procde en quatre

2.1. Base dimages de documents

A fin de tester et valuer notre mthode, nous avons prpar une base dimages de documents arabes anciens de 2000 images de diffrents types imprims et manuscrits. Ils ont t numriss laide dun scanner professionnel et dun appareil photo numrique haute rsolution. La rsolution utilise est 300 dpi. Ces images sont stockes en vraie couleur sur 24 bits sous le format TIF non compress et JPEG. 2.1.1. Choix de lespace de couleur Nous avons choisi lespace couleur YIQ, qui a t adopt en premier par le NTSC (National Television System Commitee) pour assurer une diffusion efficace pour les tlviseurs couleur en garantissant en mme temps la compatibilit avec les tlviseurs noir et blanc. Ce systme de couleurs est dfini par la transformation linaire de lespace RVB : Y = 0.2992 R + 0.5868 V + 0.1140 B I = 0.5960 R 0.2742 V 0.3219 B Q = 0.2109 R 0.5229 V + 0.3120 B La composante Y capture lintensit lumineuse ; I et Q correspond la chrominance. Dans cet espace de reprsentation la composante Y est favorise par rapport I et Q. Le choix de cet espace de couleurs se justifie par le fait que le systme visuel humain est plus sensible au changement de lintensit lumineuse. De plus, la variation de lintensit lumineuse provoqu par larrireplan irrgulier dans les images de documents historiques est capture, dans sa plus grande partie, sur la composante Y. En comparaison avec lespace de couleur TSL, la teinte est peu sensible la variation de la luminance et permet la sparation des objets de diffrentes couleurs. Un exemple de dcomposition de limage RVB et sa transformation aux espaces de couleurs YIQ, HSV est montr dans la figure 4.

larrire-plan approxim et de la matrice de luminance de limage brute. La figure suivante montre le processus de normalisation :

hal-00118735, version 1 - 6 Dec 2006

FIG. 3 - Processus de normalisation de lintensit lumineuse de larrire-plan. 2.2.1. Approximation de larrire-plan

(a) (b) (c) (d) FIG. 4 - Espace de reprsentation couleur : (a) Image originale, (b) Espace RVB, (c) Espace TSL, (d) Espace YIQ

Cet algorithme commence par la binarisation de la composante Y par la mthode dOtsu [3]. Cette technique calcule un seuil global de sparation texte/fond bas sur la minimisation de la variance intraclasse des pixels de limage. Lalgorithme dapproximation de larrire-plan prsent ci-dessous montre les dtails des tapes dcrites comme suit : Calcul du profile de projection horizontale H de limage binaire ; Calcul de la moyenne M du profile H (tape1) ; Balayage horizontale de limage Yoriginal, ligne par ligne et approximation de larrire-plan YArr (tape 2) ; Estimation rcursive du niveau de gris final pour chaque pixel de limage YArr (tape 3) ; Algorithme dapproximation de larrire-plan Sortie : YArr (x, y) : Arrire-plan estim ; Entre : Y(x,y) : Limage Y de dimensions Xmax Ymax ; H : Lhistogramme de projection de limage binaire calcul sur limage Y. Initialisations : mfois : Le nombre de rptitions de lapproximation de larrire-plan par fentre glissante ; Initialise 20. Matrice de sortie initialise 0. 1. M = Moyenne (H) 2. Pour i=0 Xmax faire Si H(i) < M Arrcourant = Y(i) Arrprecedent = Arrcourant Si non Arrcourant = Arrprecedent Fin si YArr = YArr + Arrcourant Fin Pour 3. compteur = 0 Tantque (compteur < mfois)

2.2. Normalisation de lintensit lumineuse de limage de document

La mthode de normalisation de lintensit lumineuse est destine aux images de documents arrire-plan irrgulier. Le choix de lespace de couleur a donc son importance. Cette mthode ncessite une importante tape pralable: lapproximation de larrire-plan. La normalisation de lavant-plan est tablie partir de

- Balayage YArr (x,y) par une fentre glissante. - chaque pixel est mis jour par la moyenne de son nn voisinages. compteur = compteur + 1 Fin Tantque 4. Fin Daprs nos exprimentations, et dans le cas des manuscrits anciens, nous proposons les valeurs suivantes qui donnent de bons rsultats : Taille de la fentre = 3 3, mfois = 20. La figure 5 illustre les rsultats obtenus sur un manuscrit ancien extrait de notre base.

irrgulier et faible contraste. Daprs nos exprimentations, plusieurs itrations du processus de normalisation sont ncessaires ; 3 itrations donnent des rsultats satisfaisants. Lavant-plan obtenu Ynouveau constitue limage originale pour les traitements ultrieurs.

2.3. Les transformations de lhistogramme

2.3.1. La correction Gamma Cheng et al et Trmeau et al [CHE 01, TRE 04] ont men une tude sur les espaces de couleur qui montre que le traitement des images dans lespace YIQ ncessite lapplication dune correction gamma. Nous calculons le coefficient gamma partir de la moyenne des intensits de limage originale Yoriginal et la moyenne des intensits de lavant-plan obtenu YNouveau selon la formule suivante. = Moyenne(YNouveau ) / Moyenne(Yoriginal ) (3)

hal-00118735, version 1 - 6 Dec 2006

(a) (b) FIG. 5 - Approximation de larrire-plan sur la luminance Y : (a) Limage du manuscrit, (b) Approximation de larrire-plan Yarr. Normalisation par translation et par tirement de lavant-plan Le processus de normalisation de lavant-plan sapplique partir de la composante Yoriginal de limage brute et larrire-plan approxim YArr. Les valeurs des intensits lumineuses des pixels de lavant-plan YNouveau peuvent tre calculs de deux manires : Normalisation linaire par translation : YNouveau = (Yoriginal YArr ) + C (1) Normalisation linaire par YNouveau = (Yoriginal / YArr ) *C tirement : (2) 2.2.2.

Nous constatons que les valeurs de gamma sont toujours suprieures 1, ce qui augmente le contraste de Ynouveau. La figure 7 montre leffet de la correction gamma.

(a) FIG. 7 - Correction Gamma de lavant-plan normalis : (a) Avant-plan avant correction gamma,
2.3.2. La normalisation de lhistogramme

C est une constante fixe 255, et les calculs sont faits en arithmtique sature. Un exemple de ces deux types de normalisations est montr dans la figure 6.

Lavant-plan obtenu YGamma prsente encore des couleurs ples. Afin daugmenter le contraste de cette image, nous procdons la normalisation de son histogramme dintensit. Nous appliquons un tirement sur les intensits en fonction dun pourcentage choisi lavance. Un pourcentage compris entre 2% et 8% donne des rsultats correctes. La figure 8 prsente le rsultat de limage Ycontraste.

(a) (a) (b)

(b)

(c) (c) (d) FIG. 8 - Normalisation de lhistogramme : (a) Image YGamma(b)Histogramme de YGamma (a), (b) Image Ycontraste, (d) Histogramme de Ycontraste

FIG. 6 - Normalisation de lavant-plan: (a) Image Yoriginal, (b) Normalisation par translation, (c) Normalisation par tirement La mthode de normalisation par tirement est plus adapte aux images de documents anciens arrire-plan

2.4. Segmentation Avant/arrire-plan

La segmentation de limage dun document manuscrit peut tre formule comme un problme de classification statistique. Lestimation des paramtres de classification est fournie par lalgorithme des Kmoyennes complt par la mthode du maximum de vraisemblance (MV). 2.4.1. Initialisation de lAlgorithme Des K-moyennes Lalgorithme des K-moyennes opre sur limage Ycontraste. Il calcule les vecteurs caractristiques statistiques pour la classification en deux classes avantplan et arrire-plan. Lalgorithme des K-moyennes procde en plusieurs tapes dtailles ci-dessous :
Algorithme K_moyennes 1. Partitionner limage de lavant-plan Ycontraste en Mn masques carres : n : est le nombre de masques dans une image. 2. A chaque masque Mi on associe un vecteur caractristique : x i (i , i ) Avec x i1 = i : Moyenne des intensits des pixels de Mi. x i1 = i : Ecart type des intensits des pixels de Mi.

2.4.2.

Algorithme de maximum de vraisemblance

La mthode du maximum de vraisemblance est une des mthodes de classifications les plus connues. Dans notre application, chaque pixel avec le maximum de vraisemblance est affect la classe correspondante. La vraisemblance VK est dfinie comme la probabilit posteriori du pixel appartenant une classe k. Vk = P(K / X) = (P(K) * P(X / K)) / P(i) * P(X / i) (4) Avec : P(K) : La probabilit prcdente de la classe K. P(X/K) : Fonction de densit de probabilit ou probabilit conditionnel dobserver K. Donc, VK dpend de la fonction de densit de probabilit de P(X/K). La segmentation de limage Ycontraste en avant/arrire-plan est obtenue par la mthode de maximum de vraisemblance. Cette mthode sappuie sur une fonction de vraisemblance de la distribution des intensits des pixels de limage. Le MV value la probabilit quun pixel appartienne chacune des deux classes avant/arrire-plan et laffecte l o la probabilit est maximale. Nous avons utilis deux distributions de probabilit suivant la loi gaussienne et la loi de Rayleigh. Selon la distribution, la vraisemblance Vk est exprim comme suit : Vk selon la distribution gaussienne : 1 1 (5) Vk =1,2 (Y) = exp( 2 (Y k ) 2 ) k 2 2 k Vk selon la loi de Rayleigh : 1 Y2 (6) Vk =1,2 (Y) = exp( ) k 2 2( k 2 ) 2 Le jme pixel de limage Ycontraste est tiquet selon la formule suivante : Vk j = max(Vk (Y))
k

hal-00118735, version 1 - 6 Dec 2006

3. 4.

Initialisation des centres des classes c k =1,2 avec: itrer tant que E change Pour chaque vecteur x i =1..n Etiqueter chaque masque Mi la classe Cj tant que d(x i , c j ) <= d(x i , c k )k j Pour chaque classe Cj=1,2 , recalculer le moyen des centres : c j = 1/ c j x l
M lc j

c1 = Min(x i =1,...,n ) ; c 2 = Max(x i =1,...,n )

vecteur

Vk j

Calculer la fonction derreur :

E=
k (2) j=1 M lc j

d(x

cj)

Les tests mens sur les images de documents manuscrits montrent que la fonction de vraisemblance de Rayleigh donne les meilleurs rsultats pour la segmentation illustrs dans la figure 10.

5. Fin Lalgorithme des K-moyennes ralise un premier niveau de classification avant/arrire-plan comme cest montr dans la figure 9. Nous remarquons une perte dinformation significative au niveau du texte de lavantplan. Afin damliorer les rsultats de segmentation, nous affinons par lalgorithme MV les paramtres de classification estims par lalgorithme des K-moyennes, pour la segmentation finale

FIG. 9 - Segmentation Avant/Arrire-plan par les Kmoyennes : (a) Avant-plan, (b) Arrire-plan

FIG. 10 - Segmentation par la mthode MV: (a) Avant / Arrire-plan selon la distribution gaussienne, (b) Avant/ Arrire-plan selon la distribution de Rayleigh.

2.5. Restauration des images de documents manuscrits

Les rsultats de segmentation par la mthode MV sont utiliss pour la restauration des images de documents des manuscrits anciens. En fait, Limage restaure est construite partir de la superposition de lavant et la moyenne de larrire-plan en RVB. La figure 12 montre les rsultats de la segmentation/restauration des manuscrits ancien

5 Bibliographie
[BOT 98] Bottou L., Haffner P., and Howard P.G, "High Quality Document Image Compression with DjVu", Journal of Electronic Imaging, 7(3), 1999. [CHE 01] Cheng H. D., Jiang X. H., Sun Y., Wang J.,"Color image segmentation: advances and prospects", Pattern Recognition, vol 34, 2001, 2259-2281. [GAR 06] Garain U., Paquet T. and Heutte L., "On Foreground-Background Separation in low Quality Color Document Images", International Journal on Document Analysis and Recognition, vol. 8, no. 1, pp. 47-63, 2006. [KAP 85] Kapur P. J.N. and Wong A.K.C., "A new method for gray-level picture thresholding using the entropy of the histogram", Computer Vision, Graphics, and Image Processing, 1985, vol. 29, pp.273-285. [KIT 86] Kittler J. and Illingworth J., "Minimum error thresholding", Pattern Recognition, 1986, vol. 19, no.1, pp. 41-47. [LEE 02] Leedham G., Varma S., Patankar A., and Govindaraju V., "Separating text and background in degraded document images - a comparison of global thresholding techniques for multi-stage thresholding", in Proceedings Eighth International Workshop on Frontiers of Handwriting Recognition, September 2002. [LEE 03] Leedham G. Yan, C., Takru K., Tan Joie H. Nata and Mian L., "Comparison of Some Thresholding Algorithms for Text/Background Segmentation in Difficult Document Images", in Proceedings of the Seventh International Conference on Document Analysis and Recognition, Janvier 2003. [LEY 04] Leydier Y., Bourgeois F.L., and Emptoz H., "Serialized K-Means for Adaptive Color Image Segmentation-Application to Document Images and Others", in 6th International Workshop on Document Analysis systems (DAS), Itay, , 2004, LNCS vol.3163, 252-263. [MEL 00] Mello C.A.B. and Lins R.D., Image segmentation of historical documents", in Visual2000, Mex-ico City, Mexico, September 2000. [MEL 02] Mello C.A.B. and Lins R.D., Generation of images of historical documents by composition", in ACM Symposium on Document Engineering, McLean, VA, USA, 2002. [OTS 79] Otsu N., "A threshold selection method from gray level histogram", IEEE Transactions in Systems, Man, and Cybernetics, 1979, vol. 9, pp. 62-66. [SHI 04] Shi Z. and Govindaraju V., "Historical Document Image Enhancement Using Background Light Intensity Normalization", 17th International Conference on Pattern Recognition, Cambridge, United Kingdom, 23-26 August 2004. [SHI 04] Shi Z., S Setlur. and Govindaraju V., "Digital Enhancement of Palm Leaf Manuscript", Based Computer Systems, Hyderabad, India, December 19-22, 2004. [SHI 05] Shi Z. and Govindaraju V., "Historical Document Image Segmentation Using Background Light Intensity Normalization", SPIE Document Recognition and Retrieval XII, San Jose, California, USA,16-20 January 2005. [TAN 02] Tan C. L., Cao R., Shen P., "Restoration of archival
documents using a wavelet technique", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No. 10, October 2002, pp. 1399-1404.

(a)

(b)

hal-00118735, version 1 - 6 Dec 2006

(c) FIG. 12 - Restauration des documents manuscrits couleur : (a) Avant-plan, (b) Arrire-plan, (c) Manuscrit restaur Enfin, La figure 13 permet dapprcier visuellement le rsultat de nos traitements.

3 Experimentations
Notre systme est test sur un chantillon de 100 images de documents extrait dune base de 2000 images de documents issue de la Bibliothque Nationale Tunisienne. Les exprimentations montrent que le systme propos produit des rsultats prcis et robustes pour la segmentation/restauration des images qui prsentent des irrgularits de fond, criture faible contraste et effet de transparence.

4 Conclusion et perspectives
Dans cet article, nous traitons le problme de segmentation /restauration des images de documents manuscrits arabes anciens couleur fond irrgulier et prsentant un effet de transparence. Dans notre systme, nous avons mis en oeuvre une mthode hybride pour la sparation Avant/Arrire-plan. Cet algorithme procde en quatre phases :(a) Extraction de lavant-plan par une mthode itrative de normalisation, (b) Prtraitement de lavant-plan obtenue par une double correction de contraste, (c) segmentation avant/arrire plan par lalgorithme du maximum de vraisemblance, (d) reconstruction et restauration. Les futurs objectifs de perfectionnement de notre systme consistent automatiser le processus itratif de normalisation et enrichir la mthode de segmentation pour produire les trois classes (fond, texte, graphique) utiles un systme dindexation et de recherche des images de documents anciens.