Vision par ordinateur

Texture
Alain Boucher - IFI

Texture

Les textures sont

une information intressante analyser mais plus difficile extraire

Jusqu prsent! on dfinissait

"ne rgion comme une #one homo$%ne "n contour comme une &ariation d intensit

"ne texture peut 'tre dfinie

comme une r$ion a&ec des &ariations d intensit comme une or$anisation spatiale des pixels (

)xemples de textures

*otifs des textures

"ne texture peut 'tre priodique +rptition d un motif de ,ase- ( (ou non-priodique +pas de motif de ,ase! plus dsordonne-

Source : www.univ-lr.fr/formations/ecoledoctorale/SiteDEA/SiteDEA-IMCA/html/contenu/part3.pdf

.lusieurs sous-pro,l%mes

Segmentation de texture

/i&iser une ima$e en plusieurs r$ions ou chaque r$ion reprsente une m'me texture

Synthse de texture

A l0aide de petites ima$es de texture! construire de plus $randes ima$es en extrapolant ces textures

Shape from Texture

1econstruction de la forme 2/ d0un o,3et en analysant sa texture

Analyse de la texture

Il existe plusieurs mthodes pour analyser la texture 4

5tatistiques du premier ordre 5tatistiques sur l histo$ramme *atrices de co-occurrences 1echerche de motifs Analyse frquentielle Filtres de 6a,or

Le plus difficile est de trou&er une ,onne reprsentation +param%tres- pour chaque texture

Analyse de la texture
5tatistiques du premier ordre

7isto$rammes et textures

Source : Stina Svensson !epresentation and Description Computeri"ed ima#e anal$sis S%& 'Sweden(.

/istance d0histo$rammes
Distance du Chi2 entre histogrammes de textures

i ) *

} 0.1 } 0.8
1 (hi , h ) ) = 2 m =1 hi (m) + h ) (m)
2 +

[hi (m) h ) (m)]2

Source : Cornelia ,erm-ller .e/ture CMCS 012 Ima#e 3rocessin# &MD '&SA(.

.aram%tres des textures

8n peut calculer plusieurs param%tres d une texture partir de l ima$e ou de son histo$ramme 4

M45E66E = # ( /, $ )
$ /

7A!IA6CE =

1 2 ( # ( / , $ ) M45E66E ) 6 $ / 1 S+E86ESS = ( # ( /, $ ) M45E66E ) 3 6 $ / 1 +&!.4SIS = ( # ( /, $ ) M45E66E ) 4 6 $ /

o g(x,y) : niveaux de gris des pixels Ce sont les moments dordre 1,2,3,4, de limage. Dautres paramtres existent (uniformit , entropie, !

.aram%tres des textures

mo+enne#13% mo+enne#($

varian"e#3$

varian"e#%1

s&e'#$.2(

s&e'#)1.1(

&urt#2.31

&urt#)$.$*

Source : www.univ-lr.fr/formations/ecoledoctorale/SiteDEA/SiteDEA-IMCA/html/contenu/part3.pdf

9aractrisation des textures

Source : Stina Svensson !epresentation and Description Computeri"ed ima#e anal$sis S%& 'Sweden(.

Analyse de la texture
*atrices de co-occurences

+:- *atrices de co-occurences

L ide de cette mthode est d identifier les rptitions de niveaux de gris selon une distance et une direction

,atri"es de "o)o""uren"e (-arali"&!

Matrice de taille Ng x Ng

.g tant le nom,re de ni&eaux de $ris de l ima$e +:;<x:;<8n rduit sou&ent des tailles =x=! ><x>< ou 2:x2:

.lusieurs matrices! pour chaque distance @A et direction

Distance 4 >! :! 2 +!?! (Direction 4 @A! ?;A! B@A! >2;A +! (>2;A B@A ?;A

Temps de calcul des matrices est asse# lon$

*atrices de co-occurences

)xemple de calcul des matrices 4

> ? > > ? : : : ? 2 > : 2 : ? 2 2 3 4 2 C C C C C C C C 3 C C C C 4 C C C C

/mage

,atri"e pour distan"e#1 et dire"tion#$0

1n par"ours limage et pour "2a3ue "ouple de pixels form ave" la distan"e et la dire"tion donn es, on in"r mente la matri"e des "o)o""urren"es de 1

*atrices de co-occurences

)xemple de calcul des matrices 4

2 @ 2 3 4 @ @ @ @ @ @ @ 3 @ @ @ @ @ @ @ 4

4 ? > > : : :

? 2 > :

2 : ? 2

/mage

,atri"e pour distan"e#1 et dire"tion#$0

Couple de pixels voisins (1,4!

*atrices de co-occurences

)xemple de calcul des matrices 4

2 @ 2 3 4 @ @ @ @ @ @ @ 3 @ @ @ @ 4 > @ @

> ? > >

4 : : :

4 2 > :

2 : ? 2

/mage

,atri"e pour distan"e#1 et dire"tion#$0

Couple de pixels voisins (4,4!

*atrices de co-occurences

)xemple de calcul des matrices 4

4 4 > > 2 : : 4 3 > : 3 2 ? 2 2 3 4 2 @ @ @ @ @ @ @ 3 @ @ @ 4

/mage

,atri"e pour distan"e#1 et dire"tion#$0

et". (aprs 2 lignes!

*atrices de co-occurences

)xemple de calcul des matrices +final- 4

? : : : ? 2 > : 2 : ? 2 2 3 4 2 @ > @ @ : > > > 3 @ : @ > 4 : @ @ > 2 3 4 @ > @ @ 2 : > @ : 3 > @ @ > 4 @ @ > @

> ? > >

/mage

,atri"e pour distan"e#1 et dire"tion#$0

,atri"e pour distan"e#1 et dire"tion#4(0

et ainsi de suite pour "2a3ue matri"e (plusieurs au total!

9alculs des param%tres des matrices

.our chaque matrice! on peut calculer quator#e param%tres caractrisant la texture! dont les plus importants 4

M45E66E = p(i, ) )
7A!IA6CE i = (i M45E66E ) 2 p (i, ) )
) i

E6E!9IE = ( p (i, ) )) 2
I6E!.IE = (i ) ) 2 p (i, ) )
E6.!43IE = p (i, ) ) log( p (i, ) ))
) i

o (i,j) : "oordonn es dans la matri"e p(i,j) : valeurs normalis es de la matri"e

1 M4ME6. DI,,E!E6.IE% I67E!SE = p(i, ) ) 2 i ) 1 + (i ) )

.aram%tres de la matrice

"ontraste#12$ "ontraste#424

"ontraste#42

"ontraste#142

entropie#4.%

entropie#4.%

mdi#$.$3

mdi#$.$$2

Source : www.univ-lr.fr/formations/ecoledoctorale/SiteDEA/SiteDEA-IMCA/html/contenu/part3.pdf

/tection des textures

A&ec les matrices de co-occurences! on esp%re identifier une texture particuli%re +selon une distance et une direction trou&er.ro,l%me du calcul sur l ima$e enti%re ou sur des #ones de l ima$e +dcoupa$e en carrs de l ima$eIl existe plusieurs &ariantes de cette mthode ,ase sur le calcul de diffrences de ni&eaux de $ris

.ro,l%me d chelle pour les textures

5our 6ien identifier les textures, on a souvent 6esoin de travailler 7 diff rentes "2elles

Alliassa$e des textures

Lorsqu'on rduit trop l'image de dpart, on obtient de mauvaises reprsentation des textures : phnomne d'alliassage (que nous tudierons en s nthse d'images!

Analyse de la texture
Analyse frquentielle

Analyse frquentielle

"ne texture est une rptition d lments a&ec une certaine frquence Filtra$e de l ima$e en utilisant des mthodes spectrales Fourier !iltres de "a#or ( .our rappel sur la Transforme de Fourier +FFT

(re!voir le "ours de 8raitement d9images

Ide $nrale du filtra$e frquentiel

Rponses au carr

Lissage

Filtres de 6a,or

Les filtres de 6a,or sont le produit de 6aussiennes par des sinus ou des cosinus

5inus D cosinus 4 analyse en frquences 6aussienne 4 diffrents ni&eaux de lissa$e +chelles-

Gaussienne * Sinus !osinus " Ga#or

Source : Christopher !asmussen .e/ture CIS 0:;/2:; Computer 7ision &niv. of Delaware '&SA(

Filtres de 6a,or

Les filtres de 6a,or analysent la structure

7 diff rentes "2elles (fr 3uen"es! 7 diff rentes orientations (angles!

:iltres anti) s+m tri3ues (impairs ) sinus! :iltres s+m tri3ues (pairs ) "osinus!

;rande "2elle

5etite "2elle

Source : Christopher !asmussen .e/ture CIS 0:;/2:; Computer 7ision &niv. of Delaware '&SA(

Banque de filtres sur une ima$e

"mage d'entre #anque de $iltres

%ponse des $iltres & une chelle

Filtra$e diffrentes chelles

)xemple +Torch2Vision $a,or:d)artie relle (s! 'chelle des $iltres )artie imaginaire

(rientation des $iltres

(o!

9alcul de statistiques

8n o,tient une srie de rponses aux diffrents filtres

r ponse "omplexe (partie r elle < partie imaginaire! une s rie d9images de r ponse pour "2a3ue image de texture

9acul de statistique sur la norme au carr

norme2 $ rel2 % imaginaire2

Guelles statistiques faut-il calculer C

.lus on a de statistiques! mieux c0est *inimum 4 moyenne de la norme2 et cart&type de la norme2

9omparaison de &ecteurs

.our chaque ima$e de texture! on o,tient un &ecteur de caractristiques 9omparaison de textures 4 calcul de distance entre les &ecteurs de caractristiques /istance euclidienne H0est pas in&ariante +rotation I chelleIl existe d0autres mthodes de comparaison plus efficace pour o,tenir l0in&ariance +rotation I chelle-

5ynth%se de texture

5ynth%se de texture
ima#e d<entr=e

SYNTHESE

.e/ture infinie

ima#e #=n=r=e

Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

)xemples +)fros et Leun$-

Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

.as seulement un copier-coller

Photo

Rptition seulement
Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

)xemples d0al$orithmes
[$%ros & Leung]

[$%ros & 'ree(an, 2001]

Source : ,ran* Dellaert .e/ture CS /0;> Computer 7ision 9a.ech '&SA(.

bloc

Texture d'entre

B1

B2

B1

B2

B1

B2

Placement alatoire des blocs

Recouvrement des blocs voisins

Calcul de la frontire d'erreur minimale

Source : Marc 3ollefe$s 3$ramids and te/tures Comp1>2 Computer 7ision &6C '&SA(.

Fronti%re d0erreur minimale

Recouvrement de blocs Frontire verticale

=
Erreur minimale

Erreur de recouvrement

Source : Marc 3ollefe$s 3$ramids and te/tures Comp1>2 Computer 7ision &6C '&SA(.

Influence de la taille de l0chantillon

Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

1sultats de synth%se de texture

.aille de l<=chantillon
Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

.ro,l%mes

Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

5ynth%se de texte partir d0ima$es

Source : Cornelia ,erm-ller .e/ture CMCS 012 Ima#e 3rocessin# &MD '&SA(.

)xtrapolation d0ima$es

Source : David %owe .e/ture C3SC 01>: Computer 7ision &?C 'Canada(.

)xtrapolation d0ima$es

Source : ,ran* Dellaert .e/ture CS /0;> Computer 7ision 9a.ech '&SA(.

)xtrapolation d0ima$es

Source : ,ran* Dellaert .e/ture CS /0;> Computer 7ision 9a.ech '&SA(.

5hape from texture

"tilisation des textures

5e$mentation en r$ions textures 9aractrisation des ima$es

recherche d ima$es par le contenu

)n thorie! il est possi,le de retrou&er la forme 2/ d un o,3et partir de sa texture +r$uli%re

=2ape from 8exture )n pratique! tr%s difficile et peu d approches existent ce su3et

La texture est un lment essentiel de l ima$e! mais sou&ent difficile manipuler

5hape from texture

,>me texture mais ave" une orientation ou une taille diff rentes

5hape from texture

?etrouve@ la forme 3D dun o6Aet 7 laide de la texture B trs diffi"ile

1frences
(voir aussi la page 'e6 du "ours!

5tina 5&ensson! 1epresentation and /escription! 9omputeri#ed ima$e analysis! 5Jedish "ni&ersity of A$ricultural 5ciencesK

JJJKc,KuuKseDLstinaD,ild5L"DlecturesDFMN=&t:@@;Kpdf

9ornelia FermOller! Lecture :?4 Texture! 9*59 ?:< Ima$e .rocessin$ +9omputer Vision-! "ni&ersity of *aryland at 9olle$e .arPK

http4DDJJJKcfarKumdKeduDLferDcmsc?:<DlecturesDTexture:Kppt

9hristopher 1asmussen! Texture! 9I5 ?=BD<=B 9omputer Vision! "ni&ersity of /elaJare +"5A-K

http4DD&isionKcisKudelKeduDc&DlecturesDc&>BNtextureKppt

1frences
(voir aussi la page 'e6 du "ours!

/a&id LoJe! Texture! 9.59 ?:;4 9omputer Vision! "ni&ersity of British colum,ia +9anada-K

http4DDJJJKcsKu,cKcaDLloJeD?:;DslidesD;-TextureKppt

FranP /ellaert! Texture! 95 x?B; 9omputer Vision! 6eor$ia Institute of Technolo$y +"5A-K

http4DDJJJ-staticKccK$atechKeduDclassesDAQ:@@;Dcs??B;NfallD@B-TextureKppt

*arc .ollefeys! 9lass M .yramids and textures! 9omp:;< 9omputer Vision! "ni&ersity of Horth 9arolina at 9hapel 7ill +"5A-K

http4DDJJJKcsKuncKeduD1esearchD&isionDcomp:;<D&ision@MKppt