22es Journes de lAssociation Francophone dInformatique Graphique, Arles, 2009

Une nouvelle mtrique de similarit pour lvaluation de

segmentations de maillages 3D en utilisant un corpus de
vrits-terrains
Halim Benhabiles1 , Guillaume Lavou2 et Jean-Philippe Vandeborre1,3
1 LIFL

(UMR USTL/CNRS 8022), Universit Lille 1, France

de Lyon, CNRS, INSA-Lyon, LIRIS, France
3 Institut TELECOM ; TELECOM Lille 1, France

2 Universit

Abstract
In this paper, we present a new similarity metric between mesh segmentations : the 3D Normalized Probabilistic
Rand Index (3D-NPRI) ; it allows to quantify the consistency between multiple segmentations of a 3D-mesh
model. The paper presents a thorough comparison between this new metric and existing ones addressing the
quality assessment problem of mesh segmentation. We show that this new metric outperforms the existing ones in
terms of properties and discriminative power. Finally the 3D-NPRI is applied to evaluate four recent segmentation
algorithms. For this end, we use a corpus of manually segmented models. It is composed of a set of 3D-mesh
models grouped in different classes associated with several manual segmentations produced by human observers.
Cet article prsente une nouvelle mtrique de similarit entre segmentations de maillages : LIndice de Rand Probabiliste Normalis pour la 3D (3D-NPRI), il permet de quantifier la consistance entre plusieurs segmentations
dun mme modle 3D. Nous prsentons une comparaison dtaille entre cette nouvelle mtrique et les mtriques
existantes adressant le problme dvaluation de la segmentation de maillages. Nous montrons que cette nouvelle
mtrique est plus performante que les autres en terme de proprits et de pouvoir discriminant. Enfin, nous utilisons le 3D-NPRI pour valuer quatre algorithmes rcents de segmentations. Dans ce but, nous utilisons un corpus
de modles 3D segments manuellement. Ces modles 3D sont regroups en diffrentes classes, et chacun sont
associes plusieurs segmentations manuelles effectues par des oprateurs humains.

1. Introduction
La segmentation de maillages tridimensionnels est un processus fondamental de nombreuses applications telles que
la reconnaissance de forme, la compression, la dformation,
le plaquage de texture, etc. Elle consiste dcomposer une
surface polygonale en diffrentes parties prsentant des caractristiques communes, soit dun point de vue strictement
gomtrique, soit dun point de vue plus smantique.
Selon les tats de lart rcents du domaine [AKM 06,
Sha08], les techniques de segmentations de maillages
peuvent tre classifies en deux catgories : les mthodes bases surface (gomtriques), et les mthodes bases parties
(smantiques).
Ces dernires annes, le dveloppement dalgorithmes de

segmentations de maillages pour les deux approches a attir

pleinement lattention de la communaut scientifique. Cependant, les travaux qui adressent le problme de lvaluation de la segmentation sont presque inexistants. Dans le cas
des algorithmes bass surface, quelques outils existent mais
dpendent fortement de lapplication telle que le plaquage
de texture [SSGH01] ou limagerie mdical [GJC01]. Dans
le cas des algorithmes bass parties, deux travaux rcents ont
t propos pour ltude de ce problme [BVLD09,CGF09].
Les deux proposent un benchmark comprenant un corpus de
vrits-terrains et un ensemble de mtriques de similarit.
Ainsi lvaluation consiste mesurer la similarit entre les
segmentations rfrences du corpus et celles obtenues automatiquement par lalgorithme valuer pour les mmes
modles. Dans ce type de benchmark, la qualit de lva-

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

luation dpend de la qualit du corpus, mais aussi de la

qualit de la mesure de similarit entre segmentations. Cela
signifie que le choix dune mesure pertinente est trs important pour fournir une comparaison fiable entre segmentation automatique et segmentation manuelle. Les travaux actuels [BVLD09, CGF09] se sont focaliss davantage sur la
conception du corpus de vrits-terrains que sur la recherche
de mtriques pertinentes, et prsentent des mesures simples
souffrants de cas dgnrs, et dun manque de pouvoir discriminant.
Dans ce contexte, lobjectif de ce travail est de proposer une valuation des diffrentes mtriques existantes ainsi
quune nouvelle mtrique plus pertinente. Cet article introduit principalement trois contributions. Dabord, nous proposons une tude approfondie et une comparaison des diffrentes mtriques existantes adressant le problme de lvaluation de la segmentation de maillages en utilisant un corpus de modles segments manuellement. Ce corpus est une
version amliore de notre corpus prcdent [BVLD09] et
est disponible en-ligne . Nous proposons galement une
nouvelle mtrique de similarit de segmentations, et nous
montrons que cette mtrique prsente de meilleurs proprits et un meilleur pouvoir discriminant que les autres. Enfin,
nous utilisons cette nouvelle mtrique ainsi que notre corpus
de vrits-terrains pour valuer quatre algorithmes rcents
de segmentations de maillages 3D.
Cet article est organis comme suit. La section 2 prsente un tat de lart de lvaluation de la segmentation
et une tude analytique des mesures qui ont t proposes
dans ce contexte. La section 3 met en valeur les amliorations apportes notre corpus de vrits-terrains. Dans la
section 4 nous prsentons notre nouvelle mesure objective
permettant une comparaison quantitative entre une segmentation issue dun algorithme et un ensemble de segmentations vrits-terrains. Nous prsentons aussi une comparaison dtaille entre la nouvelle mtrique et celles existantes.
Dans la section 5 nous validons notre protocole dvaluation
travers lvaluation de quatre algorithmes rcents de segmentations [AFS06,LDB05,SSCO08,TVD07]. La section 6
conclut larticle et fournit quelques perspectives.
2. Etat de lart
Dans cette section, nous prsentons dabord un tat de
lart des travaux existants en valuation de segmentations
dimages 2D et de maillages 3D. En effet, les travaux les
plus importants concernant lvaluation de la segmentation
de maillages 3D [BVLD09, CGF09] se basent sur la mme
mthodologie que ceux issus du domaine dimagerie 2D
[MFTM01]. Ensuite, nous tudions les mesures existantes
proposes dans le contexte de lvaluation de segmentations
de maillages 3D en analysant leurs proprits.
. http://www-rech.telecom-lille1.eu/
3dsegbenchmark

2.1. Etat de lart de lvaluation de la segmentation

dimages 2D et de maillages 3D
Selon Zhang et al. [ZFG08], il existe plusieurs classes
de mthodes ddies lvaluation de la segmentation
dimages 2D : analytiques, subjectives, empiriques avec
vrits-terrains, etc.
Les mthodes empiriques avec vrits-terrains qui
consistent mesurer lcart entre une segmentation automatique et un ensemble de segmentations rfrences sont les
plus populaires [MFTM01,UPH07]. En effet, elles semblent
tre les plus appropries pour une valuation objective
grce la vrit-terrain, et pour une valuation quantitative
puisque les mesures de qualit sont numriquement calculables.
Martin et al. [MFTM01] ont propos une mthode dvaluation de ce type pour la segmentation dimages 2D. Ils
ont cr une base de donnes publique contenant des images
de rfrence accompagnes de leurs segmentations obtenues
par des oprateurs humains. Ils ont aussi dfini une mesure
de similarit entre segmentations dune mme image.
Dans le domaine de la 3D, il existe quelques travaux proposant lvaluation de la qualit de la segmentation dans un
contexte spcifique. En imagerie mdicale par exemple, Gerig et al. [GJC01] proposent un outil qui permet de quantifier la qualit de la segmentation des images volumiques
incluant diffrentes mtriques de distance entre objets surfaciques telle que la distance de Hausdroff. Pour le plaquage
de texture, Sander et al. [SSGH01] ont introduit une mtrique de qualit base sur ltirement de la texture induit
par la paramtrisation des rgions segmentes.
Plus rcemment, Attene et al. [AKM 06] ont propos un
ensemble de critres analytiques dont on peut citer la sensibilit la pose, et les paramtres de contrle. Cependant
ces critres jugent plutt certains aspects techniques que la
qualit relle de la mthode elle-mme.
Berretti et al. [BBP06] ont prsent quelques rsultats exprimentaux bass sur une vrit-terrain pour valider leur
propre algorithme de segmentations. Cependant, la vritterrain nest pas disponible en-ligne, et selon les auteurs, elle
contient des maillages 3D trs simples, tels que des surfaces
de rvolution, des vases, etc.
Dernirement, Benhabiles et al. [BVLD09] (nos travaux
prcdents) ainsi que Chen et al. [CGF09], ont propos des
benchmarks bass sur un corpus de modles 3D segments
manuellement par des oprateurs humains constituants une
vrit-terrain. Lvaluation dun algorithme de segmentation
consiste mesurer lcart entre les segmentations vritsterrains et celles obtenues par cet algorithme pour le mme
modle, en utilisant un ensemble de mtriques de similarit
que nous allons dtailler dans la sous-section suivante.

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

2.2. Analyse des mtriques de similarit entre

segmentations de maillages 3D
Dans ce qui suit, nous prsentons succinctement les diffrentes mtriques existantes utilises pour lvaluation de
la segmentation de maillages 3D, et vrifions si elles sont
rellement pertinentes. Une mtrique de similarit de segmentations nest pertinente que si elle possde les proprits
suivantes :
Non-dgnrescence : le score de la mesure doit tre
proportionnel au degr de similarit entre la segmentation automatique et les vrits-terrains dun mme modle. Il ne doit pas y avoir de cas dgnrs.
Indpendance de la cardinalit : deux segmentations
comparer peuvent avoir un nombre diffrent de segments, et le score de la mesure de similarit doit varier
indpendamment de ce facteur.
Tolrance au raffinement : le niveau de raffinement
dune segmentation peut changer dun oprateur humain un autre. En effet, certains dentre eux segmentent dune manire grossire, alors que dautres
effectuent cette tche plus finement. Nanmoins, les
segmentations dun mme modle restent consistantes.
Une mesure pertinente doit tolrer cette diffrence de
granularit.
Vrits-terrains multiples : une bonne mesure doit
pouvoir comparer une segmentation automatique avec
plusieurs vrits-terrains dun mme modle. Une solution alternative quand ce nest pas possible, est de calculer la moyenne des scores obtenus pour chacune des
vrits-terrains, cependant, cela tendance biaiser les
rsultats.
Comparaison significative : les scores obtenus par la
mesure doivent dpendre de la qualit de la segmentation automatique, ainsi plus cette dernire est proche
de la vrit-terrain, et mieux les scores sont. De plus, ils
doivent indiquer quel type de modles 3D, lalgorithme
automatique segmente le mieux.
A prsent, nous rsumons les diffrentes mtriques existantes utilises pour lvaluation de la segmentation de
maillages 3D.
Berretti et al. [BBP06] ont propos un indice de chevauchement (overlap index) qui reprsente lcart entre une rgion R dune segmentation automatique et celle dune vritterrain. Lindice dune rgion Ri est dfini par :

A(Ri R j )
Oindex = max j
A(Ri )
Avec A(.) loprateur qui retourne laire dune rgion. Si
on suppose que S1 est la segmentation automatique et S2 une
vrit-terrain, alors la distance entre elles est la moyenne de
lindice de chevauchement travers toute les rgions de S1 .

Benhabiles et al. [BVLD09] ainsi que Chen et

al. [CGF09] ont propos dutiliser une mesure derreur de
consistance. Elle se base sur le calcul de lerreur de raffinement local dun sommet (ou facette) vi , entre deux segmentations S1 et S2 et est dfinie par :

L3D (S1 , S2 , vi ) =

|R(S1 , vi )\R(S2 , vi )|
|R(S1 , vi )|

O \ est loprateur qui dnote la diffrence ensembliste,

|x| la cardinalit de lensemble x, et R(S, vi ) la rgion dune
segmentation S contenant le sommet vi .
Cette erreur de raffinement local produit une valeur positive qui reprsente le ratio du nombre de sommets non partags entre la premire et la seconde rgion. Une fois cette mesure calcule pour chaque sommet, il existe deux combinaisons possibles pour extraire une mesure globale : lerreur de
consistance globale (global consistency error, GCE), et lerreur de consistance locale (local consistency error, LCE).
La GCE force tous les raffinements locaux tre dans la
mme direction et est dfinie par :

GCE(S1 , S2 ) =

1
min{ L3D (S1 , S2 , vi ), L3D (S2 , S1 , vi )}
N
i
i

La LCE permet que les raffinements des segments du

maillages 3D soient dans diffrentes directions :

LCE(S1 , S2 ) =

1
N

min{L3D (S1 , S2 , vi ), L3D (S2 , S1 , vi )}

i

O N est le nombre de sommets. Une valeur de 0 produite

par la GCE ou la LCE indique une similarit complte, et inversement une valeur de 1 indique une diffrence maximale
entre les deux segmentations comparer.
Chen et al. [CGF09] ont propos dutiliser une autre mesure appele distance de Hamming. La distance de Hamming
entre deux segmentations S1 et S2 mesure la diffrence entre
leurs rgions respectives.




Soit DH (S1 S2 ) = i Ri2 \Ri1t , la fonction directionnelle de cette distance. O \ est loprateur de diffrence
ensembliste,
kxk est
la cardinalit de lensemble x, et it =


argmaxk Ri2 Rk1 qui permet de trouver le segment de S1
le plus proche Ri2 dans S2 . En considrant S2 comme vritterrain, les auteurs dfinissent ce quils appellent le missing
rate Mr et le false alarm Fr comme suit :
D (S1 S2 )
D (S2 S1 )
Mr (S1 , S2 ) = H kSk
, Fr (S2 , S1 ) = H kSk
La distance de Hamming est la moyenne entre les deux.
Chen et al. [CGF09] ont propos galement dutiliser lindice de Rand [Ran71]. Cet indice convertit le problme de

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

Table 1: Properits des mesures de similarit existantes.

GCE/LCE

Cas de dgnrescence
Independence de cardinalit
Tolrance au raffinement
Vrits-terrains multiples

oui
non
oui
non

Indice de
chevauchement
oui
non
oui
non

comparaison de deux segmentations S1 et S2 avec diffrent

nombre de segments en un problme de calcul de paires de
labels en accord. Notons par l1i , le label correspondant
llment i (sommet ou facette) contenu dans la segmentation S1 , et similairement, l2i le label correspondant llment i contenu dans la segmentation S2 . Lindice de Rand
calcule le ratio du nombre de paire de sommets ou de facettes ayant un label en accord dans S1 et dans S2 . Il est
dfini par :

RI(S1 , S2 ) =

1
j
j
j
j
I(l1i = l1 l2i = l2 )+I(l1i 6= l1 l2i 6= l2 )

(N
)
i,
j
2
i< j

O I est la fonction identit, le dnominateur est une combinaison qui reprsente le nombre de paires uniques possibles parmi N sommets ou facettes. Ceci donne une mesure
range entre 0, si les deux segmentations ne sont pas identiques, et 1 autrement.

Distance
de Hamming
oui
non
oui
non

Indice
Rand
non
oui
non
non

de

Mesure
idale
non
oui
oui
oui

modle 3D du corpus sont associes 4 segmentations manuelles, ce qui donne un total de 112 segmentations vritsterrains, effectues par 36 volontaires. La figure 1 illustre
les modles du corpus accompagns dune segmentation manuelle. Afin que notre corpus soit utile pour nimporte quel
algorithme de segmentations Nous avons slectionn un petit nombre de modles tout en respectant certaines proprits. Tout les modles du corpus sont manifolds, et connexes.
Pour collecter des segmentations prcises, nous avons assist
nos volontaires dans le traage des frontires des diffrents
modles. Ils les ont librement segment et aucune condition
na t impose sur la manire deffectuer cette tche. Nous
avons utilis lapplication MeshLab qui permet de segmenter un modle 3D sommet par sommet laide de couleurs.
Chaque rgion est distingue des autres par une couleur diffrente.

Les mesures prcdentes souffrent soit de cas de dgnrescence et/ou de sensibilit au raffinement et/ou de limitation en terme de comparaison avec plusieurs vrits-terrains
(segmentations de rfrence). En effet, aucune de ces mesures ne satisfait lensemble des critres dfinis prcdemment. Les proprits de chacune dentre elles ainsi que dune
mesure idale sont rsumes dans le tableau 1. Il est noter
que la proprit comparaison significative napparat pas
dans le tableau. Une manire possible dexaminer cette dernire est de fournir une tude exprimentale (voir la section
4, pour plus de dtails).

3. Le corpus vrit-terrain
Nous avons amlior la version prcdente [BVLD09] de
notre vrit-terrain en terme de nombre de modles et de
nombre de segmentations manuelles par modle. Le corpus
est disponible en-ligne et contient 28 modles reprsents
par des maillages triangulaires. Ces derniers sont groups en
5 classes : animal, meuble, main, humain, et buste. A chaque

. http://www-rech.telecom-lille1.eu/
3dsegbenchmark

Figure 1: Modles du corpus associs avec une vritterrain.

. http://meshlab.sourceforge.net/

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

Chen et al. [CGF09] ont propos un autre corpus qui

semble tre complmentaire au notre : ils utilisent plus dobjets (380 modles 3D de SHREC 2007 Shape-based Retrieval Contest [GBP07]), alors que nous utilisons un petit ensemble reprsentatif qui permet dvaluer rapidement un algorithme de segmentation. Ils ont choisi dutiliser une application web Amazons Mechanical Turk , pour collecter
les segmentations manuelles i.e. les vrits-terrains, sans
aucune assistance pour les volontaires, alors que nous avons
choisi de les assister pour obtenir des vrits-terrains prcises. Enfin, leurs segmentations manuelles sont bases facette alors que les ntres sont bases sommets.
4. Une nouvelle mesure : lindice de Rand probabiliste
pour la 3D et sa normalisation
Lobjectif de cette mesure est deffectuer une comparaison quantitative entre une segmentation de maillages issue dun algorithme automatique et un ensemble de vritsterrains pour le mme modle. Dans le domaine de limageries 2D, Unnikrishnan et al. [UPH07] ont propos de gnraliser lindice de Rand en le rendant probabiliste pour valuer
la performance dun algorithme de segmentation dimages
2D et ont montr la pertinence des rsultats obtenus. De manire similaire, nous avons gnralis cet indice pour lvaluation de la segmentation de maillages 3D.
Soit Sa la segmentation automatique comparer avec
un ensemble de vrits-terrains (segmentations manuelles)
{S1 , S2 , ..., SK } dun maillage 3D. On note par lSi a , et lSi k ,
respectivement, le label correspondant un sommet vi (label du segment auquel appartient ce sommet) dans une segmentation Sa et dans une vrit-terrain Sk . La concordance
de label pour chaque paire de sommets est modlise par
une distribution sous-jacente inconnue. Ceci peut tre considr comme tant un processus dans lequel chaque oprateur
humain (volontaire pour la segmentation) fournit une information propos de la segmentation Sk du maillage 3D sous
j
forme dun nombre binaire I(lsi k = lsk ) pour chaque paire de
sommets (xi , x j ). Lensemble des segmentations perceptuellement correctes dfinit une distribution de Bernoulli travers ce nombre, offrant une variable alatoire avec une valeur espre note par pi j . Par consquent, lensemble {pi j }
de toute les paires (i, j) non ordonnes dfinit un modle
gnratif pour les segmentations correctes du maillage 3D.
Lindice de Rand probabiliste est alors dfini par :

PRI(Sa , {Sk }) =

1
(N
2)



ei j pi j + (1 ei j )(1 pi j ) (1)

i, j
i< j

O ei j prsente lvnement quune paire de sommets i,

et j appartiennent la mme rgion dans la segmentation
j
automatique : ei j = I(lSi a = lSa )
. www.mturk.com

Et pi j prsente la probabilit que les sommets i, et j appartiennent au mme segment dans lensemble des vritsterrains {Sk }, et est calcule par la moyenne de la distribution de Bernoulli correspondante :

pi j =

1
K

I(lSi
k

= lSk )

Le PRI prend une valeur entre 0 et 1, o 0 indique quil n y

a aucune similarit entre Sa et {S1 , S2 , ..., Sk }, et inversement
pour la valeur 1. Dans ce qui suit, nous fournissons une tude
exprimentale des proprits du PRI et nous le comparons
avec les autres mtriques ddies lvaluation de la qualit
de la segmentation de maillages 3D.
La plupart des mesures introduites dans la section 2.2
quantifient plutt la dissimilarit (plus le score est petit,
et meilleure est la segmentation) que la similarit entre les
segmentations. Afin davoir une comparaison valide entre
le PRI et les autres mesures, nous dfinissons les quantits GCI(S1 , S2 ) = 1 GCE(S1 , S2 ), LCI(S1 , S2 ) = 1
LCE(S1 , S2 ), et HDI(S1 , S2 ) = 1 HD(S1 , S2 ). I est linitial de Indice, utilis habituellement dans les statistiques
pour quantifier la similarit. Ainsi, tout les indices ont des
valeurs comprises entre [0, 1], avec 0 indiquant quil n y a
aucune similarit entre les segmentations dun mme modle, et 1 indiquant une correspondance parfaite.
La premire proprit tudier est la sensibilit ventuelle
de chaque indice des cas dgnrs. La figure 2 illustre
les scores de similarit obtenus lors de la comparaison, pour
chaque modle, de trois types de segmentations alatoires
la vrit-terrain. Les trois segmentations alatoires ont
des granularits diffrentes : trs haute (plusieurs centaines
de rgions), trs basse (2 rgions seulement), et moyenne.
Chaque indice dans la figure est moyenn sur tout les modles. Les segmentations tant alatoires, les scores donns
par les diffrents indices devraient logiquement tre bas pour
les trois types, ce qui est le cas pour le PRI. En revanche
on peut constater que toutes les autres mtriques donnent
des scores trs hauts (et donc trs bons) pour certaines des
segmentations granularits dgnres (trs haute ou trs
basse) alors quelles nont rien voir avec la vrit terrain.
La seconde proprit tudier est la dpendance de
chaque indice de la cardinalit de la segmentation. La figure 2 montre clairement que le PRI est totalement indpendant du nombre de segment puisque les scores obtenus
sont presque les mmes pour les trois types de segmentations
alatoires, en revanche les autres indices donnent des scores
diffrents en fonction de la cardinalit de la segmentation.
La troisime proprit tudier est la tolrance au raffinement. Dun point de vue thorique, le PRI calcule le
nombre dagrment entre une segmentation automatique Sa ,
et un ensemble de vrits-terrains {S1 , S2 , ..., Sk }, i.e, les
paires de sommets ayant le mme label dans Sa , et dans

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

lit entre les segmentations, mme si celles-ci sont appliques sur des modles diffrents : en effet il les classe dune
manire correspondant notre perception par rapport la
vrit-terrain : (e) est excellent, (c), (d), et (f) sont corrects
et (a) et (b) sont mauvais (leurs scores sont dailleurs ngatifs). Les autres mtriques chouent classer correctement
ces segmentations.

(a)

(b)

(c)

(d)

(e)

Figure 2: Comparison de trois type de segmentation avec

les vrits-terrains pour tout le corpus laide de diffrents
indices.

{S1 , S2 , ..., Sk }, ainsi que les paires de sommets ayant diffrent label dans Sa , et dans {S1 , S2 , ..., Sk }. Donc si on suppose que Sa est un raffinement de cet ensemble ou viceversa, alors le nombre de paire en accord reste important,
ce qui veut dire que lindice prsente une bonne tolrance au
raffinement.
A ce niveau, nous avons montr que le PRI satisfait les
quatre proprits : habilit comparer une segmentation automatique avec des vrits-terrains multiples, il ne souffre
daucun cas de dgnrescence, il est indpendant de la cardinalit de la segmentation, et il est tolrant au raffinement.
Nous avons montr aussi que le PRI donne de meilleurs rsultats que les autres indices en terme des trois premires
proprits. Afin de renforcer le pouvoir discriminant du PRI,
nous proposons de le normaliser, comme cela a galement
t propos dans [UPH07].
Nous dfinissons ainsi le NPRI dune segmentation automatique Sa dun modle 3D comme suit :

NPRI(Sa ) =

PRI(Sa , {SK }) N1 n PRI(Sr , {SK })

1 N1 n PRI(Sr , {SK })

(2)

O N est le nombre de modles 3D dans notre corpus,

et Sr est la segmentation alatoire dun modle donn. Le
NPRI prend maintenant une valeur entre -1 et 1, o 1 indique
une similarit parfaite entre la segmentation automatique et
les vrits-terrains, alors quun score en dessous de zro indique un rsultat globalement moins bon quune segmentation alatoire (et donc non significatif). La figure 3 illustre
des modles de notre corpus segments par lalgorithme de
Tierny et al. [TVD07] (voir la section suivante pour plus
de dtails propos de cet algorithme). Ces segmentations
automatiques sont compares avec les vrits-terrains. Le
3D-NPRI russit clairement capter la diffrence de qua-

(g)

Figure 3: Exemple de comparaison de segmentations de diffrents modles : De a f segmentations obtenues par lalgorithme de Tierny et al. [TVD07]. Le graphe (g) montre les
scores des diffrents indices pour chaque segmentation (a
f).
Afin de comparer le pouvoir discriminant du NPRI avec
celui des indices existants, nous avons compar avec la vrit
terrain : des segmentations de la vrit terrain elle-mme et
des segmentations alatoires. La figure 4 illustre la distribution des indices pour ces deux types de segmentations pour
tout les modles du corpus.
Il apparait clairement que le NPRI et le PRI donnent des
rsultats meilleurs que les autres indices en terme de pouvoir
discriminant puisque les deux distributions sont bien spares. Les autres mtriques narrivent pas distinguer clairement ces deux types de segmentations (vrit-terrain et alatoire) puisque certains modles partagent les mmes scores
pour les deux.
5. Exprimentations
Dans cette section nous appliquons notre 3D-NPRI ainsi
que le corpus afin dvaluer quatre algorithmes de segmentations : Attene et al. [AFS06], Lavou et al. [LDB05], Shapira

(f)

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

Function). La SDF exprime une mesure du diamtre du

volume dun objet dans le voisinage de chaque point de
la surface.

(a) NPRI

(b) PRI

(c) HDI

(d) LCI

(e) GCI

(f) OI

Mis part lalgorithme de Lavou et al. [LDB05], les

autres sont hirarchiques. Nous avons donc propos de comparer deux niveaux de segmentations (grossire et fine) pour
chacun dentre eux. Le nombre de segment pour les deux niveaux varie selon lalgorithme et la complexit du modle.
Ce nombre est calcul automatiquement pour lalgorithme
de Shapira et al. [SSCO08], et Tierny et al. [TVD07]. Il suffit de prciser le niveau de segmentation dsir. Pour lalgorithme de Attene et al. [AFS06], il est fix manuellement.
Nous choisissons alors deux nombres (un petit et un grand).
On applique la mme procdure pour lalgorithme de Lavou et al. [LDB05].
La figure 5, montre le 3D-NPRI de chaque modle du
corpus pour le premier niveau de segmentation (segmentation grossire) des quatre algorithmes. Les valeurs sont ranges par ordre croissant, donc le jme modle nest pas ncessairement le mme pour les diffrents algorithmes. Ce
type de graphe est adopt dans lvaluation de segmentations
dimages 2D [UPH07].

Figure 4: Distributions des indices (a f) pour les deux

paires de segmentations (vrit-terrain et alatoire) sur tout
le corpus.

et al. [SSCO08], et Tierny et al [TVD07]. Le code source ou

binaire de chaque algorithme t fourni par ses auteurs.
Dans ce qui suit, nous dcrivons brivement chaque algorithme :
Extraction de squelette : Tierny et al. [TVD07] ont
propos un algorithme de segmentation hirarchique
smantique bas sur lextraction dun squelette topologique tendu.
Analyse de tenseurs de courbure : Lavou et
al. [LDB05] ont propos un algorithme de segmentation plutt bas surface. A laide dun mcanisme de
croissance de rgion, lalgorithme regroupe les sommets du maillage en rgions de courbures similaires.
Ajustement de primitives : Attene et al. [AFS06] ont
propos un algorithme de segmentation hirarchique
smantique bas sur lajustement de primitives appartenant un ensemble arbitraire.
Fonction de diamtre de forme : Shapira et
al. [SSCO08], ont propos aussi un algorithme de segmentation hirarchique smantique bas sur une fonction de volume de forme appele SDF (Shape Diameter

Figure 5: Scores du 3D-NPRI rangs par ordre croissant

travers tout les modles du corpus pour diffrents algorithmes (segmentation grossire).

La figure 5 montre que les segmentations obtenues par les

quatre algorithmes sont proches des vrits-terrains puisque
la plupart des valeurs 3D-NPRI sont suprieures zro.
On peut noter que lalgorithme de Tierny et al. [TVD07],
bien quil prsente beaucoup de trs bons rsultats est
moins stable que les autres puisquil engendre galement
un nombre assez important de mauvais rsultats (scores ngatifs). Il est noter que les rsultats sont similaires pour
le deuxime niveau de segmentation (segmentation fine).
Lalgorithme qui semble le meilleur est celui de Shapira et
al. [SSCO08], ceci est confirm par le tableau 2 qui prsente
le classement des algorithmes en terme de nombre de modles le mieux segments, cest--dire les modles ayants les
valeurs de NPRI les plus grandes. On peut remarquer que le

H. Benhabiles, G. Lavou, J-P. Vandeborre et M. Daoudi / Article AFIG

classement reste le mme pour les deux niveaux de segmentations, ce qui signifie que les segmentations obtenues par
les algorithmes restent consistantes. Ont peut remarquer enfin que ces rsultats sont logiques puisque les trois premiers
algorithmes sont bass partie alors que le dernier est bas
surface.

[BVLD09] B ENHABILES H., VANDEBORRE J.-P., L A VOU G., DAOUDI M. : A framework for the objective
evaluation of segmentation algorithms using a groundtruth of human segmented 3d-models. In IEEE International Conference On Shape Modeling And Application
(SMI) (2009).

Table 2: Classement des algorithmes.

[CGF09] C HEN X., G OLOVINSKIY A., F UNKHOUSER

T. : A benchmark for 3d mesh segmentation. ACM Transactions on Graphics (SIGGRAPH) 28(3) (2009).

Algorithme
[TVD07]
[LDB05]
[AFS06]
[SSCO08]

Segmentation
grossire
2
4
3
1

Segmentation fine
2
4
3
1

6. Conclusion et travaux futurs

Dans cet article, nous avons apport les contributions suivantes : (1) nous avons propos une tude approfondie et
une comparaison entre les diffrentes mtriques existantes
adressant le problme de lvaluation de la segmentation, en
utilisant un corpus de modles segments manuellement. (2)
nous avons propos une nouvelle mtrique de similarit de
segmentations pour quantifier la consistance entre plusieurs
segmentations. Nous avons montr que cette mtrique donne
de meilleurs rsultats que les autres en terme de proprits et
de pouvoir discriminant. (3) nous avons appliqu cette mesure ainsi que notre corpus pour valuer quatre algorithmes
de segmentations de maillages 3D rcents.
A prsent, nous travaillons sur lintgration de tests subjectifs bass sur lopinion humaine pour les comparer avec
notre protocole dvaluation.
Remerciements
Ce travail a bnfici dune aide de lANR (Agence Nationale de la Recherche) travers le projet MADRAS (ANR07-MDCO-015).
References
[AFS06] ATTENE M., FALCIDIENO B., S PAGNUOLO
M. : Hierarchical mesh segmentation based on fitting primitives. Vis. Comput. 22, 3 (2006), 181193.
[AKM 06] ATTENE M., K ATZ S., M ORTARA M., PA TAN G., S PAGNUOLO M., TAL A. : Mesh segmentation, a comparative study. IEEE International Conference
on Shape Modeling and Applications (2006), 77.
[BBP06] B ERRETTI S., B IMBO A. D., PALA P. : Partitioning of 3d meshes using reeb graphs. In ICPR 06 : Proceedings of the 18th International Conference on Pattern
Recognition (2006), IEEE Computer Society, pp. 1922.

[GBP07] G IORGI D., B IASOTTI S., PARABOSCHI L. :

Shrec : Shape retieval contest : Watertight models track.
In http ://watertight.ge.imati.cnr.it/ (2007).
[GJC01] G ERIG G., J OMIER M., C HAKOS A. : Valmet :
A new validation tool for assessing and improving 3d object segmentation. In MICCAI 2001 : Fourth International
Conference on Medical Image Computing and ComputerAssisted Intervention (2001), Springer, pp. 516523.
[LDB05] L AVOU G., D UPONT F., BASKURT A. : A new
cad mesh segmentation method, based on curvature tensor
analysis. Computer Aided Design 37(10) (2005), 975
987.
[MFTM01] M ARTIN D., F OWLKES C., TAL D., M ALIK
J. : A database of human segmented natural images and its
application to evaluating algorithms and measuring ecological statistics. International Conference On Computer
Vision 2 (2001), 416423.
[Ran71] R AND W. M. : Objective criteria for the evaluation of clustering methods. Journal of the American statistical association 66(336) (1971), 846850.
[Sha08] S HAMIR A. : A survey on mesh segmentation
techniques. Computer Graphics Forum 27, 6 (2008),
15391556.
[SSCO08] S HAPIRA L., S HAMIR A., C OHEN -O R D. :
Consistent mesh partitioning and skeletonisation using the
shape diameter function. Vis. Comput. 24, 4 (2008), 249
259.
[SSGH01] S ANDER P. V., S NYDER J., G ORTLER S. J.,
H OPPE H. : Texture mapping progressive meshes. In
SIGGRAPH 2001 (2001), pp. 409416.
[TVD07] T IERNY J., VANDEBORRE J.-P., DAOUDI M. :
Topology driven 3D mesh hierarchical segmentation. In
IEEE International Conference On Shape Modeling And
Application (SMI) (2007).
[UPH07] U NNIKRISHNAN R., PANTOFARU C., H EBERT
M. : Toward objective evaluation of image segmentation
algorithms. IEEE Transaction on pattern analysis and
machine intelligence 29(6) (2007), 929944.
[ZFG08] Z HANG H., F RITTS J., G OLDMAN S. : Image
segmentation evaluation : A survey of unsupervised methods. Computer Vision and Image Understanding 110
(2008), 260280.