Vous êtes sur la page 1sur 40

Fusion de donnes

Fusion de donnes

Denis Schwartz
Centre MEG/EEG Piti Salptrire

http://www.ccr.jussieu.fr/meg-center

Centre MEG/EEG Piti-Salptrire

Fusion de donnes

Sommaire
SOMMAIRE ........................................................................................................................................................2
INTRODUCTION...............................................................................................................................................3
RECALAGE MEEG/IRM .................................................................................................................................4
CONTRAINTES ...............................................................................................................................................10
DFINITION DUNE CONTRAINTE .....................................................................................................................10
CONTRAINTES ANATOMIQUES..........................................................................................................................10
COMBINAISON MEG/EEG................................................................................................................................13
CONTRAINTES MTABOLIQUES........................................................................................................................14
ENREGISTREMENTS EEG/IRMF ..............................................................................................................16
INTRODUCTION ..................................................................................................................................................16
SPATIOTEMPORAL BRAIN IMAGING OF VISUAL STIMULATION USING SIMULTANEOUS EEG AND
FMRI RECORDINGS...........................................................................................................................................16
ABSTRACT ...........................................................................................................................................................17
INTRODUCTION ....................................................................................................................................................17
MATERIALS AND METHODS................................................................................................................................18
RESULTS ..............................................................................................................................................................22
DISCUSSION .........................................................................................................................................................26
ACKNOWLEDGMENTS .........................................................................................................................................27
REPRSENTATION DES RSULTATS .....................................................................................................28
INTRODUCTION ..................................................................................................................................................28
MTHODES DE VISUALISATION CLASSIQUES ..................................................................................................28
POST TRAITEMENTS DE LIRM VISUALISATION AVANCE .......................................................................30
VISUALISATION SILLONS ..............................................................................................................................30
Segmentation automatiques des sillons..............................................................................................................30
Reprsentation des localisations.........................................................................................................................30
VISUALISATION CERVEAU GONFL ..............................................................................................................31
Gonflement du cerveau .......................................................................................................................................31
VISUALISATION 4D .............................................................................................................................................31
SYNTHSE ...........................................................................................................................................................33
CONCLUSION..................................................................................................................................................34
RFRENCES ..................................................................................................................................................35

Centre MEG/EEG Piti-Salptrire

Fusion de donnes

Introduction
Le processus conduisant la localisation des gnrateurs des signaux MEEG nest pas
uniquement compos de lenregistrement des signaux fonctionnels et de la rsolution des
problmes directs et inverses. La ncessit de reprsenter les gnrateurs dans leur contexte
anatomique implique un recours limagerie anatomique de type IRM. Ces informations devront
tre mis en correspondance, cest dire recales avec les donnes MEEG. La localisation des
gnrateurs est donc un processus multimodalits faisant intervenir des notions de fusion de
donnes. Au travers de ltape recalage, la fusion de donnes pourra aller beaucoup plus loin que
la simple reprsentation des rsultats puisque lon pourra introduire dans les algorithmes inverses
des informations a priori, des contraintes, de nature anatomique et/ou mtabolique. Ces
contraintes judicieusement mises en uvre permettront damliorer la prcision spatio-temporelle
des localisations.
Dans ce cours, nous dcrirons, dans une premire partie, ltape cruciale de recalage MEEG/IRM
et lvaluation de sa prcision. Ensuite nous aborderons la dfinition et lutilisation des
contraintes dans les algorithmes de localisations, sous forme anatomique, mtabolique et nous
aborderons galement la combinaison, dans un mme formalisme, des donnes MEG et EEG.
Dans une troisime partie, nous prsenterons lacquisition de donnes EEG/IRMf simultanes
sous forme dun outil permettant dexplorer les relations entre les donnes lectromagntiques et
mtaboliques et la possible construction de contraintes partir de ces dernires. Enfin nous
conclurons sur les mthodes avances de reprsentations des gnrateurs localiss en MEEG.

Contrainte

S-EEG
IRMf
PET
SPEC
T
TMS
IO

Recalage

Localisation

Centre MEG/EEG Piti-Salptrire

Fusion de donnes

Recalage MEEG/IRM
Aux vues des problmes poss par les techniques de localisation des sources de lactivit
crbrale sur le plan thorique et sur le plan pratique, le problme de la fusion des gnrateurs
localiss avec leur substrat anatomique semble a priori secondaire. Pourtant cette tape du
processus de localisation consistant mettre en correspondance les donnes fonctionnelles et
anatomiques et visualiser le rsultat est indispensable, dune part pour vrifier la qualit des
rsultats fournis par les algorithmes de localisations en les confrontant au contexte anatomique, et
dautre part, pour interprter sur le plan spatial et temporel les phnomnes tudis. De plus
certains algorithmes de localisation ncessitent lapport de contraintes issues des donnes
anatomiques. Dans ce contexte, la prcision de la mthode de recalage revt une importance
cruciale puisquelle conditionne directement la prcision des rsultats.
La principale source dincertitude dans la fusion est le recalage des donnes MEG/EEG avec
lIRM. tant donn une mthode de recalage, il est donc ncessaire dvaluer lincertitude
introduite dans le processus de localisation lors de cette tape et les consquences prvisibles sur
linterprtation des rsultats obtenus. Les erreurs de recalage se traduisent dans le cas le plus
simple, par un dplacement homogne de toutes les localisations sur les donnes anatomiques.
Par contre si des contraintes anatomiques sont utilises, l'effet sur la prcision des rsultats de
localisation est difficile prvoir a priori et dpend d'une part de la nature de la contrainte et
d'autre part de l'algorithme de localisation lui-mme. Par exemple des informations de direction
du bandeau cortical sont beaucoup plus sensibles des erreurs de recalage que des informations
de positions.
Lopration consistant recaler deux rfrentiels peut tre dfinie comme la recherche dune
transformation bijective entre les coordonnes de deux rfrentiels. Cette transformation doit tre
tel que les points qui se correspondent dans les deux rfrentiels reprsentent le mme point
anatomique (Maurer and Fitzpatrick 1993). Le recalage entre des donnes lectrophysiologiques
issues de signaux MEG/EEG et des images anatomiques de types IRM consiste dterminer une
transformation gomtrique qui permet de passer du rfrentiel utilis pour lacquisition des
donnes MEG/EEG au rfrentiel utilis pour lacquisition des images anatomiques. Il sagit
donc dun recalage intra-patient multimodalit. La nature de la transformation gomtrique
utilise est dtermine par les caractristiques physiques de la tte et du type damer utilis pour
la mise correspondance. Dans notre cas, il sagira dune transformation globale puisque la tte et
les diffrents lments internes la composant ne se dforment pas ou trs peu entre les deux
modalits. Dautre part comme on ne connat pas le facteur dchelle 1 existant entre les deux
rfrentiels la transformation n'est pas forcment rigide mais affine. On recherche donc une
transformation compose de 3 rotations, 3 translations et ventuellement dun facteur dchelle
isotrope ou anisotrope. Dans ce contexte, les mthodes utilisables se dcomposent en deux
groupes
Les mthodes manuelles : elles consistent localiser manuellement lors de lexamen
lectrophysiologique et sur lexamen anatomique des points homologues intrinsques ou
extrinsques qui seront utiliss pour la mise en correspondance.

Aussi bien lIRM que les instruments de reprage 3D utiliss en MEG/EEG peuvent induire des effets dchelle
isotropiques ou anisotropiques.

Centre MEG/EEG Piti-Salptrire

Fusion de donnes
Les points intrinsques drivent des proprits spcifiques des images du patient (par exemple
points anatomiques). Les points extrinsques sont des marqueurs artificiels visibles dans la
modalit considre (par exemple. produits de contraste).

Points homologues reprs sur lIRM

Les mthodes automatiques : Ces mthodes font appel une mise en correspondance non
supervise soit de points soit de formes homologues dtectes sur les deux modalits.
Gnralement on dtecte la surface de la peau lors de lexamen MEEG grce un numriseur 3D
et sur lexamen IRM par segmentation de la peau. Les deux surfaces sont ensuite mises en
correspondance.

Centre MEG/EEG Piti-Salptrire

Fusion de donnes

Recalage automatique du headshape sur le crane dun fantome

Les mthodes manuelles sont les plus utilises car fournies en standard avec les systmes de
magntoencphalogaphie.
La littrature concernant spcifiquement le recalage entre la MEG ou lEEG et des donnes
anatomiques est assez pauvre. De plus, lvaluation de la prcision de ces mthodes est presque
inexistante alors quelle conditionne fortement lobjectivit de linterprtation des rsultats des
localisations. Une mthode de recalage doit bien sr avoir une bonne prcision spatiale (de
lordre de 2 ou 3 mm en moyenne). Elle doit tre stable, cest--dire que sa prcision ne doit pas
tre affecte par les artefacts dtriorant les acquisitions mettre en correspondance, et sa
prcision ne doit pas dpendre de lutilisateur. Dautre part, elle doit tre dune utilisation
clinique aise minimisant le stress du patient et les interactions humaines. Sur le plan
anatomique, elle doit pouvoir se satisfaire des acquisitions IRM standards actuelles de type 3D
coupes fines.
Nous prsentons ici les approches employes par 3 auteurs qui outre la description de leur
mthode, en ont valu la prcision :
Gevins (Gevins 1989, Gevins et coll. 1990) propose une approche semi-automatique visant
minimiser la distance entre un ensemble dlectrodes EEG et la surface de la peau dtecte sur
des images IRM. Les lectrodes sont localises grce un numriseur 3D. Lensemble
dlectrodes et la surface de la tte sont mises en correspondance manuellement. Un algorithme
de minimisation optimise alors le recalage. La distance moyenne entre les lectrodes et la peau en
fin de recalage est de lordre de 2 mm. Cette valeur est assez subjective car la relative symtrie de
la tte et le nombre limit dlectrodes peuvent gnrer une bonne convergence sur le plan
numrique alors que le recalage nest pas optimal du point de vue anatomique. Lauteur na pas

Centre MEG/EEG Piti-Salptrire

Fusion de donnes
valu les effets dune mauvaise numrisation des lectrodes ou dune mauvaise dtection de la
surface de lIRM sur la prcision de la mthode.
Van den Elsen (Van den Elsen et coll. 1991) propose une mthode semi-automatique base sur la
dtection de marqueurs extrinsques sur des examens scanner ou IRM. Ces marqueurs permettent
de recalculer la position de points anatomiques intrinsques utiliss pour la dfinition du
rfrentiel MEG/EEG. La prcision de cette mthode est intimement lie la bonne position des
marqueurs IRM ou scanner et donc une intervention humaine. Si les marqueurs sont
parfaitement placs, on obtiendra une prcision de lordre de la taille du voxel de lexamen IRM.
Singh (Singh et coll. 1997) propose une mthode semi-automatique base sur lemploi dun mors
dentaire sur lequel sont placs 4 marqueurs que lon numrise lors de lexamen MEG et que lon
peut dtecter sur un examen IRM. La prcision de la mthode a t value grce une analyse
de Monte-Carlo portant sur les incertitudes de numrisation des marqueurs sur le mors. La
prcision varie entre 0.8 mm et 5.7 mm suivant le point du cerveau considr. On note que les
erreurs de dtection des points du mors sur lIRM nont pas t introduites dans la simulation de
Monte-Carlo. Dautre part lutilisation dun tel mors est envisageable chez des volontaires, mais
plus difficile en routine clinique, chez des patients de part notre exprience.
Si les travaux concernant spcifiquement le recalage MEG/EEG sur IRM sont assez rares il existe
par contre de nombreux domaines o des mthodes utilisables dans notre contexte ont t
dveloppes et valides sur le plan clinique. On peut citer, les mthodes de recalage TEP-IRM
l'aide de points anatomiques (Evans et coll. 1989), les mthodes bases sur des marqueurs (Hill et
coll. 1991) et les mthodes bases sur la mise en correspondance de surface (Pellizari et coll.
1993, Lemoine et coll. 1994, West et coll. 1997). La prcision de ces mthodes a t value dans
de nombreuses tudes. Maurer prsente une revue complte des mthodes de recalage avec une
estimation des meilleures prcisions pouvant tre atteintes dans chaque cas (Maurer and
Fitspatrick 1993). De cette tude on peut retirer que la prcision des approches utilisant des
points intrinsques ou extrinsques est fortement lie la nature de ces points, aux mthodes de
dtection de ces points ainsi bien sur quau nombre de points. Dans des conditions favorables la
prcision est de 1 2 voxels pour des points intrinsques et de 1 voxel au maximum pour des
points extrinsques. Pour le recalage de surface, les tudes montrent que la prcision moyenne
volue autour de la taille du voxel. Ces valeurs donnent un ordre de grandeur thorique pour
chaque type de mthodes, mais dun point de vue pratique les erreurs constates peuvent tre
beaucoup plus importantes suite aux diffrents alas rencontres lors de recalage en routine
clinique (qualit dacquisition, respect des hypothses faites par les mthodes). Ce problme est
mis en vidence dans larticle (West et coll. 1997) o plusieurs mthodes ont t compares en
aveugle grce un recalage strotaxique considr comme idal. Les variations derreurs
moyennes constates pour une mme mthode entre chaque contexte dvaluation (par exemple
diffrents type dacquisition) met en vidence la ncessit destimer la prcision dune mthode
dans son environnement clinique particulier.
Prcision des mthodes manuelles (Schwartz et al 1996)
Les mthodes de recalage manuelles nont pas une bonne prcision. Lerreur maximum atteint
voire dpasse 1.5 cm sur la partie externe du cerveau do proviennent la majeure partie des
activits dtectables par la MEG ou lEEG. La prcision du recalage n'est pas symtrique sur
lensemble du cerveau et est donc dpendante de la zone tudie. La mthode est donc trs

Centre MEG/EEG Piti-Salptrire

Fusion de donnes
sensible aux multiples interventions humaines et elle ne fournit aucun indice de qualit
permettant dapprcier la prcision dun recalage donn.

Erreur de recalage manuel sur la diagonale du volume IRM

Prcision des mthodes automatiques (Schwartz et al 1996)


Les mthodes automatiques prsentent une erreur de recalage moyenne trs faible (3 mm)
infrieure aux incertitudes de localisations gnralement rapportes. La rduction des
interventions manuelles apporte un surcrot de prcision important par rapport aux mthodes
manuelles. La prcision et la reproductibilit des rsultats obtenues autorisent une fusion de
donnes anatomo-fonctionnelle trs prcise. Cette fusion permet une reprsentation optimum des
proprits spatio-temporelles des rsultats de localisation et donc une interprtation plus efficace.
Enfin la prcision obtenue autorise l'emploi de contraintes anatomiques complexes dans les
algorithmes de localisation sans pour autant introduire des erreurs importantes.

Centre MEG/EEG Piti-Salptrire

Fusion de donnes

Validation de recalages automatiques


Figure du haut : Dcalages rsisuels Figure du bas : Bon recalage

Centre MEG/EEG Piti-Salptrire

Fusion de donnes

Contraintes
Dfinition dune contrainte
Dans le cadre de lanalyse des signaux MEG/EEG une contrainte peut tre dfinie comme un
ensemble dinformations a priori qui est inject dans le processus de localisation. La contrainte
peut tre une information complmentaire rduisant lespace de recherche des sources sur un plan
spatial et/ou temporel. Elle peut-tre galement directement intgre dans le formalisme de
lalgorithme (par exemple dans le problme direct pour une contrainte anatomique) et donc
indispensable au fonctionnement de lalgorithme.
Les contraintes peuvent se prsenter sous plusieurs formes :
Des contraintes anatomiques : un ensemble de sources potentielles est dtermin partir dun
examen IRM. Lalgorithme de localisation dterminera alors pour chaque source un instant
donn soit une intensit dactivation soit une probabilit dactivation.
Des contraintes mtaboliques : Ces contraintes contiennent deux parties, une partie anatomique
semblable la prcdente sur laquelle se rajoute des informations supplmentaires indiquant
lactivation probable (PET, IRMf, ) dune ou plusieurs sous-populations de la contrainte
anatomique. Lalgorithme de localisation dterminera essentiellement les dcours temporels
dactivation pour chaque source.
Attention : Lutilisation de contraintes dans le contexte de la localisation MEEG est sujette
caution. En effet, le problme inverse tant sous-dtermin, il est trs facile de surcontraindre
lalgorithme tout en gardant des rsidus trs bons.

Contraintes anatomiques
Les contraintes anatomiques sont dfinies partir dune IRM dont la taille du voxel doit
approcher le millimtre cube. Le but est de positionner les sources perpendiculairement
linterface matire grise / matire blanche en reproduisant lorganisation des cellules pyramidales
en macro-colonnes. On pourra alors utiliser dans la contrainte la position de ces sources
potentielles en y ajoutant ventuellement leur orientation. Lchantillonnage ncessaire dpend
de lalgorithme inverse utilis et de la prise ou non en compte de contrainte de direction. Il faut
vrifier que lchantillonnage est homogne sur la surface (et non dans le volume) et donc que la
description de la morphologie est respecte.

Centre MEG/EEG Piti-Salptrire

10

Fusion de donnes

Construction dune contrainte anatomique

De nombreux logiciels sont disponibles pour gnrer des contraintes. Les points vrifier sont les
suivants :
Bonne segmentation de linterface gris/blanc
Possibilit de sous chantillonner le maillage rsultant

Centre MEG/EEG Piti-Salptrire

11

Fusion de donnes

Segmentation matire grise / interface matire grise / matire blanche

Ladjonction dune contrainte anatomique des approches de type scanning (Mosher et al


1992, Schwartz et al 1999) conduit la rduction de lespace de recherche des sources avec la
possibilit dutiliser en sus lorientation. On aboutit donc une diminution du temps de calcul,
mais le comportement de lalgorithme nest pas modifi par la contrainte.
Les algorithmes de scanning cherchent une source de type prcis (diple, multiple etc) il se peut
que le modle recherch ne soit pas exactement localis dans la contrainte.
Pour les approches linaires de type norme minimum la contrainte anatomique est indispensable
au fonctionnement de lalgorithme puisquelle est directement intgre dans la rsolution du
problme directe. En effet, la matrice de gain A est calcule partir de la contrainte. Elle dcrit
linfluence des sources potentiellement actives sur chacun des capteurs. Loprateur inverse W en
dpend donc directement.
1
W =RAT ( ARAT +C) (Dale et Sereno 1993)
Les approches non-linaires utilisent galement une contrainte anatomique dans la rsolution de
leur problme inverse sous la forme dune matrice de gain G identique la prcdente.
Cependant lutilisation de potentiels additionnels (Us ici) dans la minimisation permet dimposer
des contraintes plus fines, plus physiologiques. On peut par exemple regrouper des sources par
rapport des a priori de localisation ou au contraire autoriser des discontinuits dactivation. Ces
contraintes dpassent alors le stade de lanatomie pure pour rentrer dans des considrations plus
fonctionnelles.
2
U(jn)= Mn GJn + (Us (jn)+Ut (jn)) (Baillet et al 1997)
Les erreurs de recalage sur une contrainte anatomique peuvent avoir des effets varis en fonction
de lalgorithme inverse utilis et de la nature de la contrainte elle-mme. Si on utilise une
contrainte en position uniquement avec un algorithme type norme minimum on observera un
dplacement de lactivit en cas de mauvais recalage. Par contre si on utilise en sus une
information dorientation lactivit peut disparatre si elle a t dplace sur une zone
composante radiale en MEG.
Centre MEG/EEG Piti-Salptrire

12

Fusion de donnes

Combinaison MEG/EEG
La MEG et lEEG donnent des images diffrentes dun mme phnomne (Wood et al 1985) . Il
est donc logique dessayer de les utiliser de faon conjointe pour la rsolution du problme
inverse (Cohen and Cuffin 1983). On essaiera de tirer parti des avantages en termes de sensibilit
et de simplicit de la MEG en incluant les informations supplmentaires fournies par lEEG sur
les sources profondes et les sources radiales.
En thorie il suffit de construire une matrice de gain puis un oprateur inverse contenant la fois
les informations des capteurs magntiques et des capteurs lectriques. En pratique un problme
de mise lchelle se pose car les signaux MEG et EEG ne sont pas exprims dans les mmes
units. Cette mise lchelle dpend des proprits de conductivit du milieu pour lesquelles des
erreurs importantes sont possibles.
Trois types dapproches ont t proposes :
1- Approches dipolaires : Dans un premier temps on peut localiser les gnrateurs MEG et EEG
sparment pour les comparer et ventuellement en dduire des positions moyennes
(Sutherling et al 1998). De faon plus labore, on peut combiner les oprateurs inverses MEG et
EEG (Stok et al 1987) afin de localiser directement la fois sur les donnes MEG et EEG. Il faut
bien sur avoir rsolu le problme de mise lchelle entre les deux modalits (Voir (Greenblat
1995), (Fuchs et al 1998) et (Diekman et al 1998) ). La plupart du temps les localisations
combines ont t considre de meilleure qualit.
2- Combinaison des oprateurs directs lectriques et magntiques dans lapproche norme
minimum (Dale et Sereno 1993, Liu et al 1998) : Dans ce cadre la matrice A contenant
loprateur direct contient la fois les donnes concernant les capteurs MEG et les capteurs EEG.
Une fois de plus la mise lchelle doit tre ralise, cependant Liu et collaborateurs ont montr
que la prcision de cette mise lchelle peut tre assez rduite sans quelle influence de manire
considrable les rsultats. Les localisations combines MEG/EEG sont toujours meilleures.
3- Combinaison directe des oprateurs directs lectriques et magntiques associe une
minimisation de linformation mutuelle contenue dans la matrice rsultante (Baillet et Garnero
1999). Le problme inverse est ensuite rsolu par la mthode ST-MAP (Baillet et al 1997). Cette
approche permet de minimiser la redondance de linformation dans loprateur direct qui
contribue la sous-dtermination du problme inverse. On montre alors que la combinaison
MEG/EEG est super additive.

Centre MEG/EEG Piti-Salptrire

13

Fusion de donnes

Distribution
de sources

EEG
143

MEG
143

Fusion
71 EEG, 72 MEG

Super additivit de la combinaison MEG/EEG.


Les sources simules sont reprsentes gauche et les rsultats, EEG, MEG puis de la combinaison MEG/EEG
sont reprsents de gauche droite.

Contraintes mtaboliques
Les contraintes mtaboliques permettent dintroduire dans les algorithmes de localisation des a
priori fonctionnels. Ces donnes seront gnralement des informations spatiales sous forme de
localisations dactivits retrouves en IRMf, PET etc La tche des enregistrements
lectromagntiques sera de rvler la dynamique prcise dactivation et dautre part de mettre en
vidence des gnrateurs ayant chapps aux mthodes mtaboliques. En effet, les techniques
lectromagntiques sont des mesures directes de lactivit crbrale alors que les mthodes
mtaboliques mesurent cette activit de faon indirecte soit en utilisant des traceurs soit en
analysant des effets secondaires (comme les variations doxygnation du sang). Il existe donc
potentiellement un biais spatial entre les mthodes. Dautre part toutes les activits lectriques
nont pas forcment des rpercussions mtaboliques dtectables par les techniques actuelles.
Enfin les stimuli idaux pour lacquisition MEEG ne sont souvent pas optimums pour limagerie
mtabolique en termes de dure, de succession et de rptition. La mise au point de stimuli
commun, indispensable en cas de contraintes est donc difficile et peut conduire utiliser des
stimuli non optimaux dans les deux modalits. Les articles suivants traitent en dtail des relations
lectromagntisme/ mtabolisme : Grinvald et al 1986, Masino et al 1993, Grinvald et al 1991,
Cohen et al 1973, Chance et al 1992, Villringer et Chance 1997, Frostig et al 1990, Malonek et
Grinvald 1996, Malonek et al 1997, Grinvald et al 2000.
Les approches de type dipolaire peuvent bnficier de contraintes de type mtaboliques. Il est
possible de placer des diples quivalents aux centres de gravits respectifs de chaque zone
active retrouve en imagerie mtabolique. On calculera ensuite les dcours temporels
dactivation de chacun des diples par exemple en utilisant une pseudo-inversion.
Les approches non-linaires de type norme minimum (Liu et al 1998) peuvent intgrer facilement
des donnes mtaboliques dans leur formalisme au travers de la matrices R de covariance des

Centre MEG/EEG Piti-Salptrire

14

Fusion de donnes
capteurs. On pourra utiliser la diagonale de cette matrice pour augmenter la probabilit
dactivation en un point donn. Les autres termes peuvent tre employs pour dcrir des relations
de corrlations supposes entre les zones actives.
1
W =RAT ( ARAT +C) (Dale et Sereno 1993)

Cohrent

160 ms

180 ms

200 ms

Incohrent

Rsultats MEG contraints par IRMf dans une tache de visualisation de mouvement cohrent (en haut) ou
incohrent (en bas) (Liu et al 1998)

Les approches non-linaires (Baillet et Garnero 1997) intgrent ces informations dans les mmes
potentiels que les contraintes anatomiques.

Centre MEG/EEG Piti-Salptrire

15

Fusion de donnes

Enregistrements EEG/IRMf
Introduction
Lenregistrement simultan de signaux EEG et IRMf permet davoir accs pour un mme
phnomne sa traduction lectromagntique et mtabolique. Ceci permet dans un premier temps
dtudier les correspondances existant entre ces deux techniques et dans un deuxime temps de
les combiner dans la rsolution du problme inverse. Larticle (Bonmassar et al 2001
NeuroImage in Press) prsent dans le paragraphe suivant dcrit les techniques denregistrements
mis au point au MGH-NMR Center Boston ainsi que les validations effectues sur un
paradigme visuel simple.

Spatiotemporal Brain Imaging of Visual Stimulation using


Simultaneous EEG and fMRI Recordings.
G. Bonmassar*, D. P. Schwartz*, A. K. Liu*, J. Ives , K. K. Kwong*, A. M. Dale*, J. W.
Belliveau*

NMR Center, Massachusetts General Hospital, Charlestown MA 02129.

Neurology Dept., Beth Israel Deaconess Medical Center, Boston MA 02215.

Manuscript correspondence should be addressed to:


Dr G. Bonmassar
Building 149, 13th Street
Charlestown, MA 02129
Tel. (617) 726 8791
FAX (617) 726 7422
E-mail: giorgio@nmr.mgh.harvard.edu

Centre MEG/EEG Piti-Salptrire

16

Fusion de donnes

Abstract
Combined analysis of electroencephalography (EEG) and functional magnetic resonance
imaging (fMRI) has the potential to provide higher spatiotemporal resolution than either method
alone. In some situations, where the activity of interest cannot be reliably reproduced (e.g.
epilepsy, learning, sleep states), accurate combined analysis requires simultaneous acquisition of
EEG and fMRI. Simultaneous measurements ensure that the EEG and fMRI recordings reflect
the exact same brain activity.
We took advantage of the spatial filtering properties of the bipolar montage to allow recording of
evoked potentials with fMRI. These EEG and fMRI measurements are of sufficient quality to
allow source localization of the cortical generators. In addition, our source localization
approach provides a principled combined EEG/fMRI analysis, without requiring any manual
selection of fMRI activations or placement of source dipoles.
Separate analysis of each of these two techniques demonstrated good spatial overlap of the
observed activated areas. As expected, the combined EEG/fMRI analysis provided better
spatiotemporal resolution than either approach alone. Ultimately, this type of simultaneous
acquisition and analysis will allow true multimodal imaging for the accurate characterization of
neurophysiological activity in the human brain.
Introduction
Functional Magnetic Resonance Imaging (fMRI) and Electroencephalography (EEG)
reflect two fundamentally different aspects of brain activity. fMRI measures changes in the
blood oxygenation (Belliveau et al. 1991; Kwong et al. 1992; Ogawa et al. 1992), whereas EEG
measures the electric potential directly generated by neuronal activity (Regan 1989). While the
underlying physiological mechanisms are different from fMRI (hemodynamic) and EEG
(electromagnetic), these measurements are complementary in their spatiotemporal resolutions.
fMRI has high spatial resolution, typically on the order of millimeters (Moonen and Bandettini
1999), while EEG has millisecond temporal resolution (Regan 1989).
Although separate measurements of fMRI and EEG will be adequate for many situations,
simultaneous acquisition is necessary when the activity of interest cannot be easily reproduced.
For example, in epilepsy patients, spontaneous interictal activity (epileptiform activity between
seizures) may vary from spike to spike, which may reflect different cortical generators.
Simultaneous EEG/fMRI recordings have been used (Krakow et al. 1999; Seeck et al. 1998;
Warach et al. 1996) to measure the interictal activity with the hypothesis that interictal
epileptiform discharges are likely to produce a focal change measurable by fMRI (Ives et al.
1993). While those studies used the simultaneously recorded EEG to monitor for the presence of
interictal activity, they did not use the EEG collected for any type of localization.
Other work has combined the analysis of functional magnetic resonance imaging, electrical and
magnetic physiological data that was collected separately. These studies include (a) Positron
emission tomography (PET) and EEG (Heinze et al. 1998; Heinze et al. 1994; Snyder et al. 1995)
(b) fMRI and EEG (Opitz et al. 1999) (c) fMRI and magnetoencephalography (MEG) (Ahlfors et
al. 1999; Korvenoja et al. 1999) (d) fMRI, MEG and EEG (Morioka et al. 1995) (e) fMRI, EEG
and invasive recordings (Luck 1999), and (f) PET, MEG and invasive recordings (Lamusuo et al.
1999). All of these studies primarily used the spatial information from the functional imaging
data to guide the placement of current dipoles for the EEG and/or MEG inverse solution. This

Centre MEG/EEG Piti-Salptrire

17

Fusion de donnes
type of combined analysis requires significant manual intervention, since one must decide
whether to place a dipole in a region of fMRI activation.
This paper presents, for the first time, complete spatiotemporal image analysis using: (i)
simultaneous EEG/fMRI recordings, (ii) realistic forward head model and (iii) combined
analysis, with fMRI as a constraint to localize EEG data. We collect evoked response potentials
to a visual stimulus along with fMRI at 1.5 Tesla. Both types of data were of sufficient quality to
allow source localization. In addition, our combined fMRI/EEG inverse procedure allows a
principled combination of the spatial information provided by fMRI, without any manual
selection of fMRI activations.
Materials and Methods.
Subject Information: Three normal volunteers were scanned (two male, one female) ages 28 - 37.
Informed consent was obtained from each subject prior to the experiment in accordance with
Massachusetts General Hospital policies (IRB #1999-P-010946/1; MGH). All subjects have
normal or corrected to normal vision. The SNR of the BOLD recording for the second male
subject was not sufficient for our analysis, therefore we present results only for the remaining two
subjects.
Anatomical MRI acquisition: Anatomical MRI was performed using a quadrature birdcage
transmit/receive head coil on our 1.5 T scanner (General Electric, Milwaukee, WI). For each
subject, three whole head acquisitions were collected using T1 weighted 3D-SPGR (TR/TE = 24
ms/8 ms) sequence with 124 slices 1.3 mm thick (matrix size 256192, FOV 25 cm). The
individual acquisitions were motion corrected and averaged to increase gray/white matter contrast
to noise.
Functional MRI acquisition: Functional MRI was performed on the same 1.5 T scanner, using a
quadrature birdcage transmit/receive head coil. The first echo-planar sequence was a T1weighted spin-echo inversion recovery (TR/TE/TI = 2s / 20 ms / 800 ms) used to acquire 10
slices (7 mm-thick, 1 mm gap, 1.56 mm 1.56 mm in-plane resolution) oriented perpendicular to
the calcarine fissure. These images were later used to coregister the functional data with the
subjects anatomical MRI set. Functional MRI data were acquired from those same slices using a
gradient echo sequence (TE/TR = 50 ms/1000 ms) with the same slice thickness and gap, but 3.1
mm 3.1 mm in-plane resolution. We have designed our own gradient echo sequence adapted
for interleaved fMRI and EEG acquisition (Fig. 1). The sequence allows for 30 seconds of
continuous fMRI acquisition, followed by a window of 30 seconds without MRI scanning for
clean EEG acquisition. Both fMRI and EEG windows were structured to include 15 seconds of
checkerboard reversal visual stimulation followed by 15 seconds of fixation. This interleaved
EEG/fMRI sequence cycles for 15 minutes for each run and data was collected from each subject
for a total of 2 runs or 450 fMRI time points. A workstation (SGI - O2) was used to trigger both
the MRI scanner and the EEG acquisition hardware, Fig. 1 shows the timing diagram for these
two types of trigger used. The external triggering of the MRI scanner was necessary to achieve
accurate synchrony with the EEG triggering and to avoid time-out of the General Electric scanner
system. After approximately 19 seconds from the beginning of the EEG window a MRI trigger
pulse was sent to the scanner to avoid this time-out glitch. This pulse was sent during fixation in
the EEG window and did not interfere with the EEG acquisition.

Centre MEG/EEG Piti-Salptrire

18

EEG
trigger

fMRI
trigger

Stimulus
Presentation

Fusion de donnes
15 sec of 4-8 Hz
Checkerboard
Reversal

15 sec of
fixation

15 sec of 4-8 Hz
Checkerboard
Reversal

15 sec of
fixation

EEG/VEP
Window
30 sec

fMRI Window
30 sec

TO

100 msec

RT
Time
Fig. 1: The sequence used for interleaved EEG/fMRI recordings. In blue are depicted the triggers
that are delivered to the EEG recording system, in orange the triggers that are delivered to the
1.5 Tesla scanner system and on the top is sketch of the stimulus presentation. RT in the figure
indicates the delay needed for the recovery time of the amplifiers from the transients generated
during scanning, due to influence of RF and magnetic gradient switching. TO is the fMRI
pulse sent to the scanner to avoid time-out. The sequence in figure is repeated 15 times in each
run (2 runs @ 4 Hz, 1 run @ 8 Hz) to collect a total of 1,200 epochs.
We examined both structural and functional scans for possible local artifacts of the MRI
due to the presence of the EEG cap (Quickcap, Neuro Scan Labs) on the subjects head. Fig. 2
shows that the position of electrodes is visible in the structural scans as signal dropout, but the
contrast of the brains parenchyma was not affected by the presence of the electrodes.

Centre MEG/EEG Piti-Salptrire

19

Fusion de donnes

Fig. 2: (Top) EPI high resolution T1 weighted images. The presence of the electrodes can be
clearly seen on the structural images (see green arrows). (Bottom) EPI gradient echo images, all
the different slices acquired are unaffected from any type of image artifact despite the presence of
an EEG cap with 32-electrodes on the subjects head.
fMRI Analysis: At the beginning of each fMRI window, the spins are back into a resting state
after more than 10 seconds without RF excitation during the EEG window. Statistical analysis of
the MRI signal was done after removing the first five (5) time points from each fMRI window,
given the initial lack of equilibrium of the spins in each slice (Ernst et al. 1990). Fig. 3 shows this
problem in detail: at the beginning of each fMRI window the spins are in a complete relaxation
state and an overshoot response is visible. In a previous study we found that it is sufficient to
discard the first five time points at the beginning of each fMRI window.
We applied a Gaussian smoothing kernel (FWHM of 1 voxel) to the raw fMRI data.
Then, the fMRI data was analyzed using the standard Students t-test (MEDx, Sensor Inc.)
comparing fixation to checkerboard visual stimulation. The standard MEDx algorithm for
cluster analysis was used with a Z score threshold of 2.3, the details of this method can be found
in (Friston et al. 1994).
900
800
700
600
500
400
No scanning

300
0

30

No scanning
60

90

No scanning
120

150

180

Time (s)

Fig. 3: The MRI signal using our gradient echo sequence at an arbitrary voxel, this time course
shows the overshoot problem of lack of equilibrium for the spins at the beginning of the fMRI
window. We selected a voxel without activation to show that the overshoot is much larger than
the common fluctuations of the BOLD signal.

Centre MEG/EEG Piti-Salptrire

20

Fusion de donnes
EEG acquisition: Continuous EEG was recorded inside the 1.5 T magnetic field with a 32channel OptiLink EEG (Neuro Scan Labs, Sterling, VA), amplified using SynAmps (Neuro Scan
Labs) and all subjects were wearing a 32-channel MRI compatible Quickcap (Neuro Scan Labs).
We reap the benefits of the spatial filtering properties (Bonmassar et al. 1999) of the bipolar
montage to reduce ballistocardiogram noise (Schomer et al. 2000). All EEG recordings were
short-chained bipolar from the modified cap. (We modified the MRI compatible Quickcap to
obtain the following bipolar montage (-) (+): 1.CzC3 2.C3T7 3.T7M1 4.M1M2
5.M2T8 6.T8C4 7.C4Cz 8.FP1F3 9.F3FC3 10.FC3C3 11.C3CP3 12.CP3P3
13.P3O1 14.FP2 F4 15.F4 FC4 16.FC4 F4 17.C4 CP4 18.CP4 P4 19.P4O2
20.F7FT7 21.FT7T7 22.T7TP7 23.TP7P7 24.F8FT8 25.FT8T8 26.T8TP8
27.TP8P8 28.FzFCz 29.FCzCz 30.CzCPz 31.CPzPz 32.PzOz). The data were
acquired with a PC (400 MHz Pentium PII) running the Scan acquisition software (Neuro Scan
Labs). Bandpass filtering was performed from 0.5 Hz to 70 Hz and a subsequent 50 Hz
Butterworth lowpass IIR filter with a Hanning window (1024 points) was applied. An O2
workstation (SGI, Mountain View, CA) sent triggering signals to the scanner and generated the
visual stimulus that was synchronized to this scanner. Trigger signals were also sent to the
SynAmps to tag the stimulus events for subsequent binning, temporal epoching and averaging of
EEG data into the relevant EP averages according to stimulus type and experimental condition.
The electrode positions were digitized using a Fastrack 3D digitizer (Polhemus, Colchester, VT).
Before applying the linear estimation algorithm, we discarded 3 to 5 noisy channels based on
visual inspection.
The EEG window had an ISI of 125 ms for subject NH and 250 ms for subject DS, 1200 epochs
were collected for each subject.
Visual Stimuli: Each epoch of the visual stimulus consisted of 15 seconds of a full-field reversing
checkerboard pattern (4-8 Hz frequency) followed by 15 seconds of uniform gray field. In all
conditions, a central fixation spot was present. The 1010 black and white checkerboard pattern
was rear-projected by a color LCD projector, through a collimating lens onto an acrylic screen
(visual field 40 25). The screen was positioned inside the magnet, immediately below the
subject's jaw. A mirror was interposed between, and oriented approximately 45 to the screen
and the subject's line of sight.
Forward Solution: We used a realistic boundary element method (BEM) for calculating the EEG
forward solution (de Munck 1992; Oostendorp and van Oosterom 1992). The EEG forward
solution computation requires the conductivity boundaries (inner skull boundary, outer skull
boundary, and outer skin boundary), the relative conductivities for each region, the locations of
all possible sources, and the EEG electrode locations. All surfaces were automatically
reconstructed from the structural MRI acquisition using a previously described technique (Dale et
al. 1999; Dale and Sereno 1993; Fischl et al. 1999). 642 vertices represent each conductivity
boundary. Typically, the cortical surface is initially tessellated with about 150,000 vertices per
hemisphere. This representation of the cortical surface is used for display. For the inverse
computation, the cortical surface is decimated to approximately 3000 dipoles per hemisphere,
which is roughly equivalent to 1 dipole every 10 mm along the cortical surface. We used a
conductivity ratios for brain:skull:scalp of 1:80:1.

Centre MEG/EEG Piti-Salptrire

21

Fusion de donnes

Fig. 4: Boundary surfaces used in the three-shell model to compute the forward solution based on
BEM (Subject NH).
Inverse Solutions: We used the linear estimation approach (Dale and Sereno 1993; Hamalainen et
al. 1993; Hamalainen and Ilmoniemi 1984; Liu et al. 1998b; Sarvas 1987; Wang et al. 1992) to
localized the brain activity for EEG data alone and for fMRI constrained EEG. We computed an
optimal linear inverse operator (W), which maps the external electromagnetic field measurements
(x) into estimated source activities ( s ) within the brain. This inverse operator explicitly
minimizes the expected error between the estimated and actual activity distribution (s). The
calculation incorporates the forward solution (A), a priori spatial constraints (R) and sensor noise
characteristics (C). We constrained the source locations, but not the source orientations, by the
cortical surface. The expression for the inverse operator is:
1
W = RA T ARA T + C
(1)
This linear inverse operator provides an estimate of source activity for each time point
independently of the other time points. Then, the estimated source activities are given by the
simple expression:
s = Wx
(2)
When analyzing the EEG data alone, we have no prior spatial information, and thus the R matrix
is the identity matrix. For the fMRI-constrained solution, the R matrix is constructed as follows:
each fMRI location on the cortex that is activated, according to the result of cluster analysis
(Friston et al. 1994), is set to 1 and the other locations are set to 0.01. These values correspond to
a relative fMRI weighting of 90%, and provide robustness of the solution in the face of misspecifications of the fMRI (Liu et al. 1998a).
Representation of the results: For display of both the fMRI and the EEG localization results we
used the reconstructed pial surface. The cortical surface reconstruction is described in detail in
(Dale et al. 1999; Dale and Sereno 1993; Fischl et al. 1999; Sereno et al. 1995).

Results
For both subjects, we were able to record both their evoked potentials and fMRI, and to use those
measurements for localization of the cortical activity independently in both modalities. A typical
subset of the bipolar evoked potential measurements is shown in Fig. 5A. In both subjects there
were two peaks of activity. The variance of the signal for one bipolar channel (channel 32, in the
occipital lobe) is shown in Fig. 5B. The spatial distribution of the scalp potentials was typical of

Centre MEG/EEG Piti-Salptrire

22

Fusion de donnes
evoked potentials of visual stimuli, where the maximum voltage swings are measured in the
occipital region (Fig. 6).
6
4
P3-> O1
Pz -> Oz
P4 -> O2
CP3 -> P3
CPz -> Pz
CP4 -> P4

2
0
-2
-4
-6
1

11

21

31

41

51

61

71

81

91

101

111

121

Time (ms)

(A)
8
6
4
2
0
-2
-4
-6
-8
1

11

21

31

41

51

61

71

81

91

101

111

121

Time (ms)

(B)
Fig. 5: (A) Evoked potentials collected from subject NH, positive in the upward direction,
collected during fMRI. (B) Average variance of the bipolar recording in channel Pz->Oz.

Centre MEG/EEG Piti-Salptrire

23

Fusion de donnes
Fig. 6: Evoked potentials collected from Subject NH, during simultaneous EEG/fMRI. Potentials
are displayed in V units.
The simultaneously collected fMRI results (Z scores) are displayed on the medial aspect
of the pial surface in Fig. 7A. For subject DS we present the left hemisphere and for subject NH
we present right hemisphere. The fMRI activity was consistently localized to the posterior
portion of the calcarine sulcus. The Talairach coordinates of the fMRI activity are given in Table
1.
Subject
X
Y
Z
NH (left hemisphere)

-10.8

-78.5

-13.6

NH (right hemisphere)

6.7

-86.8

0.4

DS (left hemisphere)

10.8

-86.1

-2.6

DS (right hemisphere) -7.3


-82.1
-6.1
Table 1: Talaraich center of mass coordinates for the functional MRI activations of the two
subjects
Using the EEG measurements alone, we used the linear estimation approach to localize the
cortical generators of the scalp EEG (Fig. 6B). In both subjects, the cortical activity was
localized along the entire length of the calcarine sulcus. For subject DS the activity was primarily
on the lower bank, whereas for subject NH the activity encompassed both upper and lower banks.
For each subject, the EEG localization was similar in location to the fMRI results, but was larger
in extent.
The fMRI constrained EEG localization results are shown in Fig. 7C. For both subjects the
localizations are similar to the fMRI results and considerably more focal than the unconstrained
EEG localizations. For subject DS the two peaks of activity occurred at 71 ms and 150 ms. For
subject NH the first peak had a latency of 53 ms and the second, 106 ms.

Centre MEG/EEG Piti-Salptrire

24

Fusion de donnes

Fig. 7: Spatial localization of the fMRI (A), EEG alone (B), and fMRI constrained EEG (C). The
activity is displayed on the medial aspect of the pial surface of the left (Subject DS) and right
(Subject NH) hemispheres.
Seven snapshots of the cortical activity movie, without and with fMRI constraint, are shown for
Subject NH in Fig. 8. The peaks of activity occur at the same time for both the EEG (alone)
localization and the fMRI constrained localization. One can again see that the spatial extent of
Centre MEG/EEG Piti-Salptrire

25

Fusion de donnes
the fMRI constrained EEG localization is more focal than the results based on EEG
measurements alone.

Fig. 8: Spatiotemporal brain imaging of the cortical activity for the subject NH showing the
activations of the occipital region of the neocortex during the flashing checkerboard task. The
upper row contains localizations for EEG alone. The bottom row show localizations for fMRI
constrained EEG.
Discussion
Using our state-of-the-art hardware and software, we simultaneously recorded and
localized the hemodynamic and electric response of the brain to the exact same visual stimulus.
We found good agreement between independently analyzed fMRI and the EEG localization
results, consistent with the theory that there is coupling between neuronal activity and
hemodynamic change (Grinvald et al. 2000). As expected from model studies (Liu et al. 1998a),
the combined analysis of the fMRI and EEG characterized the cortical generators with higher
spatiotemporal resolution than either technique alone.
Previous simultaneous EEG/fMRI studies recorded interictal activity, which has peak
potentials well over 50 V and is visible in the spontaneous EEG recordings. These studies,
however, utilized the EEG only to manually trigger the fMRI. We were able to make
measurements of the much smaller evoked potentials that cannot be seen in unaveraged
recordings. These evoked potentials were of sufficient quality to allow actual cortical source
localization, not just as a trigger for functional acquisitions. Finally, the inverse approach we
used allowed a principled combination of the fMRI and EEG data. We were not required to
make any manual selection of dipole locations from the fMRI data.
However, there were some limitations to this technique. Primarily, the low SNR of both the fMRI
and EEG would limit the range of applications. For example, currently we would be unable to
study cognitive paradigms that do not generate relatively large changes in hemodynamics or
evoked potentials. The SNR of both the fMRI and EEG measurements were low mainly because
of motion of the subjects. This subject motion was partially caused by discomfort from the EEG
cap (as reported by all subjects), given that the EEG electrodes were mounted on protruding
plastic cups. In this 32-channel EEG cap only three occipital electrodes supported the whole
weight of the subjects head. Additionally the EEG was corrupted by noise due to other types of
motion (e.g. due to breathing and heartbeat) of the closed loops that are formed by EEG
electrodes, leads and skin. The motion of conductors inside a magnetic field will induce a
potential (i.e. noise) in those conductors.

Centre MEG/EEG Piti-Salptrire

26

Fusion de donnes
We are planning to address these limitations in future studies. The cap comfort can be improved
by reducing the profile of the electrodes and increasing the caps padding. We are considering
adaptive filtering to further improve the SNR of the EEG bipolar recordings during fMRI.
Furthermore, we are developing the next generation of EEG amplifiers for simultaneous
recordings with higher common mode rejection ratio to improve the SNR of bipolar recordings.
This improved amplifier will also include zero transient time that will allow more efficient use of
experiment time.
We have demonstrated that it is possible to simultaneously collect EEG and fMRI, with high
enough quality to allow for combined modality source localization. This work represents a
significant advancement over previous work (Bonmassar et al. 1999), both in terms of the
hardware used to collect the simultaneous measurements and the use of a principled
multimodality inverse approach. Further improvements in these technologies will provide an
optimal tool to non-invasively investigate the spatiotemporal dynamics of human brain activity.

Acknowledgments
This study was supported by grants from the Whitaker Foundation, United States Public Health
Service NIH RO1 NS37462, and conducted during the tenure of an Established Investigatorship
from the American Heart Association to JWB. We acknowledge the Salk Institute for the use of
the ICA toolbox.

Centre MEG/EEG Piti-Salptrire

27

Fusion de donnes

Reprsentation des rsultats


Introduction
La visualisation des rsultats, dernire tape du processus de localisation, doit permettre
l'valuation de la cohrence des reconstructions obtenues dans leur contexte anatomique en
fonction des donnes anatomo-fonctionnelles connues a priori. Dans le mme temps, elle doit
permettre une interprtation la plus objective possible des phnomnes physiologiques ou
physiopathologiques mis en vidence par les localisations. En d'autres termes, une bonne
mthode de reprsentation met en vidence les caractristiques spatiales et temporelles des
localisations tout en conservant le maximum d'informations anatomiques.

Mthodes de visualisation classiques


La mthode la plus utilise pour reprsenter des localisations est la superposition des rsultats sur
des coupes IRM (gnralement des coupes sagittales, axiales ou coronales) (Reite et coll. 1988,
Yamamoto et coll 1988, Pantev et coll. 1990). Il est possible de reprsenter soit des diples
quivalents (sous forme d'un point et d'une direction projete dans le plan concern), soit de
reprsenter des rsultats obtenus avec des contraintes anatomiques l'aide d'un code de couleur
reprsentant soit l'intensit d'activation en un point donn soit la probabilit d'existence d'une
source en un point donn. Cette mthode a l'avantage de fournir des renseignements anatomiques
trs prcis grce la rsolution spatiale millimtrique de l'IRM. Dans ce cadre le recalage de ces
informations anatomo-fonctionnelles avec un atlas anatomique de type Talairach (Talairach et
Tournoux 1988) permet une identification trs rapide des structures crbrales actives. Si les
informations anatomiques sont trs prcises, il est par contre trs difficile de comprendre et
d'interprter l'aspect dynamique des localisations car la complexit de l'information anatomique
empche l'analyse des caractristiques temporelles des localisations. On a une vision latence par
latence du phnomne tudi et non une vision globale sur l'ensemble du temps d'activation des
diffrents gnrateurs. Cette dgradation de l'information temporelle empche l'exploitation
complte de l'avantage de l'EEG et de la MEG en termes de rsolution temporelle. Plusieurs
approches sont possibles pour permettre l'interprtation de l'aspect temporel des localisations.
Concernant la reprsentation de sources tendues, Il est possible de construire des animations
couvrant l'ensemble du temps d'analyse. Les rsultats sont particulirement spectaculaires sur une
vue 3D du cerveau segment o l'on pourra suivre l'volution de l'activation dans sa globalit
(Barillot et coll. 1996). Par contre toutes les activations touchant du cortex enfoui dans les sillons
corticaux sont invisibles et trs difficiles suivre sur les coupes 2D. L'analyse des donnes
enfouies ncessite l'utilisation soit dune mthode de simplification de lanatomie comme une
segementation des sillons (Le Goualher et al 1997) ou d'une mthode de dplissement ou
aplanissement du cortex de faon faire apparatre les parties caches du cortex (Dale et Sereno
1993, Dale et coll. 1998).

Centre MEG/EEG Piti-Salptrire

28

Fusion de donnes

Reprsentation des rsultats MEG sur une tche de vocalisation recal avec latlas de Talairach

Reprsentation des rsultats MEG sur une tche de vocalisation au cours du temps
Les points appartenant la matire grise sont utiliss comme contrainte anatomique. Les couleurs reprsentent
la probabilit [0.98-1.0] de localiser une source dipolaire un endroit donn. Plus la couleur est chaude et plus la
probabilit est importante.

Centre MEG/EEG Piti-Salptrire

29

Fusion de donnes

Post traitements de lIRM Visualisation avance


Plusieurs mthodes de visualisation avances de donnes fonctionnelles 4D (cest--dire en
conservant laspect temporel) permettant de garder suffisamment de nonnes anatomiques sont
la disposition des chercheurs. Toutefois elles ncessitent gnralement des post-traitements de
lIRM trs lourds en temps de calcul.
Nous en citerons deux ici :
Une visualisation base sillons corticaux segments
Une visualisation base de cerveau gonfl
Visualisation Sillons
Segmentation automatiques des sillons
Les sillons sont extraits partir l'IRM 3D (Le Goualher et al. 1997). Cette mthode modlise les
sillons corticaux l'aide d'un ruban actif dcrivant l'ame des sillons (c'est--dire la partie
mdiale). Cette modlisation permet de dcrire numriquement les sillons et particulirement les
parties les plus profondes.
Reprsentation des localisations
La reprsentation des localisations est obtenue grce un rendu 3D surfacique. On reprsente les
sillons de la zone d'intrt (zone perisylvienne pour l'tude du langage par exemple). Les diples
quivalents sont reprsents l'aide de sphres dont la couleur indique la latence de localisation.
L'ensemble est manipulable (rotation, translation, zoom, clairage) en temps rel sur la station.

Visualisation des rsultats MEG sur une tche de mentalisation (Morandi 1997)
Les sphres reprsentent les diples localiss entre 0 et 300 ms aprs le stimulus sonore. Leur couleur indique la
latence de localisation Les sillons suivant de l'hmisphre gauche sont labliss : le Sillon Frontal Suprieur (SFS),
Le Sillon Post Central (PostCS), La valle sylvienne (SF) et le Sillon Temporal Infrieur (ITS).

Centre MEG/EEG Piti-Salptrire

30

Fusion de donnes
Visualisation Cerveau gonfl
Gonflement du cerveau
Le gonflement (virtuel ) dun cerveau a pour but de faire ressortir les parties du cortex enfouies
dans les sillons et donc caches sur les visualisations standards. Dale et collaborateurs (Dale et al
1998) ont mis au point un ensemble dalgorithme permettant dobtenir ce gonflement partir
dune IRM 3D avec une paisseur de voxel de lordre du millimtre cube.

Visualisation de lensemble des gnrateurs dune pointe inter-critique en pilepsie


Nous avons reprsent ici sur la surface de la matire grise et sur un cerveau gonfl lensemble des gnrateurs
localiss au cours de la pointe inter-critique reprsente en bas de la figure.

Visualisation 4D
On peut utiliser les cerveaux gonfls pour construire une representation statique (pas un film)
mais contenant quand mme des informations temporelles. Il suffit de surperposer lactivation
une couleur indiquant la latence dapparition de cette activit.

Centre MEG/EEG Piti-Salptrire

31

Fusion de donnes

Visualisation 4D des gnrateurs dune pointe inter-critique en pilepsie sur un cerveau gonfl.
Les zones actives ont t codes laide dune couleur reprsentant leur latence dactivation (du rouge vers
lorange, le vert et le bleu). Les zones rouges reprsentent donc les gnrateurs initiaux de lvnement intercritique.

Centre MEG/EEG Piti-Salptrire

32

Fusion de donnes

Synthse
Une seule mthode de visualisation des rsultats de localisation MEG/EEG ne suffit pas pour tre
en mesure d'interprter l'ensemble des informations anatomiques et fonctionnelles car il est
difficile d'avoir sur une mme vue, l'ensemble des informations spatiales et temporelles. Dans un
premier temps, il est logique de visualiser classiquement les localisations sur l'IRM. On identifie
ainsi prcisment les diffrentes zones anatomiques actives. Les reprsentations 3D donnent une
vision plus globale du phnomne sur le plan temporel et spatial en surface du cerveau. Suite
ces deux tapes, il alors assez simple de slectionner les rsultats les plus intressants pour en
dduire une reprsentation trs synthtique en 3D avec les sillons corticaux. Cette reprsentation
permet d'analyser de faon plus globale les proprits spatio-temporelles des phnomnes mis en
vidence et ventuellement de comparer avec efficacit des rsultats entre diffrents sujets. Les
reprsentations base de cerveau gonfl quelles soient 3D ou 4D permettent quant elles
davoir une reprsentation synthtique de lensemble de de lactivation tout en gardant une trs
bonne ide de lanatomie.

Centre MEG/EEG Piti-Salptrire

33

Fusion de donnes

Conclusion
Il faut :
1- Un bon recalage MEEG/IRM.
2- Une bonne segmentation de linterface gris/blanc.
3 - Toujours penser la possibilit dune sur-contrainte de lalgorithme inverse, donc
toujours regarder ces donnes avec des mthodes simples dabord.
4- Les mthodes mtaboliques ne sont pas des gold standard
5- Choisir une reprsentation 3D ou 4D adapte vos donnes.
6-

Centre MEG/EEG Piti-Salptrire

34

Fusion de donnes

Rfrences
Ahlfors, S. P., Simpson, G. V., Dale, A. M., Belliveau, J. W., Liu, A. K., Korvenoja, A.,
Virtanen, J., Huotilainen, M., Tootell, R. B., Aronen, H. J., and Ilmoniemi, R. J. (1999).
Spatiotemporal activity of a cortical network for processing visual motion revealed by MEG and
fMRI. J Neurophysiol, 82(5): 2545-55.
Barillot, C., Schwartz, D., Le Goualher, G., Gibaud, B. and Sacarabin, J-M. Representation of
MEG/EEG data in a 3D morphological environment. Computer Assisted Radiology, 1996, 249254.
Baillet-S; Garnero-L. A Bayesian approach to introducing anatomo-functional priors in the
EEG/MEG inverse problem. IEEE-Trans-Biomed-Eng. 1997 May; 44(5): 374-85.
Baillet-S; Garnero-L; Marin-G; Hugonin-JP. Combined MEG and EEG source imaging by
minimization of mutual information. IEEE-Trans-Biomed-Eng. 1999 May; 46(5): 522-34.
Belliveau, J. W., Kennedy, D. N., McKinstry, R. C., Buchbinder, B. R., Weisskoff, R. M., Cohen,
M. S., Vevea, J. M., Brady, T. J., and Rosen, B. R. (1991). Functional mapping of the human
visual cortex by magnetic resonance imaging. Science, 254: 716-719.
Bonmassar, G., Anami, K., Ives, J., and Belliveau, J. W. (1999). Visual Evoked Potential (VEP)
Measured by Simultaneous 64-Channel EEG and 3T fMRI. NeuroReport, 10(9): 1893-1897.
Cohen, D., Cuffin, B. N., Yunokuchi, K., Maniewski, R., Purcell, C., Cosgrove, G. R., Ives, J.,
Kennedy, J. and Schoner, D. MEG versus EEG localization test using implanted sources in the
human brain. Ann. Neurol., 1990, 28:811-817.
Cohen, D., Cuffin, B.N. Demonstration of useful differences between magnetoencephalogram
and electroecephalogram, Electroenceph. clin. Neurophysiol., 1983, 56:38-51.
Dale, A. M., Fischl, B., and Sereno, M. I. (1999). Cortical Surface-Based Analysis I:
Segmentation and Surface Reconstruction. NeuroImage, 9: 179-194.
Dale, A. M., and Sereno, M. I. (1993). Improved localization of cortical activity by combining
EEG and MEG with MRI cortical surface reconstruction: A linear approach. J. Cog. Neurosci.,
5(2): 162-176.
de Munck, J. C. (1992). A linear discretization of the volume conductor boundary integral
equation using analytically integrated elements. IEEE Trans. Biomed. Eng., 39(9): 986-990.
Diekmann V, Becker R, Grzinger B et al (1998) Localisation of epileptic foci with electric,
magnetic and combined electromagnetic models Electroenceph. Clin. Neurophysiol., 106, 297313
Ernst, R. R., Bodenhausen, G., and Wokaun, A. (1990). Principles of Nuclear Magnetic
Resonance in One and Two Dimensions, Oxford Univ Press, Oxford.

Centre MEG/EEG Piti-Salptrire

35

Fusion de donnes

Evans, A.C., Marret, S., Collins, L., Peters, T.M. Anatomical-functional correlative analysis of
the human brain using three dimensional imaging systems. In: Schneider R.H., Dwyer III S. J,
Gilbert Jost R. (Eds): Proc SPIE Vol 1092, Med Im III: Image Processing, SPIE Press,
Bellingham, WA, 1989: 264-274.
Fischl, B., Sereno, M. I., and Dale, A. M. (1999). Cortical Surface-Based Analysis II: Inflation,
Flattening, and a Surface-Based Coordinate System. NeuroImage, 9: 195-207.
Friston, K. J., Jezzard, P., and Turner, R. (1994). Analysis of functional MRI time series. Human
Brain Mapping, 1: 153-171.
Fuchs,W., Wischmann, H.A., Koher, T. Theiffen, A., Drenckahn, R., Buchner, H. (1998),
Improving source reconstruction by combining biolectric and biomagnetic data, Electroenceph.
Clin. Neurophysiol., 107, 93-111.
Gevins, A. Dynamic functional topography of cognitive tasks. Brain Topography, 1989, 2:37-56.
Gevins, A., Brickett, P., Costales, B., Le, J., and Reutter B. Beyond topographic mapping:
Towards functional-anatomical imaging with 124-channel EEGs and 3-D MRIs. Brain
Topography, 1990, 3:53-64.
Grinvald, A., Slovin, H., and Vanzetta, I. (2000). Non-invasive visualization of cortical columns
by fMRI. Nat Neurosci, 3(2): 105-107.
Hamalainen, M., Hari, R., Ilmoniemi, R. J., Knuutila, J., and Lounasmaa, O. V. (1993).
Magnetoencephalography - theory, instrumentation, and application to noninvasive studies of the
working human brain. Review of Modern Physics, 65: 413-497.
Hamalainen, M. S., and Ilmoniemi, R. J. (1984). Interpreting measured magnetic fields of the
brain: estimates of current distributions, Helsinki Univ. of Technology, Helsinki, Finland.
Heinze, H. J., Hinrichs, H., Scholz, M., Burchert, W., and Mangun, G. R. (1998). Neural
mechanisms of global and local processing. A combined PET and ERP study. J. Cogn. Neurosci.,
10(4): 485-498.
Heinze, H. J., Mangun, G. R., Burchert, W., Hinrichs, H., Scholz, M., Munte, T. F., Gos, A.,
Scherg, M., Johannes, S., Hundeshagen, H., and et al. (1994). Combined spatial and temporal
imaging of brain activity during visual selective attention in humans. Nature, 372(6506): 543546.
Hill D.L.G., Hawkes, D.J., Crossman, J.E., Gleeson, M.J., Cox, T.C.S., Bracey, E.C.M.L.,
Strong, A.J., Graves P. Registration of MRI and CT images for skull base surgery using point-like
anatomical features. Brit. J. Radiol., 1991, 35:1030-1035.

Centre MEG/EEG Piti-Salptrire

36

Fusion de donnes
Ives, J. R., Warach, S., Schmitt, F., Edelman, R. R., and Schomer, D. L. (1993). Monitoring the
patient's EEG during echo-planar MRI. Electroenceph. Clin. Neurophysiol., 87: 417-420.
Korvenoja, A., Huttunen, J., Salli, E., Pohjonen, H., Martinkauppi, S., Palva, J. M., Lauronen, L.,
Virtanen, J., Ilmoniemi, R. J., and Aronen, H. J. (1999). Activation of multiple cortical areas in
response to somatosensory stimulation: combined magnetoencephalographic and functional
magnetic resonance imaging. Hum Brain Mapp, 8(1): 13-27.
Krakow, K., Woermann, F. G., Symms, M. R., Allen, P. J., Barker, G. J., Duncan, J. S., and Fish,
D. R. (1999). EEG-triggered functional MRI of intertictal epileptiform activity in patients with
partial seizures. Brain, 122: 1679-1688.
Kwong, K. K., Belliveau, J. W., Chesler, D. A., Goldberg, I. E., Weisskoff, R. M., Poncelet, B.
P., Kennedy, D. N., Hoppel, B. E., Cohen, M. S., Turner, R., Cheng, H. M., Brady, T. J., and
Rosen, B. R. (1992). Dynamic magnetic resonance imaging of human brain activity during
primary sensory stimulation. Proc. Natl. Acad. Sci. USA, 89: 5675-5679.
Lamusuo, S., Forss, N., Ruottinen, H. M., Bergman, J., Makela, J. P., Mervaala, E., Solin, O.,
Rinne, J. K., Ruotsalainen, U., Ylinen, A., Vapalahti, M., Hari, R., and Rinne, J. O. (1999).
[18F]FDG-PET and whole-scalp MEG localization of epileptogenic cortex. Epilepsia, 40(7):
921-30.
Lemoine, D., Lussot, E., Legeard, D., Barillot, C. Multimodal Registration System for the Fusion
of MRI, CT, MEG and 3D or Stereotactic Angiographie Data. SPIE Medical Imaging 1994,
2164:46-56.
Liu, A. K., Belliveau, J. W., and Dale, A. M. (1998a). Spatiotemporal imaging of human brain
activity using fMRI constrained MEG data: Monte Carlo simulations. Proc. Natl. Acad. Sci. USA,
95: 8945-8950.
Liu, A. K., Belliveau, J. W., and Dale, A. M. (1998b). Spatiotemporal imaging of human brain
activity using functional MRI constrained magnetoencephalography data: Monte Carlo
simulations. Proc Natl Acad Sci U S A, 95(15): 8945-50.
Luck, S. J. (1999). Direct and indirect integration of event-related potentials, functional magnetic
resonance images, and single-unit recordings. Hum Brain Mapp, 8(2-3): 115-201.
Le Goualher, G. Modlisation de structures anatomiques crbrales pour l'aide l'interprtation
d'images mdicales et la fusion de donnes. Thse de science. Universit de Rennes I. 1997.
Le Goualher, G., Barillot, C. and Bizais, Y. Three-dimensional segmentation and representation
of cortical sulci using active ribbons. International Journal of Pattern Recognition and Artificial
Intelligence. 1997, In Press.

Centre MEG/EEG Piti-Salptrire

37

Fusion de donnes
Maurer, C.R. Jr., Fitzpatrick, M.J. A review of medical image registration. In: Interactive ImageGuided Neurosurgery. Maciunas, R.J. ed. Park Ridge. IL: American Association of Neurological
Surgeons. 1993, 17-44.
Moonen, C. T. W., and Bandettini, P. A. Editors (1999). Functional MRI. , Springer-Verlag, New
York, N. J.
Morioka, T., Mizushima, A., Yamamoto, T., Tobimatsu, S., Matsumoto, S., Hasuo, K., Fujii, K.,
and Fukui, M. (1995). Functional mapping of the sensorimotor cortex: combined use of
magnetoencephalography, functional MRI, and motor evoked potentials. Neuroradialogy, 37:
526-530.
Ogawa, S., Tank, D. W., Menon, R., Ellermann, J. M., Kim, S.-G., Merkle, H., and Ugurbil, K.
(1992). Intrinsic signal changes accompanying sensory stimulation: Functional brain mapping
with magnetic resonance imaging. Proc. Natl. Acad. Sci. USA, 89: 5951-5955.
Oostendorp, T. F., and van Oosterom, A. (1992). Source parameter estimation using realistic
geometry in bioelectricity and biomagnetism. Biomagnetic Localization and 3D Modeling,
Report TKK-F-A689, J. Nenonen, H. M. Rajala, and T. Katila, eds., Helsinki University of
Technology, Helsinki.
Opitz, B., Mecklinger, A., Von Cramon, D. Y., and Kruggel, F. (1999). Combining
electrophysiological and hemodynamic measures of the auditory oddball. Psychophysiology,
36(1): 142-7.
Pantev, C., Hoke, M., Lehnertz, K., Ltkenhner, B., Fahrendorf, G. and Stber, U. Identification
of sources of brain neuronal activity with high spatiotemporal resolution through combination of
neuromagnetic source localization (NMSL) and magnetic resonance imaging (MRI).
Electroencephlogr. clin. Neurophysiol., 1990, 75:173-184.
Pellizari,C.A., Levin, D.N., Chen, G.T.Y., and Chen, C.T. Image registration based on
anatomical surface matching. In: Maciunas, R. (Ed.), Interactive image-guided neurosurgery,
American Association of Neurological Surgeons, 1993: 47-62.
Reite, M., Teale, P., Zimmerman, J., Davis, K. and Whalen, J. Source location of a 50 msec
latency auditory evoked field component. Electroencephlogr. clin. Neurophysiol., 1988, 70:490498.
Regan, D. (1989). Human brain electrophysiology: Evoked potentials and evoked magnetic fields
in science and medicine, Elsevier, New York.
Singh, K.D., Holliday, I.E., Furlong, P.L., Harding, G.F.A. Evaluation of MRI-MEG/EEG coregistration strategies using Monte Carlo simulation. Electroencephlogr. clin. Neurophysiol.,
1997, 102:81-85.

Centre MEG/EEG Piti-Salptrire

38

Fusion de donnes
Sarvas, J. (1987). Basic mathematical and electromagnetic concepts of the biomagnetic inverse
problem. Phys Med Biol, 32(1): 11-22.
Schomer, L. D., Bonmassar, G., Seeck, M., Lazeyras, F., Blum, A., Anami, K., Schwartz, D.,
Belliveau, J. W., and Ives, J. (2000). EEG linked functional magnetic resonance imaging in
epilepsy and cognitive neurophysiology. Journal of Clin Neurophysiol, 17(1): 43-58.
Schwartz, D., Badier, JM., Bihou, P., Bouliou, A., Evaluation with realistic sources of a new
MEG-EEG spatio-temporal localization approach. Brain Topography 1999.
Schwartz, D., Lemoine, D., Poiseau, E., Barillot, C. Registration of MEG/EEG data with 3D
MRI: Methodology and precision issues. Brain Topography, 1996, 9:101-116.
Seeck, M., Lazeyras, F., Michel, C. M., Blamke, O., Gericke, C. A., Ives, J., Delavelle, J., Golay,
X., Haenggeli, C. A., De Tribolet, N., and Landis, T. (1998). Non-invasive epileptic focus
localization using EEG-triggered functional MRI and electromagnetic tomography.
Electroenceph. and clin. neurophysiol., 106: 508-512.
Sereno, M. I., Dale, A. M., Reppas, J. B., Kwong, K. K., Belliveau, J. W., Brady, T. J., Rosen, B.
R., and Tootell, R. B. H. (1995). Borders of multiple visual areas in humans revealed by
functional magnetic resonance imaging. Science, 268(May 12): 889-893.
Stok, C.J. The influence of model parameters on EEG/MEG single dipole source estimation.
IEEE Trans. Biomed. Eng., 1987, 34:421-429.
Sutherling, W. W., Crandall, P. H., Cahan, L. D. and Barth, D. S. The magnetic field of epileptic
spikes agrees with intracranial localizations in complex partial epilepsy. Neurology. 1988, 38,
778-86.
Sutherling, W. W., Barth, D.S. Neocortical propagation in temporal lobe spike foci on
magnetoencephalography and electroencephalography. Ann. Neurology, 1989, 25:373-381.
Sutherling, W. W., Levesque, M. F., Crandall, P. H. and Barth, D. S. Localization of partial
epilepsy using magnetic and electric measurements. Epilepsia. 1991, 32 Suppl 5:29-40.
Snyder, A. Z., Abdullaev, Y. G., Posner, M. I., and Raichle, M. E. (1995). Scalp electrical
potentials reflect regional cerebral blood flow responses during processing of written words.
Proc. Natl. Acad. Sci. USA, 92(5): 1689-1693.
Talairach, J. Tournoux, P. Co-planar stereotaxic atlas of the human brain. Thieme Medical
Publishers, New-York, 1988.
van den Elsen, P.A., Viergever, M.A., van Huffelen, A.C., van der Meij, W., Weineke, G.H.
Accurate matching of electromagnetic dipoles data with CT and MR images. Brain Topography,
1991, 3:425-432.

Centre MEG/EEG Piti-Salptrire

39

Fusion de donnes
Wang, J. Z., Williamson, S. J., and Kaufman, L. (1992). Magnetic source images determined by a
lead-field analysis: the unique minimum-norm least-squares estimation. IEEE Trans Biomed Eng,
39(7): 665-75.
Warach, S., Ives, J. R., Schlaug, G., Patel, M. R., Darby, D. G., Thangaraj, V., Edelman, R. R.,
and Schomer, D. L. (1996). EEG-triggered echo-planar functional MRI in epilepsy. Neurology,
47(July): 89-93.
West, J., Fittzpatrick, M., Wang, M.Y., Dawant, M.B., Maurer, C.R., Kessler, R.M., Maciunas,
R.J., Barillot, C., Lemoine, D., Collignon, A., Maes, F., Suetens, P., Vandermeulen, D., van den
Elsen, P., Hemler, P.F., Napel, T., Sumanaweera, T.S., Harkness, B., Hill, D.L.G., Studholme, C.,
Malandain, G., Pennec, X., Noz, M.E., Maguire, G.Q., Pollack, M., Pelizzari, C.A., Robb, R.A.,
Hanson, D., Woods, R.P. Comparison and evaluation of retrospective intermodality image
registration techniques. J. Comput. Assist. Tomograph., 1997, 21:554-566.
Yamamoto, T., Williamson, S.J., Kaufman, L., Nicholson, C. and Llins, R. Magnetic
Localization of neuronal activity in the human brain. Proc. Nat. Acad. Sci. (U.S.A.), 1988,
85:8732:8736.

Centre MEG/EEG Piti-Salptrire

40