Quelques exemples de projets de recherche

impliquant chercheurs en sciences cognitives

et chercheurs en informatique

Laboratoire d'InfoRmatique en Image et Systèmes d'information

LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon

http://liris.cnrs.fr

Journée Sciences Cognitives et Informatique – 10 mai 2011

Nathalie Guin - Projet CASES
!   Connaissances Abstraites et/ou Spatialement
Evoquées en Situation
!  Contexte :
˜  Financement : ACI "Cognitique"
˜  Durée du projet : 3 ans
˜  Partenaires :
˜  LIRIS
˜  Laboratoire de psychologie cognitive de l’Université
de Provence

Journée Sciences Cognitives et Informatique – 10 mai 2011 2

Question(s) de recherche
!   Pour résoudre un problème, est-il préférable
d'évoquer et d'adapter une connaissance qui elle-
même contient des informations liées au contexte
ou est-il préférable d'avoir recours à une
connaissance dégagée de ces aspects ?
!   Modélisation de l’expertise de résolution de
problèmes
˜  Raisonnement à partir de classes de problèmes
˜  Raisonnement à partir de cas

Journée Sciences Cognitives et Informatique – 10 mai 2011 3

Quels apports des chercheurs en informatique et
en psychologie cognitive ? (1)
!  Psycho : état de l’art sur l’expertise
˜  capacité du système cognitif à avoir recours
simultanément à des stratégies différentes
!  Info et psycho : formulation d’hypothèses sur
l’utilisation conjointe de connaissances abstraites
et de connaissances contextualisées
!   Psycho : expérimentation pour tester ces
hypothèses dans le contexte de la résolution de
problèmes d’échecs, fondée sur le temps de
résolution

Journée Sciences Cognitives et Informatique – 10 mai 2011 4

Quels apports des chercheurs en informatique et
en psychologie cognitive ? (2)

!  Info : conception et implémentation d’un modèle de

raisonnement utilisant conjointement classes de
problèmes et cas, appliqué aux échecs
!  Psycho : expérimentation pour valider le modèle en
comparant les temps de résolution du système et
des sujets humains, toujours sur le domaine des
échecs

Journée Sciences Cognitives et Informatique – 10 mai 2011 5

Quels résultats ?
!  Un nouveau modèle de raisonnement en résolution
de problèmes, combinant connaissances
contextualisés et connaissances abstraites
!  Avantages de la collaboration :
˜  Pour les chercheurs en psychologie cognitive :
˜  des questions plus précises permettant de nouvelles
expérimentations
˜  Pour les chercheurs en informatique :
˜  un modèle fondé sur la connaissance du raisonnement
humain, et validé par des expérimentations

Journée Sciences Cognitives et Informatique – 10 mai 2011 6

Nathalie Guin - Projet AMBRE
!   Apprentissage de Méthodes Basé sur le
Raisonnement à partir de l'Expérience
!  Contexte :
˜  Financement : programme interdisciplinaire STIC-
SHS "Société de l'information" du CNRS
˜  Durée du projet : 3 ans
˜  Partenaires :
˜  LIRIS
˜  Laboratoire de psychologie cognitive de l’Université
de Provence
˜  Thèse de Sandra Nogry

Journée Sciences Cognitives et Informatique – 10 mai 2011 7

Question(s) de recherche
!   Comment faire apprendre des connaissances
abstraites (classes de problèmes) à partir d’un
processus de résolution de problèmes utilisant des
cas (problèmes prototypes) ?
!   Objectif : conception d’un EIAH permettant
l’enseignement de méthodes

Journée Sciences Cognitives et Informatique – 10 mai 2011 8

Quels apports des chercheurs en informatique et
en psychologie cognitive ? (1)
!  Info : proposition du « cycle AMBRE » fondé sur le
raisonnement par analogie pour l’apprentissage
d’une méthode de résolution basée sur des classes
de problèmes
!  Psycho : résultats sur l’apprentissage à partir
d’exemples issus de l’état de l’art et
d’expérimentations complémentaires
˜  Appropriation des exemples
˜  Pour des novices, il vaut mieux faire analyser que faire résoudre
˜  Choix des exemples : plus proche contraste

˜  Choix des problèmes à résoudre : d’abord un problème

proche, puis un problème transfert

Journée Sciences Cognitives et Informatique – 10 mai 2011 9

Quels apports des chercheurs en informatique et
en psychologie cognitive ? (2)

!  Info : conception et implémentation d’un EIAH

AMBRE appliqué au domaine des problèmes
arithmétiques (CE1-CE2)
!  Psycho : évaluation du logiciel
˜  évaluation de l’utilisabilité en laboratoire
˜  évaluation de son utilité (impact sur l’apprentissage)
˜  une méthode comparative
˜  en situation réelle d’utilisation

Journée Sciences Cognitives et Informatique – 10 mai 2011 10

Quels résultats ?
!   Un principe d’apprentissage : le cycle AMBRE
!  Un EIAH AMBRE appliqué aux problèmes
arithmétiques (CE1-CE2) très apprécié des élèves et
des enseignants
!   Avantages de la collaboration :
˜  Pour les chercheurs en psychologie cognitive :
˜ des questions plus précises permettant de nouvelles
expérimentations
˜ une méthode pour évaluer l’utilité des EIAH
˜  Pour les chercheurs en informatique :
˜ Un EIAH fondé sur des études en didactique des mathématiques
et favorisant le déclenchement de processus d’apprentissage
˜ Un principe d’apprentissage validé par l’expérimentation

Journée Sciences Cognitives et Informatique – 10 mai 2011 11

Audrey Serna – Projet AILISA
!  Contexte :
˜ Projet AILISA : Ingénierie du Lien Social et Médical,
de l’Autonomie et de la Sécurité des Personnes Âgées
˜ Financement : Allocation doctorale Région Rhône-
Alpes
˜ Thèse en sciences cognitives et informatique
˜ L aboratoire TIMC-IMAG (Grenoble) et laboratoire
DOMUS, Université de Sherbrooke (Canada)
˜ Collaboration :
˜ I nstitutde Réadaptation de Montréal (Canada),
collaboration avec des ergothérapeutes
˜ Service de gérontologie de l’hôpital Broca à Paris

Journée Sciences Cognitives et Informatique – 10 mai 2011 12

 Question(s) de recherche
!  Problématique de recherche
FAVORISER  L’AUTONOMIE  DE  L’UTILISATEUR  DANS  LES  
ENVIRONNEMENTS  INTERACTIFS  

Comprendre  et  modéliser  l’utilisateur:   Interagir  pertinemment  :  

-­‐   ses  comportements     -­‐   Adapter  le  système  au  contexte  
 -­‐  ses  caractéristiques  cognitives   -­‐   Intégrer  les  modèles  utilisateurs  
 -­‐  ses  handicaps   -­‐   Privilégier  l’ergonomie  

Modélisation   Interaction  
de   avec  
l’utilisateur   l’utilisateur  

Journée Sciences Cognitives et Informatique – 10 mai 2011 13

 Question(s) de recherche
CONTEXTE: LA PERTE D’AUTONOMIE
Vieillissement réussi ou aggravé par une maladie (MCI, maladie
d’Alzheimer)
!   Atteintes des fonctions cognitives principales:
˜ Mémoire, Perception, Langage
!   Troubles de l’attention
!   Dégradation des fonctions exécutives:
˜ Prise de décision, Planification, Initiation, Exécution, Contrôle de l’action
EIS  
ne  confronte  pas  ses  résultats  avec  les  objectifs  fixés    

pas  de  conscience  des  erreurs  ou  absence  de  correction  

➡  Perte d’autonomie / besoin d’assistance

Environnements intelligents pour la santé et l’autonomie (EIS):

Aides technologiques destinées à améliorer la sécurité et le confort
des personnes
 l Environnements intelligents pour la santé à
système d’assistance à la tâche pour les
personnes en perte d’autonomie

➡  Besoin de modèles «profonds»

•  Développer des modèles

modélisation computationnels des
cognitive = processus cognitifs
(Cooper, 2002)
•  Simuler et prédire le
comportement humain

15  
Apports des chercheurs en informatique

!  Approfondissement d’un modèle cognitif théorique

!  Implémentation informatique du modèle

(Cooper, 2002)

Journée Sciences Cognitives et Informatique – 10 mai 2011 16

 Contributions
!   Protocole expérimental : observation et analyse des
difficultés des personnes vieillissantes dans le quotidien
(problèmes de planification et de contrôle)
!   Cadre théorique : modélisation des processus cognitifs
!   Modèles computationnels : simulation des activités
quotidiennes et reproduction des erreurs typiques :
˜ Modèle des processus mnésiques et attentionnels (ACT-R)
˜ Modèle des processus de contrôle exécutif

Phase d’apprentissage Phase d’aide à la tâche

comportement
HIS HIS réel

scénarios comportement
normaux et attendu
anormaux
assistance adaptée

Journée Sciences Cognitives et Informatique – 10 mai 2011 17

 Magali Ollagnier-Beldame
Questions de recherche

Comment des sujets construisent-ils du Comment concevoir des systèmes à base

sens ensemble lorsqu’ils sont confrontés de traces soutenant la construction
à leurs traces numériques ? du sens ?

Journée Sciences Cognitives et Informatique – 10 mai 2011 18

 M. Ollagnier-Beldame – Questions de recherche

Comment des sujets construisent-ils du Comment concevoir des systèmes à base

sens ensemble lorsqu’ils sont confrontés de traces soutenant la construction
à leurs traces numériques ? du sens ?

Spécifier

« Com-prendre » l’information

Cognition distribuée Cognition située

Concevoir des systèmes
[Hutchins] [Suchman]
USAGES ouverts et adaptatifs

Collaborer S’approprier le
support numérique

Observer

Journée Sciences Cognitives et Informatique – 10 mai 2011 19

M. Ollagnier-Beldame - Projets transdiciplinaires choisis

Thèse en sciences cognitives mention Post doctorat en ergonomie cognitive

informatique (2002-2006) (2008-2009)
« Traces d’interactions et processus « Activité collaborative médiée et traces
cognitifs en activité conjointe » d'interactions »

Co-encadrement Projet PROCOGEC (2007-2010)

A.Mille (PR en 27ème section CNU au LIRIS)
C.Brassac (MC HDR en 16ème section CNU
au LabPsyLor)
+ encadrement expé.: S.Metz (MC 16ème),
ICAR-ENS Lyon
Knowings : éditeur logiciels collaboratifs
LIRIS, G-Scop, Syscom : informatique
ESC Chambéry : KM, ergonomie
GdF : partenaire utilisateur

Séjours (8 + 5 mois) à TECFA – Univ. de

Genève. Sc. Éducation / Informatique

Soutenance, 3 rapporteurs : 27ème, 16ème et

70ème sections du CNU

Journée Sciences Cognitives et Informatique – 10 mai 2011 20

Apports des chercheurs en informatique

!  Théorie de la « trace informatique »

!  Méthodologie pour la spécification des systèmes
˜ Exigences fonctionnelles
˜ Interfaçage

Journée Sciences Cognitives et Informatique – 10 mai 2011 21

Apports des chercheurs en sciences cognitives

!  Théories de l’activité humaine

!  Méthodologie d’analyse des usages
Situations réelles de co-conception
Recueil de données qualitatives Co-rédaction asynchrone - GdF

!   Enregistrements vidéo et audio

!   Transcriptions
Analyse
!   De l’activité en « 3ème personne »
˜  Ex. Clinique de l’activité [Brassac]
!   De l’expérience subjective en « 1ère personne »
˜  Ex. Cours d’action [Theureau]

Journée Sciences Cognitives et Informatique – 10 mai 2011 22

Résultats Doctorat
• Classification des « systèmes traçants »
• Formalisation des traces brutes
• Propriétés des traces
Ex. : Appartenance, persistance
• Construction du sens
• Activité productive / constructive
[Revue Activités, 2008],
[Journal of Human Mediated Interactions, to appear]
• Appropriation du système
[Revue du Management Technologique, 2008],
[International Journal of KM, 2010]

Journée Sciences Cognitives et Informatique – 10 mai 2011 23

Résultats Post-doctorat
• Formalisation des traces brutes
• Schèmes d’usage
Ex. : Partage, modelage
[International Journal on Computer Science and Information Systems, accepted]

•  Visualisation de traces
•  Spécification d’un nouvel outil
Développement logiciel par Knowings

Journée Sciences Cognitives et Informatique – 10 mai 2011 24

Olivier Georgeon – Projet ABSTRACT
˜  Financement :
(Réseau d’excellence HumanIST)

˜  Durée du projet : 3 ans

˜  Partenaires :
˜  IFSTARR (Institut français des sciences et
technologies des transports, de
l'aménagement et des réseaux)
LESCOT (Laboratoire d’Ergonomie et de
Sciences Cognitives pour les Transports).
˜  Université Lumière Lyon 2.
Laboratoire LEACM.

Journée Sciences Cognitives et Informatique – 10 mai 2011 25

Question de recherche
!  Modélisation du conducteur automobile à partir de
traces d’activité

Angle volant, Position pédales, Vitesse, Clignotant, regards

(Oculomètre), distance de suivi (Télémètre), Cartographie
(GPS), Bouton actionnable, Vidéos

Journée Sciences Cognitives et Informatique – 10 mai 2011 26

Quels apports des chercheurs en informatique ?

!  Notion de traces d’activité

˜ Mille (2006). From case-based reasoning to traces-based
reasoning. Annual Reviews in Control, 30(2), 223-232.

!  Outils d’ingénierie des connaissances

˜ Outils de visualisation interactive.
˜ Outil de gestion des connaissances (ontologies).
˜ Outils de calcul et d’inférence symbolique.

!  Notions épistémologiques
˜ Jean Charlet (2005). L’ingénierie des connaissances, entre
science de l’information et science de gestion.

Journée Sciences Cognitives et Informatique – 10 mai 2011 27

Quels apports des chercheurs en Sc Co ?

!  Notions épistémologiques
˜  Le Moigne, (1995). Les épistémologies constructivistes :
Presse Universitaire de France.
! Méthologie expérimentale
!  Expertise d’analyse

Journée Sciences Cognitives et Informatique – 10 mai 2011 28

Méthodologie

Données brutes

Trace collectée

Trace modélisée

Modèles d'activité

Analyse
Activité

Journée Sciences Cognitives et Informatique – 10 mai 2011 29

Quels résultats ?
˜ Méthodolgie
˜  Georgeon, Mille, Bellet, Mathern, & Ritter, (2011). Supporting
activity modelling from activity traces. Expert Systems.
˜ Prototype logiciel
˜  http://liris.cnrs.fr/abstract/
˜ Résultats d’analyse
˜  Henning, Georgeon, & Krems, (2007). The quality of behavioral
and environmental indicators used to infer the intention to
change lanes. International Driving Symposium on Human Factors in
Driver Assessment, 231-237. Stevenson, Washington.
˜  Georgeon, Morgan, Horgan, & Braddock, (2010). Process Modeling
for the Study of Non-State Political Violence. Annual Conference
on Behavior Representation in Modeling Simulation. Charleston, NC.
˜ Résultats qui auraient pu être obtenus sans cette collaboration ?
Aucun.

Journée Sciences Cognitives et Informatique – 10 mai 2011 30

Olivier Georgeon – Projet IDEAL
˜  Financement :
(Programme retour Post-Doc)

˜  Durée du projet : 3 ans

˜  Partenaires :
˜  Pennstate.
Department of information sciences and
technology.
˜  Sahra Lawrence College. New York (USA)
Department of computer sciences and
robotics.
˜  Ouvert à propositions de collaborations…

Journée Sciences Cognitives et Informatique – 10 mai 2011 31

Question de recherche
!  Implémenter un mécanisme artificiel d’apprentissage
DEveloppementAL (IDEAL).

˜  Etayer les hypothèses émergentiste …

˜  Gibson (1979). The ecological approach to visual perception.
˜  Varela, Thompson, & Rosch, (1991). The Embodied Mind:
Cognitive Science and Human Experience.
˜  … et constructiviste de la cognition.
˜  Piaget
(1937). La construction du réel chez l'enfant.
˜  Norman, J. (2002). Two visual systems and two theories of
perception: An attempt to reconcile the constructivist and
ecological approaches.

Journée Sciences Cognitives et Informatique – 10 mai 2011 32

Quels apports des chercheurs en informatique ?

!   Notion de traces d’activité

˜  Mille (2006). From case-based reasoning to traces-based reasoning.
Annual Reviews in Control, 30(2), 223-232.

!   Implémentations de référence
˜  Drescher, (1991). Made-up minds, a constructivist approach to
artificial intelligence. Cambridge: MIT Press.
˜  Oudeyer, & Kaplan (2007). Intrinsic motivation systems for
autonomous mental development. IEEE Transactions on Evolutionary
Computation, 11(2), 265-286.

!   En contraste par rapport à :

˜  Newell, (1990). Unified Theories of Cognition. Cambridge, MA:
Harvard University Press.
˜  Brooks, (1991). Intelligence without representation. Artificial
Intelligence Journal, 47, 139–159.

Journée Sciences Cognitives et Informatique – 10 mai 2011 33

Quels apports des chercheurs en Sc Co ?

! Neuro-anatomie fonctionnelle.
˜  Cotterill, R. (2001). Cooperation of basal ganglia, cerebellum,
sensory cerebrum and hippocampus: Possible implications for
cognition, consciousness, intelligence and creativity. Progress in
Neurobiology, 64, 1-33.
HIERARCHICAL STATIC
… SEQUENTIAL FEATURE
… SENSORIMOTOR MEMORY
Past MEMORY
activity

Record / Refresh
Activate
Record

Propose
PREMOTOR STATIC
SEQUENTIAL FOLLOWUP SYSTEM
SYSTEM

Update
MOTIVATIONAL
ASSOCIATIVE
CHEMICAL TOUCH VISUAL SYSTEM

Activate
RECEPTORS RECEPTORS RECEPTORS
Static

Dynamic
features
Activity features
at hand

xo+
SENSORIMOTOR

Associate
Reflex
SEQUENTIAL
Inhibit
INTEGRATION

MANIPULATION MOTION EYE SACCADE

EFFECTORS EFFECTORS EFFECTORS
Update MOTIVATIONAL
STATE
INTERACTON
SENSORIMOTOR SYSTEM
TIMELINE

Journée Sciences Cognitives et Informatique – 10 mai 2011 34

 Implémentation
!   Algorithme d’apprentissage séquentiel intrinsèquement motivé :
Intrinsically motivated Schema Mechanism (http://e-ernest.blogspot.com/)

Journée Sciences Cognitives et Informatique – 10 mai 2011 35

Alain Mille : présentation de la thèse
de Luc Damas
!  Etude théorique et pratique de
la production d'effets d'amorçage de
la mémoire

Application à l'assistance à la remémoration chez

l'utilisateur d'un système informatique pour une
tâche d'apprentissage

! Thèse de doctorat, spécialité informatique,

Université Claude Bernard, Lyon 1, 15/12/2003
!  Direction : Alain Mille, Rémy Versace

Journée Sciences Cognitives et Informatique – 10 mai 2011 36

Problématique
!  Cadre : assistance à l'utilisateur
! Constat : la mémoire est omniprésente.
!  La remémoration permet la poursuite de la
tâche.
!  Idée : Assister une tâche en assistant la
remémoration
˜ 1er effet bénéfique : utile à court terme
˜ 2ème effet bénéfique : renforcement à long
terme
! Problématique : Est-il possible d assister la
remémoration d un utilisateur ?
 Idée Système informatique

Outil simulateur
informatique de
utilisé mémoire

Alter-ego de
l'tilisateur
interactions 1 observe
e
amorc
4 2

Utilisateur
t
ansme
tr

3
Assistant émoration
rem
Validation et évaluation
!  Validation du simulateur de mémoire
˜ Expérimentations
˜ Simulations
!  PUIS
! Évaluation de l'assistance basée sur ce
principe
˜ Mise en oeuvre de l’alter-ego
˜ Expérimentation
! Approche incrémentale
Modélisation de la mémoire
! Modèle épisodique à traces multiples
˜ Conteneur d'expériences
˜ Succession de traces
˜ Processus
˜ Ecphorie synergique [Tulving, 1973]

! Modèle choisi :
˜ Minerva 2 [Hintzman, 1986]
 Minerva 2 activations

sonde

mémoire

trace

temps

écho

intensité
 Exemple : catégorisation
Codage de Codage de
l’item la catégorie

C7R1 Sonde

Proto 1 C2X1
C3X1
F9B4
Proto 2
F9G4 F1G4

C3X2

C5X8

A9B4
V3E1
Wave propagation in glial
cell networks : the other
network of the brain
J. Lallouette, H. Berry
EPI Combining/Beagle
INRIA Rhône-Alpes
LIRIS – UMR 5205 CNRS INSA UCBL
69603 Villeurbanne
France

Y. Hanein, E. Ben Jacob

Sch. Physics & Astronomy /
Sch. Electrical Engineering
Tel Aviv University, 69978 Tel
Aviv - Israel
Glial cells : the other cells in the brain
!   Neurons are only 50% of the cells in our neuron
brain
glia
!   Other half = coined ‘glial cells’ (to glue) late
19th – early 20th century
!   Until 1990’s glial cells are only support for
neurons (nutrients, oxygen, immunology)

!   Recently, all this started to change

˜ Glial cells form interconnected networks with
chemical waves as intercellular
communications
˜ Glial cells interact with neurons at “tripartite
synapses” where
˜  Glia
regulates neuronal information transfer
˜  Neuronal information transfer triggers glia-glia
communication
 Glial cells : the other cells in the brain
!   Neurons are only 50% of the cells in our neuron presyn.
neuron
brain
glia
!   Other half = coined ‘glial cells’ (to glue) late glia
19th – early 20th century
!   Until 1990’s glial cells are only support for
neurons (nutrients, oxygen, immunology) postsyn.
neuron
!   Recently, all this started to change
˜ Glial cells form interconnected networks with
chemical waves as intercellular
communications
˜ Glial cells interact with neurons at “tripartite
synapses” where
˜  Glia
regulates neuronal information transfer
˜  Neuronal information transfer triggers glia-glia
communication
 Glial cells : the other cells in the brain
!   Neurons are only 50% of the cells in our neuron
brain
glia ≈10 m/sec
!   Other half = coined ‘glial cells’ (to glue) late
19th – early 20th century
!   Until 1990’s glial cells are only support for
neurons (nutrients, oxygen, immunology)

!   Recently, all this started to change ≈10 µm/sec

˜ Glial cells form interconnected networks with
chemical waves as intercellular
communications
˜ Glial cells interact with neurons at “tripartite
synapses” where
˜  Glia
regulates neuronal information transfer ≈10 m/sec
˜  Neuronal information transfer triggers glia-glia
communication
Our research
!   The issue : experiments only yield hypotheses on these
phenomena where each element is disconnected from the
other
!   Our goal : combine computer simulations (Berry / Ben
Jacob) with experimental investigations (Hanein) in order
to
˜ test experimental-based hypothesis (predict new ones)
˜ glue all these separate elements into a coherent picture
presyn.
!   Already achieved neuron
˜ neuron è glia communications [De Pittá et al. J Biol Phys, 2009]
˜ glia è neuron regulation [De Pittá et al. submitted] glia
˜ glia è glia communication in 1d [Goldberg et al. PLoS Comp Biol,
2010]

!   Current work : postsyn.

neuron
˜ glia èglia communication in 3d : Effect of the topology of the
connectivity network - P(k) , x - on the glia-glia communication
(Jules Lallouette, Master 2 CODE)
Funding
!  Collaboration is 5 years old
!  No funding up to now
!  Under review : application to a Research Networks
Program in Computational Neurosciences and
Computational Cognitive Sciences (High Council for
Scientific and Technological Cooperation between France-Israel) :
only travels / equipment (no salary)
!  Jules Lallouette application for PhD at ED InfoMath
this year.