Vous êtes sur la page 1sur 48

Quelques exemples de projets de recherche

impliquant chercheurs en sciences cognitives


et chercheurs en informatique

Laboratoire d'InfoRmatique en Image et Systèmes d'information


LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon

http://liris.cnrs.fr

Journée Sciences Cognitives et Informatique – 10 mai 2011


Nathalie Guin - Projet CASES
!   Connaissances Abstraites et/ou Spatialement
Evoquées en Situation
!  Contexte :
˜  Financement : ACI "Cognitique"
˜  Durée du projet : 3 ans
˜  Partenaires :
˜  LIRIS
˜  Laboratoire de psychologie cognitive de l’Université
de Provence

Journée Sciences Cognitives et Informatique – 10 mai 2011 2


Question(s) de recherche
!   Pour résoudre un problème, est-il préférable
d'évoquer et d'adapter une connaissance qui elle-
même contient des informations liées au contexte
ou est-il préférable d'avoir recours à une
connaissance dégagée de ces aspects ?
!   Modélisation de l’expertise de résolution de
problèmes
˜  Raisonnement à partir de classes de problèmes
˜  Raisonnement à partir de cas

Journée Sciences Cognitives et Informatique – 10 mai 2011 3


Quels apports des chercheurs en informatique et
en psychologie cognitive ? (1)
!  Psycho : état de l’art sur l’expertise
˜  capacité du système cognitif à avoir recours
simultanément à des stratégies différentes
!  Info et psycho : formulation d’hypothèses sur
l’utilisation conjointe de connaissances abstraites
et de connaissances contextualisées
!   Psycho : expérimentation pour tester ces
hypothèses dans le contexte de la résolution de
problèmes d’échecs, fondée sur le temps de
résolution

Journée Sciences Cognitives et Informatique – 10 mai 2011 4


Quels apports des chercheurs en informatique et
en psychologie cognitive ? (2)

!  Info : conception et implémentation d’un modèle de


raisonnement utilisant conjointement classes de
problèmes et cas, appliqué aux échecs
!  Psycho : expérimentation pour valider le modèle en
comparant les temps de résolution du système et
des sujets humains, toujours sur le domaine des
échecs

Journée Sciences Cognitives et Informatique – 10 mai 2011 5


Quels résultats ?
!  Un nouveau modèle de raisonnement en résolution
de problèmes, combinant connaissances
contextualisés et connaissances abstraites
!  Avantages de la collaboration :
˜  Pour les chercheurs en psychologie cognitive :
˜  des questions plus précises permettant de nouvelles
expérimentations
˜  Pour les chercheurs en informatique :
˜  un modèle fondé sur la connaissance du raisonnement
humain, et validé par des expérimentations

Journée Sciences Cognitives et Informatique – 10 mai 2011 6


Nathalie Guin - Projet AMBRE
!   Apprentissage de Méthodes Basé sur le
Raisonnement à partir de l'Expérience
!  Contexte :
˜  Financement : programme interdisciplinaire STIC-
SHS "Société de l'information" du CNRS
˜  Durée du projet : 3 ans
˜  Partenaires :
˜  LIRIS
˜  Laboratoire de psychologie cognitive de l’Université
de Provence
˜  Thèse de Sandra Nogry

Journée Sciences Cognitives et Informatique – 10 mai 2011 7


Question(s) de recherche
!   Comment faire apprendre des connaissances
abstraites (classes de problèmes) à partir d’un
processus de résolution de problèmes utilisant des
cas (problèmes prototypes) ?
!   Objectif : conception d’un EIAH permettant
l’enseignement de méthodes

Journée Sciences Cognitives et Informatique – 10 mai 2011 8


Quels apports des chercheurs en informatique et
en psychologie cognitive ? (1)
!  Info : proposition du « cycle AMBRE » fondé sur le
raisonnement par analogie pour l’apprentissage
d’une méthode de résolution basée sur des classes
de problèmes
!  Psycho : résultats sur l’apprentissage à partir
d’exemples issus de l’état de l’art et
d’expérimentations complémentaires
˜  Appropriation des exemples
˜  Pour des novices, il vaut mieux faire analyser que faire résoudre
˜  Choix des exemples : plus proche contraste

˜  Choix des problèmes à résoudre : d’abord un problème


proche, puis un problème transfert

Journée Sciences Cognitives et Informatique – 10 mai 2011 9


Quels apports des chercheurs en informatique et
en psychologie cognitive ? (2)

!  Info : conception et implémentation d’un EIAH


AMBRE appliqué au domaine des problèmes
arithmétiques (CE1-CE2)
!  Psycho : évaluation du logiciel
˜  évaluation de l’utilisabilité en laboratoire
˜  évaluation de son utilité (impact sur l’apprentissage)
˜  une méthode comparative
˜  en situation réelle d’utilisation

Journée Sciences Cognitives et Informatique – 10 mai 2011 10


Quels résultats ?
!   Un principe d’apprentissage : le cycle AMBRE
!  Un EIAH AMBRE appliqué aux problèmes
arithmétiques (CE1-CE2) très apprécié des élèves et
des enseignants
!   Avantages de la collaboration :
˜  Pour les chercheurs en psychologie cognitive :
˜ des questions plus précises permettant de nouvelles
expérimentations
˜ une méthode pour évaluer l’utilité des EIAH
˜  Pour les chercheurs en informatique :
˜ Un EIAH fondé sur des études en didactique des mathématiques
et favorisant le déclenchement de processus d’apprentissage
˜ Un principe d’apprentissage validé par l’expérimentation

Journée Sciences Cognitives et Informatique – 10 mai 2011 11


Audrey Serna – Projet AILISA
!  Contexte :
˜ Projet AILISA : Ingénierie du Lien Social et Médical,
de l’Autonomie et de la Sécurité des Personnes Âgées
˜ Financement : Allocation doctorale Région Rhône-
Alpes
˜ Thèse en sciences cognitives et informatique
˜ L aboratoire TIMC-IMAG (Grenoble) et laboratoire
DOMUS, Université de Sherbrooke (Canada)
˜ Collaboration :
˜ I nstitutde Réadaptation de Montréal (Canada),
collaboration avec des ergothérapeutes
˜ Service de gérontologie de l’hôpital Broca à Paris

Journée Sciences Cognitives et Informatique – 10 mai 2011 12


Question(s) de recherche
!  Problématique de recherche
FAVORISER  L’AUTONOMIE  DE  L’UTILISATEUR  DANS  LES  
ENVIRONNEMENTS  INTERACTIFS  

Comprendre  et  modéliser  l’utilisateur:   Interagir  pertinemment  :  


-­‐   ses  comportements     -­‐   Adapter  le  système  au  contexte  
 -­‐  ses  caractéristiques  cognitives   -­‐   Intégrer  les  modèles  utilisateurs  
 -­‐  ses  handicaps   -­‐   Privilégier  l’ergonomie  

Modélisation   Interaction  
de   avec  
l’utilisateur   l’utilisateur  

Journée Sciences Cognitives et Informatique – 10 mai 2011 13


Question(s) de recherche
CONTEXTE: LA PERTE D’AUTONOMIE
Vieillissement réussi ou aggravé par une maladie (MCI, maladie
d’Alzheimer)
!   Atteintes des fonctions cognitives principales:
˜ Mémoire, Perception, Langage
!   Troubles de l’attention
!   Dégradation des fonctions exécutives:
˜ Prise de décision, Planification, Initiation, Exécution, Contrôle de l’action
EIS  
ne  confronte  pas  ses  résultats  avec  les  objectifs  fixés    

pas  de  conscience  des  erreurs  ou  absence  de  correction  

➡  Perte d’autonomie / besoin d’assistance

Environnements intelligents pour la santé et l’autonomie (EIS):


Aides technologiques destinées à améliorer la sécurité et le confort
des personnes
l Environnements intelligents pour la santé à
système d’assistance à la tâche pour les
personnes en perte d’autonomie

➡  Besoin de modèles «profonds»

•  Développer des modèles


modélisation computationnels des
cognitive = processus cognitifs
(Cooper, 2002)
•  Simuler et prédire le
comportement humain

15  
Apports des chercheurs en informatique

!  Approfondissement d’un modèle cognitif théorique


!  Implémentation informatique du modèle

(Cooper, 2002)

Journée Sciences Cognitives et Informatique – 10 mai 2011 16


Contributions
!   Protocole expérimental : observation et analyse des
difficultés des personnes vieillissantes dans le quotidien
(problèmes de planification et de contrôle)
!   Cadre théorique : modélisation des processus cognitifs
!   Modèles computationnels : simulation des activités
quotidiennes et reproduction des erreurs typiques :
˜ Modèle des processus mnésiques et attentionnels (ACT-R)
˜ Modèle des processus de contrôle exécutif

Phase d’apprentissage Phase d’aide à la tâche


comportement
HIS HIS réel

scénarios comportement
normaux et attendu
anormaux
assistance adaptée

Journée Sciences Cognitives et Informatique – 10 mai 2011 17


Magali Ollagnier-Beldame
Questions de recherche

Comment des sujets construisent-ils du Comment concevoir des systèmes à base


sens ensemble lorsqu’ils sont confrontés de traces soutenant la construction
à leurs traces numériques ? du sens ?

Journée Sciences Cognitives et Informatique – 10 mai 2011 18


M. Ollagnier-Beldame – Questions de recherche

Comment des sujets construisent-ils du Comment concevoir des systèmes à base


sens ensemble lorsqu’ils sont confrontés de traces soutenant la construction
à leurs traces numériques ? du sens ?

Spécifier

« Com-prendre » l’information

Cognition distribuée Cognition située


Concevoir des systèmes
[Hutchins] [Suchman]
USAGES ouverts et adaptatifs

Collaborer S’approprier le
support numérique

Observer

Journée Sciences Cognitives et Informatique – 10 mai 2011 19


M. Ollagnier-Beldame - Projets transdiciplinaires choisis

Thèse en sciences cognitives mention Post doctorat en ergonomie cognitive


informatique (2002-2006) (2008-2009)
« Traces d’interactions et processus « Activité collaborative médiée et traces
cognitifs en activité conjointe » d'interactions »

Co-encadrement Projet PROCOGEC (2007-2010)


A.Mille (PR en 27ème section CNU au LIRIS) Knowings : éditeur logiciels collaboratifs
C.Brassac (MC HDR en 16ème section CNU LIRIS, G-Scop, Syscom : informatique
au LabPsyLor) ESC Chambéry : KM, ergonomie
+ encadrement expé.: S.Metz (MC 16ème), GdF : partenaire utilisateur
ICAR-ENS Lyon

Séjours (8 + 5 mois) à TECFA – Univ. de


Genève. Sc. Éducation / Informatique

Soutenance, 3 rapporteurs : 27ème, 16ème et


70ème sections du CNU

Journée Sciences Cognitives et Informatique – 10 mai 2011 20


Apports des chercheurs en informatique

!  Théorie de la « trace informatique »


!  Méthodologie pour la spécification des systèmes
˜ Exigences fonctionnelles
˜ Interfaçage

Journée Sciences Cognitives et Informatique – 10 mai 2011 21


Apports des chercheurs en sciences cognitives

!  Théories de l’activité humaine


!  Méthodologie d’analyse des usages
Situations réelles de co-conception
Recueil de données qualitatives Co-rédaction asynchrone - GdF

!   Enregistrements vidéo et audio


!   Transcriptions
Analyse
!   De l’activité en « 3ème personne »
˜  Ex. Clinique de l’activité [Brassac]
!   De l’expérience subjective en « 1ère personne »
˜  Ex. Cours d’action [Theureau]

Journée Sciences Cognitives et Informatique – 10 mai 2011 22


Résultats Doctorat
• Classification des « systèmes traçants »
• Formalisation des traces brutes
• Propriétés des traces
Ex. : Appartenance, persistance
• Construction du sens
• Activité productive / constructive
[Revue Activités, 2008],
[Journal of Human Mediated Interactions, to appear]
• Appropriation du système
[Revue du Management Technologique, 2008],
[International Journal of KM, 2010]

Journée Sciences Cognitives et Informatique – 10 mai 2011 23


Résultats Post-doctorat
• Formalisation des traces brutes
• Schèmes d’usage
Ex. : Partage, modelage
[International Journal on Computer Science and Information Systems, accepted]

•  Visualisation de traces
•  Spécification d’un nouvel outil
Développement logiciel par Knowings

Journée Sciences Cognitives et Informatique – 10 mai 2011 24


Olivier Georgeon – Projet ABSTRACT
˜  Financement :
(Réseau d’excellence HumanIST)

˜  Durée du projet : 3 ans

˜  Partenaires :
˜  IFSTARR (Institut français des sciences et
technologies des transports, de
l'aménagement et des réseaux)
LESCOT (Laboratoire d’Ergonomie et de
Sciences Cognitives pour les Transports).
˜  Université Lumière Lyon 2.
Laboratoire LEACM.

Journée Sciences Cognitives et Informatique – 10 mai 2011 25


Question de recherche
!  Modélisation du conducteur automobile à partir de
traces d’activité

Angle volant, Position pédales, Vitesse, Clignotant, regards


(Oculomètre), distance de suivi (Télémètre), Cartographie
(GPS), Bouton actionnable, Vidéos

Journée Sciences Cognitives et Informatique – 10 mai 2011 26


Quels apports des chercheurs en informatique ?

!  Notion de traces d’activité


˜ Mille (2006). From case-based reasoning to traces-based
reasoning. Annual Reviews in Control, 30(2), 223-232.

!  Outils d’ingénierie des connaissances


˜ Outils de visualisation interactive.
˜ Outil de gestion des connaissances (ontologies).
˜ Outils de calcul et d’inférence symbolique.

!  Notions épistémologiques
˜ Jean Charlet (2005). L’ingénierie des connaissances, entre
science de l’information et science de gestion.

Journée Sciences Cognitives et Informatique – 10 mai 2011 27


Quels apports des chercheurs en Sc Co ?

!  Notions épistémologiques
˜  Le Moigne, (1995). Les épistémologies constructivistes :
Presse Universitaire de France.
! Méthologie expérimentale
!  Expertise d’analyse

Journée Sciences Cognitives et Informatique – 10 mai 2011 28


Méthodologie

Données brutes

Trace collectée

Trace modélisée

Modèles d'activité

Analyse
Activité

Journée Sciences Cognitives et Informatique – 10 mai 2011 29


Quels résultats ?
˜ Méthodolgie
˜  Georgeon, Mille, Bellet, Mathern, & Ritter, (2011). Supporting
activity modelling from activity traces. Expert Systems.
˜ Prototype logiciel
˜  http://liris.cnrs.fr/abstract/
˜ Résultats d’analyse
˜  Henning, Georgeon, & Krems, (2007). The quality of behavioral
and environmental indicators used to infer the intention to
change lanes. International Driving Symposium on Human Factors in
Driver Assessment, 231-237. Stevenson, Washington.
˜  Georgeon, Morgan, Horgan, & Braddock, (2010). Process Modeling
for the Study of Non-State Political Violence. Annual Conference
on Behavior Representation in Modeling Simulation. Charleston, NC.
˜ Résultats qui auraient pu être obtenus sans cette collaboration ?
Aucun.

Journée Sciences Cognitives et Informatique – 10 mai 2011 30


Olivier Georgeon – Projet IDEAL
˜  Financement :
(Programme retour Post-Doc)

˜  Durée du projet : 3 ans

˜  Partenaires :
˜  Pennstate.
Department of information sciences and
technology.
˜  Sahra Lawrence College. New York (USA)
Department of computer sciences and
robotics.
˜  Ouvert à propositions de collaborations…

Journée Sciences Cognitives et Informatique – 10 mai 2011 31


Question de recherche
!  Implémenter un mécanisme artificiel d’apprentissage
DEveloppementAL (IDEAL).

˜  Etayer les hypothèses émergentiste …


˜  Gibson (1979). The ecological approach to visual perception.
˜  Varela, Thompson, & Rosch, (1991). The Embodied Mind:
Cognitive Science and Human Experience.
˜  … et constructiviste de la cognition.
˜  Piaget
(1937). La construction du réel chez l'enfant.
˜  Norman, J. (2002). Two visual systems and two theories of
perception: An attempt to reconcile the constructivist and
ecological approaches.

Journée Sciences Cognitives et Informatique – 10 mai 2011 32


Quels apports des chercheurs en informatique ?

!   Notion de traces d’activité


˜  Mille (2006). From case-based reasoning to traces-based reasoning.
Annual Reviews in Control, 30(2), 223-232.

!   Implémentations de référence
˜  Drescher, (1991). Made-up minds, a constructivist approach to
artificial intelligence. Cambridge: MIT Press.
˜  Oudeyer, & Kaplan (2007). Intrinsic motivation systems for
autonomous mental development. IEEE Transactions on Evolutionary
Computation, 11(2), 265-286.

!   En contraste par rapport à :


˜  Newell, (1990). Unified Theories of Cognition. Cambridge, MA:
Harvard University Press.
˜  Brooks, (1991). Intelligence without representation. Artificial
Intelligence Journal, 47, 139–159.

Journée Sciences Cognitives et Informatique – 10 mai 2011 33


Quels apports des chercheurs en Sc Co ?

! Neuro-anatomie fonctionnelle.
˜  Cotterill, R. (2001). Cooperation of basal ganglia, cerebellum,
sensory cerebrum and hippocampus: Possible implications for
cognition, consciousness, intelligence and creativity. Progress in
Neurobiology, 64, 1-33.
HIERARCHICAL STATIC
… SEQUENTIAL FEATURE
… SENSORIMOTOR MEMORY
Past MEMORY
activity

Record / Refresh
Activate
Record

Propose
PREMOTOR STATIC
SEQUENTIAL FOLLOWUP SYSTEM
SYSTEM

Update
MOTIVATIONAL
ASSOCIATIVE
CHEMICAL TOUCH VISUAL SYSTEM

Activate
RECEPTORS RECEPTORS RECEPTORS
Static

Dynamic
features
Activity features
at hand

xo+
SENSORIMOTOR

Associate
Reflex
SEQUENTIAL
Inhibit
INTEGRATION

MANIPULATION MOTION EYE SACCADE


EFFECTORS EFFECTORS EFFECTORS
Update MOTIVATIONAL
STATE
INTERACTON
SENSORIMOTOR SYSTEM
TIMELINE

Journée Sciences Cognitives et Informatique – 10 mai 2011 34


Implémentation
!   Algorithme d’apprentissage séquentiel intrinsèquement motivé :
Intrinsically motivated Schema Mechanism (http://e-ernest.blogspot.com/)

Journée Sciences Cognitives et Informatique – 10 mai 2011 35


Alain Mille : présentation de la thèse
de Luc Damas
!  Etude théorique et pratique de
la production d'effets d'amorçage de
la mémoire

Application à l'assistance à la remémoration chez


l'utilisateur d'un système informatique pour une
tâche d'apprentissage

! Thèse de doctorat, spécialité informatique,


Université Claude Bernard, Lyon 1, 15/12/2003
!  Direction : Alain Mille, Rémy Versace

Journée Sciences Cognitives et Informatique – 10 mai 2011 36


Problématique
!  Cadre : assistance à l'utilisateur
! Constat : la mémoire est omniprésente.
!  La remémoration permet la poursuite de la
tâche.
!  Idée : Assister une tâche en assistant la
remémoration
˜ 1er effet bénéfique : utile à court terme
˜ 2ème effet bénéfique : renforcement à long
terme
! Problématique : Est-il possible d assister la
remémoration d un utilisateur ?
Idée Système informatique

Outil simulateur
informatique de
utilisé mémoire

Alter-ego de
l'tilisateur
interactions 1 observe
e
amorc
4 2

Utilisateur
t
ansme
tr

3
Assistant émoration
rem
Validation et évaluation
!  Validation du simulateur de mémoire
˜ Expérimentations
˜ Simulations
!  PUIS
! Évaluation de l'assistance basée sur ce
principe
˜ Mise en oeuvre de l’alter-ego
˜ Expérimentation
! Approche incrémentale
Modélisation de la mémoire
! Modèle épisodique à traces multiples
˜ Conteneur d'expériences
˜ Succession de traces
˜ Processus
˜ Ecphorie synergique [Tulving, 1973]

! Modèle choisi :
˜ Minerva 2 [Hintzman, 1986]
Minerva 2 activations

sonde

mémoire

trace

temps

écho

intensité
Exemple : catégorisation
Codage de Codage de
l’item la catégorie

C7R1 Sonde

Proto 1 C2X1
C3X1
F9B4
Proto 2
F9G4 F1G4

C3X2

C5X8

A9B4
V3E1
Wave propagation in glial
cell networks : the other
network of the brain
J. Lallouette, H. Berry
EPI Combining/Beagle
INRIA Rhône-Alpes
LIRIS – UMR 5205 CNRS INSA UCBL
69603 Villeurbanne
France

Y. Hanein, E. Ben Jacob


Sch. Physics & Astronomy /
Sch. Electrical Engineering
Tel Aviv University, 69978 Tel
Aviv - Israel
Glial cells : the other cells in the brain
!   Neurons are only 50% of the cells in our neuron
brain
glia
!   Other half = coined ‘glial cells’ (to glue) late
19th – early 20th century
!   Until 1990’s glial cells are only support for
neurons (nutrients, oxygen, immunology)

!   Recently, all this started to change


˜ Glial cells form interconnected networks with
chemical waves as intercellular
communications
˜ Glial cells interact with neurons at “tripartite
synapses” where
˜  Glia
regulates neuronal information transfer
˜  Neuronal information transfer triggers glia-glia
communication
Glial cells : the other cells in the brain
!   Neurons are only 50% of the cells in our neuron presyn.
neuron
brain
glia
!   Other half = coined ‘glial cells’ (to glue) late glia
19th – early 20th century
!   Until 1990’s glial cells are only support for
neurons (nutrients, oxygen, immunology) postsyn.
neuron
!   Recently, all this started to change
˜ Glial cells form interconnected networks with
chemical waves as intercellular
communications
˜ Glial cells interact with neurons at “tripartite
synapses” where
˜  Glia
regulates neuronal information transfer
˜  Neuronal information transfer triggers glia-glia
communication
Glial cells : the other cells in the brain
!   Neurons are only 50% of the cells in our neuron
brain
glia ≈10 m/sec
!   Other half = coined ‘glial cells’ (to glue) late
19th – early 20th century
!   Until 1990’s glial cells are only support for
neurons (nutrients, oxygen, immunology)

!   Recently, all this started to change ≈10 µm/sec


˜ Glial cells form interconnected networks with
chemical waves as intercellular
communications
˜ Glial cells interact with neurons at “tripartite
synapses” where
˜  Glia
regulates neuronal information transfer ≈10 m/sec
˜  Neuronal information transfer triggers glia-glia
communication
Our research
!   The issue : experiments only yield hypotheses on these
phenomena where each element is disconnected from the
other
!   Our goal : combine computer simulations (Berry / Ben
Jacob) with experimental investigations (Hanein) in order
to
˜ test experimental-based hypothesis (predict new ones)
˜ glue all these separate elements into a coherent picture
presyn.
!   Already achieved neuron
˜ neuron è glia communications [De Pittá et al. J Biol Phys, 2009]
˜ glia è neuron regulation [De Pittá et al. submitted] glia
˜ glia è glia communication in 1d [Goldberg et al. PLoS Comp Biol,
2010]

!   Current work : postsyn.


neuron
˜ glia èglia communication in 3d : Effect of the topology of the
connectivity network - P(k) , x - on the glia-glia communication
(Jules Lallouette, Master 2 CODE)
Funding
!  Collaboration is 5 years old
!  No funding up to now
!  Under review : application to a Research Networks
Program in Computational Neurosciences and
Computational Cognitive Sciences (High Council for
Scientific and Technological Cooperation between France-Israel) :
only travels / equipment (no salary)
!  Jules Lallouette application for PhD at ED InfoMath
this year.