Expression et Reconnaissance des Intentions Conceptuelles Apports de la Multimodalit

Franck TARPIN-BERNARD, Bertrand T. DAVID

Laboratoire GRACIMP - Ecole Centrale de Lyon - Dpartement MIS 36, avenue Guy de Collongue, B.P. 163, 69131 Ecully cedex tl : 72.18.64.43 Fax : 78.33.16.15 email : tarpin@cc.ec-lyon.fr, david@cc.ec-lyon.fr

Rsum. La prise en compte des intentions conceptuelles des utilisateurs est un des enjeux nouveaux des systmes de CAO. Elle doit permettre une meilleure adquation entre les mthodes de conception intuitives de lhomme et les outils industriels de lingnierie moderne. Pour capter des intentions conceptuelles, nous permettons au concepteur d'enrichir le prototype en cours de construction par des informations juges pertinentes. Lutilisation dinterfaces homme-machine multimodales est une des techniques pouvant tre mise en uvre pour faciliter lexpression des intentions conceptuelles. Un diteur contextuel multimodal est prsent pour illustrer ces nouvelles possibilits. Pour reconnatre des intentions conceptuelles profondes, nous nous appuyons sur un prototype initial qui est labor pour viter la ralisation manuelle du cahier des charges complet. Dans ce cas, nous considrons le prototype en cours de construction comme un exemple concret illustrant le cahier des charges. Celui-ci comporte alors un certain nombre de choix non pertinents globalement mais ncessaires pour sa ralisation. Pour dgager les vraies intentions conceptuelles il est donc ncessaire de faire abstraction de ces choix et gnraliser ainsi l'exemple construit. Abstract. Taking in account conceptual user intentions is one of the new goals of CAD systems. This consideration should allow a best adequation between human intuitive design methods and industrial tools of modern engineering. In order to catch conceptual intentions, we propose to the designers to enrich an under construction prototype by information considered as relevant. The use of a multimodal man machine interface is one of the techniques that should be implement to facilitate the expression of conceptual intentions. A multimodal contextual editor is presented to illustrate these new possibilities. To recognize deep conceptual intentions, we lean on an initial prototype that is elaborated to avoid the manual realization of the complete functional specifications. In this case, we consider the prototype under construction as a concrete example illustrating the functional specifications. Indeed, the former contains several choices which are non globally relevant but necessary for its realization. To release the true conceptual intentions, it is therefore necessary to extract the hidden abstraction of these choices, and thus, to generalize the example.

1. Introduction
Les systmes industriels qu'ils soient de conception, de contrle de production ou de formation sont la fois de plus en plus intgrs et de plus en plus collectifs. La dimension intgration a fait objet de nombreuses investigations, de recherches et de mises en oeuvre industrielles. Nous avons tudi cette problmatique dans le cadre du projet CIM-ONE [DMV91]. Ce projet a conduit proposer un modle dintgration bas sur les donnes, ainsi quune architecture du systme correspondant. C'est cette occasion que nous avons entrepris une premire tude d'explicitation du processus de conception. Nous nous sommes rendu compte que le progrs passe par la modlisation explicite du processus qui permet de faire apparatre clairement les rles des participants et la dynamique de leur participation au projet. Une modlisation semblable a t utilise dans le projet ESPRIT IPDES [Bru93] avec la notion de contrat de conception et la transformation de ce contrat en sous-contrats. Dans le cadre dun nouveau projet financ par la Rgion Rhne-Alpes sur la conception cooprante, nous avons t amens approfondir cette tude en nous intressant au processus de conception dans le domaine de la mcanique. Plusieurs modles de droulement du processus ont t proposs allant de la conception squentielle la conception simultane en passant par la conception concourante. Chacun de ces modles exprime des cheminements entre phases du processus en prcisant les diffrents cahiers des charges constituant les contrats de conception, les activits mener dans chaque phase, les droits et les devoirs de chaque intervenant, et les rsultats obtenir sur l'objet en cours de construction. Dans son volution actuelle, l'informatique ne se contente plus d'tre un outil performant permettant aux diffrents acteurs du processus de conception de saisir puis d'changer des informations techniques. Elle ambitionne aujourd'hui d'assister les hommes dans leurs travaux de conception en captant leurs intentions. Ces intentions conceptuelles peuvent tre relativement simples (ex: choix implicite de certains paramtres), ou tre beaucoup plus complexes, car faisant appel l'interprtation du processus de conception. L'assistance que peut apporter l'expression et la reconnaissance des intentions conceptuelles peut donc revtir de nombreux aspects tels que : la prise en compte automatique de paramtres implicites, la validation des choix, le respect des contraintes, la proposition de solutions plus ou moins gnriques, etc. Dans notre tude, nous nous sommes intresss deux approches de prise en compte dintentions conceptuelles. Il s'agit tout d'abord de la construction de prototype, phase durant laquelle l'expression des intentions conceptuelles peut tre simplifie par une bonne organisation de lespace de travail, par un grand ventail dinformations rutilisables disponibles et par lutilisation dune interface multimodale facilitant lexpression des intentions de lutilisateur. La deuxime approche consiste reconnatre les intentions du ou des concepteurs partir des prototypes ne constituant que des exemples concrets de la

solution propose. L'objectif de cette approche est de dcouvrir les vritables intentions conceptuelles par la gnralisation de ces exemples. C'est cette opration de gnralisation qui permet de faire la part entre les informations exprimant les intentions et les informations spcifiques au cas servant dexemple. Extraire les lments conceptuels fondamentaux partir dexemples permet de raliser ensuite plus facilement une conception innovante.

2. Les intentions conceptuelles dans la gnration de prototypes

Dans le cadre de la construction de prototype, il est toujours intressant de fournir aux concepteurs des outils qui permettent de s'exprimer plus librement. Cette remarque est particulirement valable dans le cadre de la construction de schmas cinmatiques. Jusqu' prsent, les outils de construction et d'analyse de schmas cinmatiques reposent sur des interfaces homme-machine trs loignes de l'interface "naturelle" que constitue le papier et le crayon. Ainsi, le principe de saisie des schmas consiste gnralement en la saisie itrative et manuelle de la nature des liaisons, de leurs positions et orientations ainsi que des noms des pices qu'elles relient. Cette approche tient souvent au fait qu'il s'agit de produits spcialiss dans l'analyse et la validation de systmes mcaniques et non dans la construction de schmas en cours de conception. Nous nous sommes donc intresss la ralisation d'un logiciel permettant une construction beaucoup plus naturelle et intuitive. Ecartant les systmes de reconnaissance de schmas manuscrits scanneriss auxquels s'est intresse une autre quipe du projet [RVE95], nous avons privilgi la solution plus classique qu'est l'diteur. Cependant, nous nous sommes efforcs de ne pas tomber dans le pige des diteurs de CAO courants qui multiplient outrance les menus rendant particulirement difficile et pnible la saisie d'informations. Dans ce contexte, nous avons construit un premier diteur appel CinmaTek qui propose des fentres de visualisation (dans un repre 3D en projection parallle) permettant la construction de schmas tridimensionnels. L'dition d'un schma cinmatique s'effectue en construisant des squelettes de pice, c'est--dire des ensembles de noeuds et de branches. Sur ces squelettes, on cre des liaisons via des menus contextuels apparaissant l'emplacement de la souris (Figure 1 & 2). Il est possible de renommer les pices ou de les mettre en vidence en utilisant des couleurs ou des paisseurs de traits diffrentes. Toutes les fonctions d'dition (cration, modification, dplacement et suppression) sont possibles aussi bien sur les noeuds et les branches que sur les pices ou les liaisons. Toutes les phases de cration, ajout ou dplacement sont dynamiques, ce qui signifie que le schma se transforme en temps rel partir des actions de l'utilisateur l'aide du pointeur d'cran.

Figure 1 : Construction d'une liaison sur une branche partir du menu contextuel .

Figure 2 : Insertion d'une liaison au carter sur un noeud partir du menu contextuel.

Lobjectif principal de notre diteur est de fournir un systme souple permettant au concepteur de traduire trs rapidement ses ides sous forme de schmas smantiquement aussi complets que possible pouvant tre directement utiliss, c'est-dire imprims et exports vers d'autres outils de calcul comme MECAmaster [Clo90]. Pour facilit le maniement du pointeur dans l'espace 3D, les mouvements de ce dernier sont analyss par rapport aux trois directions principales que constituent les axes du repre. Ces directions sont bien sr fonctions de la position de l'observateur du schma. Cette mthode permet de proposer un systme dans lequel on ne retrouve pas les 3 fentres classiques de projection sur les plans principaux du repre. Ceci permet une saisie beaucoup plus rapide dans un contexte o la prcision de positionnement des objets n'est pas fondamentale. Cependant, pour assister le concepteur dans sa perception de la profondeur de la scne, nous visualisons des cubes de projection pour chaque noeud de la pice en cours de construction (Figure 3).

Figure 3 : Cubes de projection permettant d'apprcier la position des noeuds .

Par ailleurs, il est possible de crer simultanment d'autres fentres de visualisation pour observer le schma sous d'autres angles. Il est aussi possible de visualiser plusieurs schmas en mme temps. Enfin, le systme dtecte automatiquement les perpendicularits entre branches qu'il traduit au fur et mesure sous forme de petits paralllogrammes. De fait, CinmaTek permet une expression simple d'intentions conceptuelles telles que la perpendicularit ou le paralllisme. La

prise en compte de ces contraintes dans les transformations dynamiques du schma est en cours d'tude. Sous cette forme, CinmaTek permet donc une saisie rapide et beaucoup plus naturelle. La souplesse de ses fonctionnalits de modification permet au concepteur de tester immdiatement des solutions diffrentes. Son couplage avec MECAmaster permet de les valider instantanment en terme d'isostatisme, comme en terme d'efforts ou couples transmis. Pour l'instant, ce couplage est manuel (exportation puis importation), mais son automatisation est en cours de ralisation. La dtection des directions principales et des orthogonalits permet un premier niveau de reconnaissance des intentions conceptuelles du concepteur. En effet, celui-ci n'a pas indiquer de faon explicite qu'il veut une orientation selon un axe principal, ou qu'il dsire une orthogonalit ou un paralllisme entre deux branches de squelette. Pour poursuivre ces travaux, nous nous intressons aux apports que les multimodalits [IHM94] sont susceptibles d'apporter l'expression des intentions conceptuelles. En effet, nous estimons que l'identification des intentions des concepteurs peut tre grandement facilite si celles-ci sont exprime avec des mdias plus adapts. Aprs avoir construit une interface au modle de fonctionnement bas sur le papier et le crayon, nous avons cherch pousser la mtaphore encore plus loin en ajoutant CinmaTek un systme de reconnaissance et de fusion d'vnements multimodaux mis au point dans le laboratoire [Zho95]. Grce ce systme, et en utilisant le crayon de la tablette graphique pour plus de facilit, la construction des liaisons du schma cinmatique ne se fait plus seulement par slection dans des menus contextuels, mais peut aussi tre ralise l'aide de gestes lmentaires bass sur les reprsentations 2D standardises des liaisons (Figure 4). De fait, le concepteur peut se concentrer sur sa tche de conception en utilisant un crayon et en "dessinant" ses schmas sans avoir se proccuper des contraintes de l'diteur. Les intentions conceptuelles lmentaires (orthogonalits, directions principales, etc.) sont automatiquement pris en compte par CinmaTek car le mode d'expression utilis pour la construction du schma transpose implicitement ces intentions. De mme, nous tudions les avantages que peut apporter le systme de reconnaissance vocale, notamment dans l'expression des donnes techniques du domaine. Pour l'instant, nous utilisons le canal vocal pour indiquer le paramtre d'orthogonalit des liaisons [ZTD96]. Pour obtenir le squelette de la pice en cours de construction prsente sur la figure 3, une liaison pivot orthogonal a t construite sur une premire pice. La commande d'insertion a t dclenche en effectuant le geste "Liaison Pivot" sur l'arbre concern et en prononant le mot cl "orthogonal". Si le paramtre d'orthogonalit n'est pas produit par une des modalits utilisables (parole ou menu contextuel), il prend la valeur par dfaut "quelconque" (lorthogonalit nest pas impose).

Nom de la liaison Pivot Glissant Pivot Glissire Hlicodale Linaire Annulaire Rotule Ponctuelle Appui Plan

Reprsentation 2D standard

Geste dans CinmaTek

Figure 4 : L'ensemble des prototypes gestuels de dfinition des liaisons cinmatiques .

3. Les intentions conceptuelles dans la gnralisation des prototypes

La ralisation d'un prototype peut intervenir en diffrentes phases du processus de conception. Classiquement, celui-ci se situe aprs la rdaction du cahier des charges fonctionnel (CCF) et intervient pour la concrtisation des schmas cinmatiques (SC) et des schmas structurels (SS). Dans ce cas, on se retrouve dans l'approche dcrite prcdemment (2). Toutefois, dans beaucoup de cas il apparat que la ralisation d'un cahier des charges fonctionnel complet et rigoureux est une tche trs complexe et particulirement fastidieuse si l'on utilise les systmes informatiques actuels. En effet, l'activit de conception, et particulirement la conception de produits originaux, se prte mal une dmarche se basant sur l'expression "abstraite" d'un cahier des charges complet. Dans ce contexte, il nous semble que la construction de prototype, en particulier dans sa phase d'laboration d'un schma cinmatique, peut tre dtourne de sa vocation premire. En effet, si gnralement, celui-ci est construit dans l'objectif de remplir les fonctionnalits cinmatiques imposes par le cahier des charges, il est possible de procder linverse, cest--dire commencer par tablir un prototype du schma cinmatique pour en dduire certains lments du cahier des charges. Pour ce faire, il faut carter a posteriori tous les lments concernant la solution spcifique envisage de faon implicite par le concepteur. En effet, pour concrtiser,

le schma cinmatique peut comporter des lments de solution technologique (ex: engrenages) qui ne sont pas significatifs si l'on ne s'intresse qu'aux principes fonctionnels exprims. Dans ce cas, il est ncessaire de remplacer ces lments prdtermins par des lments plus gnriques, c'est--dire se traduisant par une fonctionnalit pure dpourvue de choix implicites (ex: renvois d'angle). De son ct, le schma structurel est aussi un outil prcieux. Il permet tout d'abord de faire la correspondance entre les contraintes exprimes dans le cahier des charges et les pices du systme. Par ailleurs, dans un contexte de conception concourante, la dcomposition des tches est gnralement tablie partir du schma structurel (dcoupage en grands ensembles) et du cahier des charges fonctionnel. Une mthode intressante de travail assist par l'ordinateur consiste adopter une dmarche similaire celles employes dans des contextes de programmation par exemples. Elle se dcompose en 5 phases : 1. On tablit un cahier des charges fonctionnel minimal. 2. Le concepteur construit un schma cinmatique lui paraissant remplir les contraintes cinmatiques imposs. 3. Le systme informatique identifie les fonctionnalits gnriques induites par ce schma et construit le schma structurel en dcoulant (identification du nombre de pices et des relations entre pices). 4. Le systme informatique analyse la correspondance entre les fonctionnalits induites et les fonctionnalits requises. Il soumet au concepteur les diffrences apparues (fonctionnalits manquantes, redondances, etc.). 5. Le concepteur construit un schma cinmatique valide partir des informations fonctionnelles, cinmatiques et structurelles fournies par le systme.

Conclusion
Pour amliorer lassistance que lordinateur peut apporter dans les activits de conception, on se doit de modliser plus finement lacte de concevoir et ceci autant dans la dimension multi-participant (organisation de lactivit collective - conception cooprante) que dans la dimension individuelle (acte de conception). Permettre lordinateur de prendre connaissance dintentions conceptuelles peut susciter des aides nouvelles non encore imagines. Cest la raison pour laquelle nous tudions cette problmatique avec deux approches. Lexpression des intentions conceptuelles grce une nouvelle catgorie dditeurs, plus souples et permettant une expression plus naturelle et complte constitue une des voies d'approche. La multimodalit nous semble tre un des moyens devant tre mis en uvre pour exprimer plus facilement des intentions conceptuelles. Elle permet d'tablir une meilleure adquation entre les outils informatiques et les moyens naturels d'expression des concepteurs.

Le raisonnement par lexemple offre galement de nouvelles possibilits. En effet, la rdaction fastidieuse du cahier des charges fonctionnel complet suivie par llaboration dun schma cinmatique se situe dans une dmarche dductive qui peut tre freine par linadquation du cahier des charges initial (trop ou pas assez complet). La dmarche propose, plus inductive, permet au concepteur de sexprimer de faon concrte (sur un exemple), llaboration du cahier des charges fonctionnel tant effectu automatiquement par gnralisation et abstraction, puis reprise par le concepteur. Cette voie nous semble trs prometteuse car elle peut s'appliquer aussi bien en conception innovante qu'en conception volutive devant prendre en compte des lments prexistants par une dmarche de rtro-conception. Dcouverte des intentions conceptuelles par rtro-conception constitue un champ d'investigation prometteur.

Rfrences
[Boc94] [Bru93] J-C. Bocquet, Adopter une dmarche de conception, Ed. Rfrentiels Dunod, Conception en mcanique industrielle, 1994 J-M. Brun et al., IPDES : an approach to the integration of design and manufacturing, in Realizing CIM's Industrial Potential, IOS Press (Projet IPDES), 1993, pp. 190-200 P. Clozel, MECAmaster, expertise en Conception Mcanique pour les Bureaux d'Etudes, StruCoMe, 1990, Paris, pp. 757-770 B.T. David, C. Marty, D. Vandorpe et al., Environnement informationnel pour le CIM: Projet CIM-ONE, 23me CIRP, Sminaire International sur les Systmes de Production, Nancy 6-7 juin 1991 Systmes d'Analyse des Interactions Homme-Ordinateur, Synthse de travaux de l'atelier "Interfaces multimodales" d'IHM'93, Actes d'IHM'94, Lille, 1994, p.243-298. J.Y. Ramel, N. Vincent, H. Emptoz. A method for the hierarchical extraction and description of lines and solid regions in technical drawings. 5th International Conference on Image Processing & its Applications. Edinburgh. 1995. p 379-383. S. Tiechkiewitch, De la CFAO la conception intgre, Revue internationale de CFAO et dinfographie, vol 9, N5, 1994, pp.609-621. M. Tollenaere, P. Belloy, S. Tiechkiewitch, Un modle de description de pices mcaniques pour la conception prliminaire, Confrence IFIP on Feature modeling & recognition in advanced CAD/CAM Systems, 1994 Z.L. Zhou, Une mthode pour la reconnaissance du geste et des vnements multimodaux, Mmoire DEA, ECL, 1995. Z.L. Zhou, F. Tarpin-Bernard, B.T. David, Un environnement gnrique pour la ralisation dinterfaces multimodales - Un exemple d'application, Interface des Mondes Rels et Virtuels, Montpellier 1996.

[Clo90] [DMV91]

[IHM94]

[RVE95]

[Tic94] [TBT94]

[Zho95] [ZTD96]