PROJET TAXINOMIE DU GESTE RAPPORT DE RECHERCHE

Ircam Composer in Research Report 2012 Benoit Meudic Ralisateur en Informatique Musical, Ircam meudic@ircam.fr
ABSTRACT Le projet Taxinomie du Geste a dmarr avec lobjectif de rassembler dans un catalogue un ensemble de gestes remarquables de diffrentes provenances et particulirement vocateurs pour le compositeur Thierry De Mey. Cette focalisation sur des mouvements remarquables a permis dinitier plusieurs dveloppements relatifs a leur utilisation dans un cadre de cration artistique : modlisation des mouvements par modles physiques, pour un contrle et une utilisation artistique des flux de donnes, transcription musicale et gestuelle des mouvements par des interprtes, musiciens, danseurs et des patchs max, mise en place de ponts ou mappings permettant un aller-retour entre les interprtes capts par des cameras ou des capteurs de mouvements et les gestes remarquables modliss. 1. INTRODUCTION Lon pourrait dire de ce projet quil est un aboutissement. Une forme de syncrtisme de tous les visages dune uvre multifacettes. Une synthse tout le moins, un instant donn de son parcours, de lensemble des dmarches entreprises par Thierry De Mey au cours de sa fertile geste artistique. Une geste layant men de la composition musicale au cinma en passant par la danse et le mouvement - ces derniers ayant toujours t au centre de son propos - quand ce ne furent pas aux trois, combins ou dclins en de subtiles et inextricables variations. Plus prcisment, ce projet est le prolongement dun tournant important ngoci il y a quelques annes avec Light Music, pice pour un chef solo convoquant son, mouvement et capture du geste, et avec laquelle pour la premire fois, Thierry De Mey sest approch dun de ses rves dartiste grce lavnement des nouvelles critures numriques : faire de linterprte le gnrateur, en mme temps que le manipulateur du son, conservant ainsi la musique son aspect fondamentalement kintique. Ainsi, nous partons dune taxinomie de mouvements pour constituer une bibliothque de sons, dimages et de gestes capts: recherche sur des mouvements remarquables et captation de ces derniers. Comme pour Light Music, le

Thierry De Mey Compositeur

musicien et linterprte sont "au cur" du processus et l'interface conue pour leur accorder un rle central. Dans un deuxime temps, aprs analyse et ventuelle reformalisation informatique, visuelle, schmatique ou sous forme de partitions, cette bibliothque sert de matriau pour la composition musicale et chorgraphique assiste dune technologie (capteurs) en relation directe avec les musiciens de lEnsemble Intercontemporain et de danseurs de Charleroi Danses. 2. ETAT DE LART Le geste, humain ou animalier, est lun des phnomnes complexes de lexpression vivante, qui relve de ractions synchrones diverses et varies. La beaut qui sen dgage peut saisir par sa musicalit, dautant plus lorsquon est un compositeur. Le compositeur, abordant alors le geste sous langle du musical, ne peut chapper au projet de ltudier et de le modliser. Des pages de littrature existent ce sujet, aussi nous allons nous focaliser sur le sujet prcis du catalogue de mouvements remarquables et sur sa transcription musicale. Ltude peut se faire par lexprience, nous pensons notamment aux oeuvres "Light Music" [1] et "Pices de gestes" [2] partir desquelles Thierry de Mey a labor un langage de gestes, devenu luimme objet d'tude [3]. Le domaine de l'interaction gestuelle est aussi intressant car il offre une base d'tude sur l'intgration par le musicien ou le danseur du "geste remarquable" (voir par exemple [4]). 3. RECHERCHE 3.1. Un catalogue de mouvements remarquables Il sagit dtablir selon le paradigme scientifique de la taxinomie, un "catalogue de mouvements remarquables" susceptibles d'inspirer la fois l'criture musicale en troite collaboration avec des musiciens interprtes -, une cration chorgraphique scnique et/ou cinmatographique, ainsi que des installations multimdia, interactives et participatives. Ce catalogue, par dfinition, nest pas fini. Dans le cadre de notre projet, et afin de ne pas y passer tout notre temps, seuls quelques mouvements ont ts rassembls, ce qui a constitu une base

suffisament riche pour les recherches qui ont suivi. Etant donn les diffrentes sources (video, images) et le grand nombre de manires de les considrer (autant quil y a de personnes les voir), il tait trs difficile de normaliser ces mouvements autrement que par la donne dun fichier source accompagn dune description par le compositeur de quest-ce qui en fait selon lui un mouvement remarquable. Nous avons ainsi rassembl : 3.1.1. Des captures vido de pices crites par Thierry : pices de gestes , Light Music 3.1.2. Des textes dcrivant des gestes imagins par le compositeur : Water 3.1.3. Des dessins de Thierry dcrivant des gestes imagins par lui : par exemple des dessins raliss pour Light Music 3.1.4. Des liens vers YouTube des squences vido : Les waves pendulum (galop, bipede, serpent, double hlice), les singes Gibbons, les pendules coupls, le mouvement dans le sable du serpent sonnettes etc 3.2. Modlisation par modles physiques Aprs une premire modlisation avec jitter/opengl correcte mais trop peu prcise dans le contrle de certains paramtres dterminants pour nos modles, nous avons avec Frdric Bevilacqua mis en place une srie de modles avec msd3d (librairie max de Nicolas Montgermont). Nous avons essentiellement travaill sur 3 modles de base. 3.2.1. Les 16 pendules Il sagit de 16 pendules de longueur croissante qui lorsquils sont lancs en mme temps provoquent une srie de mouvements remarquables selon langle avec lequel ils sont observs. 3.2.2. Les pendules coupls Nous avons surtout utilis le modle de trois boules relies par un ressort, dont lune fixe, et qui volue en relation lune lautre lorsque lune delle est dplace ou reoit une force. Cela peut tre particulirement vocateur pour un duo de musiciens lorsque les liens entre les boules ne sont pas matrialiss.

3.2.3. Le serpent Il sagit de 16 boules en enfilade relies chacune ses deux voisines (sauf les extrmes) et qui peut se mettre onduler un peu comme un serpent lorsquil est soumis des excitations (voir Figure 1).

Figure 1. Le modle du serpent dans Max Ces diffrents modles deviennent particulirement intressants lorsque leurs paramtres de contrle permettent une interaction directe avec les actions instrumentales des musiciens (modes de jeu, rythmes, mouvements). 3.2.4. Captation/reproduction des volutions de modles Nous avons choisi denregistrer nos utilisations de ces modles non en captations vido ce qui aurait donn peu de place la possibilit daltrer par la suite les mouvements, mais en flux de donnes Mubu (captation en continu des trois coordonnes de chaque lment des modles dans lespace) ce qui permet par la suite lors de leur lecture dapporter des effets de compression, dilatation, changement de vitesse etc Par ailleurs, le format Mubu permet aussi un pont avec Open-Music, ainsi quavec les gestes remarquables des capteurs de Light Music. 3.3. Mapping des donnes Afin de pouvoir facilement utiliser les flux de donnes des modles dans diffrents environements nous avons fait un patch max faisant les oprations suivantes pour une liste de valeurs (voir Figure 2): r-chantillonage temporel, passage en valeur absolue, choix des min/max, clipping, rampe de lissage avec choix du grain, changement de base logarithmique, choix du nombre de valeurs possibles voulues en sortie, choix des min/max de sortie. Autant de mappings que ncessaire peuvent tre faits simultanment, laccs se faisant via des send/receive. Le tout utilisant pattr pour la sauvegarde des configurations.

Figure 2. Le patch de mapping dans Max La question du mapping est importante, car elle pose la question de comment adapter les donnes dun envirronement un autre envirronement tout en prservant le sens quon veut leur attribuer. Par exemple la modlisation dun simple pendule dans un plan nous renvoie deux valeurs x et y. Peut-tre voudrons-nous focaliser sur le passage par les extrmes, ou par le milieu, dans ce cas il faudra mapper les valeurs selon leur volution, pour les extrmes (la valeur prcdente tait plus grande et devient plus petite) ou selon un axe, pour le passage par le milieu (sortir une valeur quand on est dun ct de laxe et une autre quand on est de lautre ct). Le mapping constitue donc le liant entre des envirronements diffrents. 3.4. Transcriptions visuelles Les modles physiques en eux-mme ne comportent pas de reprsentation visuelle, aussi il est possible dexplorer ce domaine. Nous ny avons consacr que peu de temps, prfrant travailler sur laspect musical. Les modles ont t reprsent par des boules relies par des fils, que lon peut choisir visibles ou non. Toute autre reprsentation est possible, et sera explorer dans le cadre du projet artistique. Xavier Meus a dj ralis un patch ajoutant un effet de rmanence aux mouvements permettant de figer dans le temps par un effet daccumulation les formes remarquables des mouvements. 3.5. Transcriptions musicales Nous avons explor plusieurs possibilits de transcriptions des gestes remarquables, dont voici quelques unes : 3.5.1. Synthse Thierry tant particulirement intress par les multiphoniques, nous avons imagin les utiliser comme autant de fentre qui pourraient souvrir aux mouvements des pendules (modle 16 pendules). Nous avons analys plusieurs multiphoniques avec audiosculpt ( chaque fois

nous retenions 16 partiels en frquence et amplitude) que nous avons mapp en amplitude avec les dplacements horizontaux des pendules (en distinguant la gauche et la droite), la base de multiphoniques pouvant voluer temporellement en parallle de lvolution du modle. Cela donne des rsultats assez intressants, notamment lorsque lon joue sur le nombre de pendules utiliss (et donc sur le nombre de partiels rvls) et la gravit (voir la vido 1). Pour affiner le traitement, nous avons rajout un troisime gnrateur de synthse mapp sur les y positifs (partie haute de la fentre des pendules). A ces traitements sajoutent des variations selon lactivit des pendules (mesure en vitesse moyenne dacclration) et selon les variations de distance dun pendule lautre (surtout utilis pour le modle de pendules coupls). Pour une meilleure qualit sonore, nous pensons terme utiliser Csound au lieu des oscillateurs de Max.

Figure 3. Une vido montrant la synthse dans Max 3.5.2. Filtrage dans Live Grce au patch de mapping , un lien naturel peut se faire entre les modles physiques et la modulation de paramtres dans Live. Nous avons choisi de rester en flux Midi (plutt quosc via M4L) afin de mapper rapidement la vole nimporte quel paramtre de Live avec n importe quel pendule. Par exemple lactivation de filtres selon la distance ou lactivit des pendules entre eux donnait de bons rsultats. 3.5.3. Sampling Etant donn la grande exprience de Thierry concernant lutilisation de sons enregistrs dvoils par des mouvements dans des fentres de lumires (Light Music, From Inside), nous avons appliqu ce principe aux modles physiques, en choisissant un son en lecture continue (pour donner vie au systme et viter les rptitions) qui serait jou de diffrents endroits et diffrents moments par les diffrents pendules, en sinspirant des principes de la synthse granulaire. Pour cela nous avons naturellement utilis samplor~, intressant par sa modularit et la possibilit de changer les fentres denveloppe des grains. 3.6. Transcriptions par les interprtes Une partie du travail a port sur linterprtation directe par des interprtes (musiciens, danseurs) de mouvements

remarquables projets sur cran, combins a un dispositif visuel et sonore de fentres de lumires ragissant au mouvements de linterprte. Vous le devinez, lide tait dinduire aussi en retour des mouvements remarquables chez les interprtes, crant ainsi une sorte de boucle de confusion trs intressante du point de vue artistique : lorsquon ne parvient plus dterminer qui fait quoi, la magie prend sa place. Ces sances ont t filmes et enregistres, ce qui permet aprs-coup de comprendre par lanalyse et le recul comment ragissent les interprtes et de dfinir les gestes qui nous semblent les plus intressants et pertinents au regard du projet artistique. Par ailleurs, les interprtes, inspirs par les sons et les images proposes, ont produit des gestes sonores intressants que nous navons pas manqu denregistrer chaud en studio lissue des sances. 3.7. Prparation de matriaux sonores dans OM Lenvironnement OM est trs adapt pour certains calculs que Thierry voulait effectuer et nous avons dvelopp cette fin plusieurs patchs de traitement. 3.7.1. Synthse csound partir danalyses de partiels 3.7.1.1 Synthse additive A partir dune analyse de partiels sous forme chord-seq, nous faisons une synthse de chaque note avec Csound avec contrle de lenveloppe damplitude. 3.7.1.2 Synthse soustractive avec Csound Nous filtrons avec Csound un son de prfrence bruit selon des hauteurs donnes par un chord-seq (analyse de partiels) avec contrle de lenveloppe damplitude et de la largeur de bande de chaque bande de filtrage. 3.7.1.3 Synthse soustractive avec Supervp Nous filtrons avec Supervp un son bruit en enlevant/gardant les partiels donns par un chord-seq avec contrle de la largeur de bande et possibilit de transposer. 3.7.2. Compression/dilatation daccords Lide est de calculer la fondamentale virtuelle dun spectre, puis de se rapprocher par interpolations successives dune note pivot choisie, en nautorisant comme notes intermdiaires que les harmoniques de la fondamentale (+/- lcart initial de la note concerne avec son harmonique le plus proche dans laccord de dpart). Ce processus a par ailleurs fait lobjet dune implmentation dans max en temps rel.

3.7.3. Lecture de flux de donnes Par lintermdiaire de classes Mubu, nous rcuprons les flux de donnes issus des modles physiques ou des captations des gestes des musiciens pour une utilisation dans nos patchs de calcul OM. 4. PERSPECTIVES FUTURES Plusieurs volutions peuvent aujourdhui tre envisages: nous avons maintenant les outils pour tablir un catalogue de flux de paramtres remarquables (en quelque sorte une abstraction des mouvements remarquables de dpart), ce qui permettra de composer avec prcision dans le temps plutt quexplorer les modles par linterprtation/improvisation. Nous sommes toujours la recherche de mappings intressants musicalement, le mapping de synthse actuel pourra inclure csound pour une meilleure qualit de son et de nouveaux contrles. Nous pouvons toffer les modles physiques par de nouveaux modles en relation avec des mouvements remarquables reprs mais non encore utiliss. Peut-tre une ouverture vers lAudioGuide de Ben Hackbarth pour jouer des flux de paramtres issus de nos modles est possible. 5. REMERCIEMENTS Xavier Meus, Frdric Bevilacqua, Norbert Schnell, Anne Becker 6. REFERENCES [1] [2] [3] (De Mey Thierry) "Light Music" pice musicale pour un chef solo, projections et dispositif interactif, cration en 2004. (De Mey Thierry) "Pice de gestes" pice musicale pour 5 percussionistes, cration en 2008. (Puig & al) "Finger's dance: une grammaire du geste pour la navigation et l'annotation de films de danse" http://www.iri.centrepompidou.fr/experimentations/fi ngersdance/. (Fdili Alaoui Sarah) "Analyse du geste dans et retours visuels par modles physiques" thse prsente au Limsi-Cnrs en Dcembre 2012, http://sarah.alaoui.free.fr/THESE/these-DoctoratSarahFdiliAlaoui.pdf

[4]