Journes dtudes Espaces Sonores Avril 2002

ESPACES INTERACTIFS VISUELS POUR LE CONTROLE DES SONS

MUSICAUX

Jean-Michel Couturier
LMA-CNRS, 31, chemin Joseph Aiguier 13402 Marseille cedex 20
couturier@lma.cnrs-mrs.fr

Rsum
Cet article montre comment linteraction gestuelle avec des interfaces graphiques peut
rendre performant le contrle des sons musicaux. Il expose auparavant la problmatique
du contrle gestuel des processus sonores dans les instruments de musique
informatiques. Un exemple de manipulation dune corde virtuelle avec un cran tactile
est donn en fin darticle.

INTRODUCTION

Les dveloppements de linformatique musicale ont apport un renouveau dans la cration dinstrument de
musique, en sparant la production du son des gestes du musicien. La libert qui en rsulte possde cependant un
inconvnient : la difficult contrler efficacement les processus sonores. Les crateurs dinstruments de musique
bass sur linformatique cherchent recrer le lien entre le geste et le son. Ce lien, selon la dmarche utilise, peut
tre direct ou peut passer par la manipulation dobjets dinteraction virtuels reprsents visuellement.
Aprs un expos de la problmatique du contrle instrumental en informatique musicale, nous tudierons ces
deux dmarches de la cration dinstruments numriques, en dveloppant plus particulirement la seconde. Enfin,
nous verrons comment le canal visuel peut tre utilis pour contrler de faon originale la synthse par balayage,
grce une interaction directe entre lutilisateur et une corde virtuelle.

1 CONTROLE INSTRUMENTAL EN INFORMATIQUE MUSICALE

Dans lacoustique instrumentale, la production de sons musicaux est associe des mouvements humains. Il
y a une causalit physique entre les gestes effectus et les sons produits. Larrive des sons de synthse et de
linformatique ont boulevers cet tat de fait : on peut dornavant produire des sons, de la musique sans tenir
compte des mouvements humains [1].
Depuis plusieurs annes, les ordinateurs ont une puissance suffisante pour permettre de crer et de contrler des
sons de synthse en temps rel. On peut donc effectuer un contrle gestuel de ces sons numriques, donnant au
musicien les moyens de sexprimer comme il le fait avec les instruments traditionnels. Les instruments acoustiques
traditionnels offrent de grandes possibilits de jeu, mais possdent des limites dues aux contraintes physiques lies
linstrument et linterprte, obligeant le plus souvent linstrumentiste sadapter linstrument. Avec les
systmes lectroniques et numriques, les contraintes physiques lies linstrument et la production du son
disparaissent, mais le lien entre le geste et le son est perdu ; ce lien qui tait naturel est rinventer.

Gestes Capture des

gestes
? Production
du son
Son

Figure 1 : Contrairement aux instruments acoustiques, le son issu des instruments lectroniques et numriques ne
dpend plus directement des gestes effectus. Il faut reconstruire la chane qui lie le geste et le son, ce qui tout en
offrant une grande libert pose de nouveaux problmes.

Avec lvolution des technologies, une quantit importante de contrleurs gestuels a vu le jour et beaucoup de
recherches ont t effectues sur les contrleurs et leurs liens avec les processus sonores. La correspondance entre
ces priphriques et les paramtres de contrle des sons de synthse utiliss est couramment appele mapping. Le
Journes dtudes Espaces Sonores Avril 2002

mapping est de toute premire importance : il dfinit la manire dont les gestes excuts par le musicien vont faire
varier les paramtres de synthse. Il nest pas vident de le raliser car si le geste est trs fortement li au son pour
les instruments acoustiques, associer un geste adapt un son de synthse nest pas simple. En effet, les
paramtres de synthse dpendent de lalgorithme de synthse utilis et ne sont pas toujours adapts tre
directement lis un geste. Ces difficults font que le mapping est une problmatique forte de la recherche en
informatique musicale [2] [3] [4].
La recherche sur le mapping doit prendre en compte le problme de linterprtation en musique numrique,
o apparat le dilemme entre virtuosit et apprentissage [5]. Les instruments traditionnels demandent souvent un
long apprentissage, mais ils permettent une grande virtuosit. Loppos serait un dispositif qui, sans apprentissage,
permettrait une interprtation parfaite. Cependant, une telle machine nexiste pas. Les recherches en informatique
musicale et sur le mapping doivent trouver des compromis pour obtenir une virtuosit suffisante avec un temps
dapprentissage court. Ceci est dautant plus vrai que la prennit des nouveaux systmes technologiques est si
faible quil serait difficile de crer des instruments qui auraient un temps dapprentissage aussi long que celui des
instruments acoustiques traditionnels.
Alors, comment crer des interfaces homme-machine efficaces utilisant des mappings intelligents pouvant
aller au-del de ces problmatiques ? Nous allons voir dans la partie suivante comment lutilisation de systmes
multimodaux avec interfaces graphiques peut aider la cration dinstruments de musique performants qui
prennent en compte les contraintes lies aux instruments numriques.

2 DES ESPACES VIRTUELS POUR CONTROLER LES PROCESSUS SONORES

Par construction, les instruments acoustiques sont des systmes multimodaux : Les gestes du musicien
mettent en uvre des processus physiques qui produisent le son, et laudition de ce son ainsi que le contact
physique de linstrument et sa visualisation vont aider linstrumentiste dans son action (Fig. 1). Les instruments
numriques cherchent garder cette interaction, r-tablir le lien entre le geste, le son cr et les divers retours
(sonores, tactiles et visuels). Comme nous le verrons ensuite, diffrentes approches sont possibles pour concevoir
ces instruments.

Retours Musicien
Sonores
Gestes
Tactiles
Visuels
Instrument

Figure 2 : Interaction entre linstrumentiste et son instrument. Cette interaction est fige pour les instruments
acoustiques et dpend de la physique de linstrument et de son mode de jeu.

La premire dmarche dans llaboration dinstruments de musique numriques est de chercher retrouver
linteraction instrumentale telle quelle est prsente dans les instruments acoustiques. Cette dmarche vise
associer des dispositifs permettant de capter les gestes du musicien et de les relier des dispositifs produisant du
son. Cela permet de crer un ensemble capteurs gestuels / systme de production du signal sonore / haut-parleurs
que lon peut identifier comme un instrument de musique part entire. La libert offerte par la rupture entre le
geste et le son est utilise pendant la phase de conception de linstrument. Une fois linstrument cr, son
fonctionnement est proche des instruments traditionnels, avec quelques fonctionnalits supplmentaires (rglages
de linstrument programmables, retours visuels, etc). Ces instruments utilisent des capteurs gestuels plus ou
moins proches des instruments acoustiques [6]. Les contrleurs gestuels les plus proches des instruments rels sont
ceux qui les imitent (comme les claviers et les contrleurs de souffle), permettant ainsi de capter les gestes experts
que les instrumentistes ont lhabitude deffectuer. Ces capteurs peuvent servir contrler les mmes changements
sonores que leurs originaux : par exemple, on retrouve un clavier pour le contrle de la hauteur et de lamplitude
dans la plupart des synthtiseurs commerciaux. Ils peuvent galement quitter leur utilisation habituelle et
manipuler dautres paramtres du son, notamment le timbre. Dautres recherches ont t menes pour permettre la
saisie de gestes musicaux diffrents et la cration de nouvelles situations musicales. Ces recherches visent
dvelopper de nouveaux priphriques ou dtourner des capteurs existants pour saisir les gestes des musiciens.
Ces priphriques alternatifs, qui vont des simples curseurs et boutons rotatifs des capteurs complexes comme
Journes dtudes Espaces Sonores Avril 2002

les camras vidos ou les systmes retour deffort [7], permettent aux musiciens dexplorer de nouveaux modes
dexpression artistique.
Une seconde dmarche cherche utiliser les avantages lis aux systmes informatiques et aux espaces
virtuels pour contrler les sons musicaux. La prolifration des logiciels avec interfaces graphiques a donn la
vision, travers lcran dordinateur, une place prpondrante [8]. Si la vision est indispensable quand nous
utilisons des programmes informatiques, il ne lest pas pour le contrle des sons musicaux (dans les formations
classiques, la vue est souvent ddie la lecture des partitions). Inversement, le rle du sonore en informatique est
souvent limit. Cet tat de fait ouvre de trs grandes possibilits pour un contrle des sons musicaux bas sur
linteraction avec des phnomnes perus au travers du canal visuel.
Les logiciels actuels permettent grce un simple ordinateur personnel dutiliser des modles informatiques
dinstruments et de matriel musical avec un encombrement rduit et sans avoir acheter le matriel ou les
instruments rels correspondants. De la mme faon que les systmes informatiques reprsentent des objets rels
(comme la corbeille ou les dossiers) pour une plus grande convivialit des interfaces, une grande partie des
logiciels musicaux utilisent des objets graphiques, en gnral bidimensionnels, simulant des contrles rels :
claviers, potentiomtres linaires et rotatifs, boutons et molettes de commande, manettes 2D, etc.
Cependant, la manipulation de ces objets se fait gnralement travers la souris, qui, si elle est adapte aux
utilisations en bureau, est inadapte au contrle de sons en temps rel. La souris permet de manipuler seulement
deux paramtres continus la fois, dans un espace bidimensionnel, et un ou deux paramtres discrets,
correspondant aux clics de souris. De plus, elle nest pas le contrleur idal pour rendre compte de notre habilet
manuelle. La tablette graphique, adopte par un grand nombre de graphistes, est plus adapte que la souris pour les
manipulations musicales, mais possde elle aussi des limites en ce qui concerne le nombre de paramtres
manipulables simultanment. Pour ces raisons, on ne peut pas manipuler les lments proposs par ces logiciels de
la mme faon que leurs originaux rels, qui peuvent tre tous utiliss en mme temps : il faut souvent utiliser des
contrleurs externes. Mais dans ce cas, les contrleurs font disparatre les avantages (flexibilit et immdiatet) du
virtuel en figeant des paramtres sur des contrleurs, les interfaces graphiques permettant le contrle dun nombre
de paramtre illimit. De plus, brancher et configurer un priphrique externe est souvent difficile, prend du temps
et ne permet pas de manipuler la totalit des paramtres du logiciel. Du coup, le plus souvent on est oblig davoir
simultanment deux modes dutilisation : prparation du logiciel la souris et jeu instrumental avec des
priphriques adapts. Ceci est dautant plus dommage que lon trouve dans le commerce des versions logicielles
dalgorithmes de synthse et de traitement audio souvent aussi performantes du point de vue traitement du signal
que les versions matrielles, avec des interfaces claires et lisibles. Pour palier ces problmes, les fabricants de
logiciels dveloppent parfois des tlcommandes ou des priphriques spcifiques leurs logiciels, comme des
tables de commandes identiques aux tables de mixages. Lutilisateur retrouve ainsi le confort dutilisation qui
existe avec le matriel rel, faisant disparatre les limites de la souris, mme si elle reste indispensable pour
lutilisation du logiciel.

Figure 3 : Contrleur / carte audionumrique externe Digi 002 et Interface logicielle associe (Protools). Les
curseurs du priphrique externe font varier les curseurs reprsents lcran et effectuent les traitements
sonores associs. Inversement, un dplacement des curseurs situs dans le logiciel va entraner un dplacement
des curseurs rels (avec la permission de Digidesign).

Les priphriques usuels posent un autre problme : la dissociation entre le manipul et le manipulant. La
manipulation se fait dans un espace dfini, celui de la souris ou des contrleurs externes, et les rsultats de cette
manipulation apparaissent dans un autre espace, lespace virtuel reprsent lcran. Cette dissociation est
courante dans notre socit (conduite dune automobile, manipulation de tlcommandes), mais dans le cas o on
reprsente lcran des objets familiers que lon toucherait directement sil taient rels, cette dissociation
introduit une gne : le lieu du geste nest pas le lieu de linteraction.
Journes dtudes Espaces Sonores Avril 2002

Des solutions existent, mais sont peu utilises : ce sont les crans tactiles et systmes quivalents, qui associent le
retour visuel au contrle : lutilisateur voit le geste quil fait et leffet de ce geste. Ces systmes procurent
davantage de prsence dans la manipulation ; on se retrouve dans une situation plus proche de la ralit : le doigt
manipule directement un objet graphique reprsentant lobjet rel. De plus, ces systmes conservent lavantage de
la souris sur des contrleurs externes : il nest pas ncessaire dassigner les objets graphiques au contrleur,
linteraction se fait directement avec lobjet graphique. Cependant, ils noffrent pas la mme sensation de toucher
que les systmes rels.
Enfin, nous avons deux mains : lorsque nous jouons de la musique avec des instruments acoustiques ou
lectroniques (comme les synthtiseurs analogiques, avec leurs nombreux potentiomtres), nous nous servons de
ces deux mains [9]. La souris et les crans tactiles usuels nutilisent quune seule main [10], la deuxime main
servant presser le clavier (shift, control,..). Cela reprsente une importante limite pour lexpression musicale : les
gestes musicaux usuels sont complexes et ne se limitent pas au dplacement dun petit objet sur une surface, ou
dun seul doigt sur un cran. Ce problme est de taille, car si des interfaces spcifiques permettent de modifier
plusieurs paramtres en mme temps, les systmes dexploitation courants de linformatique actuelle fonctionnent
avec un seul curseur et permettent la manipulation dun seul objet la fois. Les priphriques conus pour
remplacer la souris ont la mme limite, leur rle tant de dplacer un curseur.
Parmi les personnes travaillant sur ce problme, on peut citer le groupe de recherche sur les Interfaces
Tangibles du MIT Media Lab, qui a t cr afin de concevoir des interfaces avec interaction entre des objets
rels et un environnement virtuel [11]. Ce groupe a notamment dvelopp un systme spcifique dinteraction
musicale, appel AudioPad, prsent aux NIME 2002 [12] (Fig. 4).

Figure 4 : Le systme Audiopad est compos de cylindres et autres objets se dplaant sur une surface plane sur
laquelle est projete la reprsentation dun espace dinteraction virtuel. Il est bas sur des interactions
bimanuelles combinant le choix des paramtres et leur modification, travers la navigation dans un espace
virtuel.

Ce systme donne une ide de la puissance que peut avoir lutilisation dinteractions avec des interfaces
graphiques dans le contrle simultan de paramtres multiples. Contrairement aux instruments traditionnels qui
sont figs et dont la forme est connue, ici linstrument volue, les paramtres modifier sont immdiatement
disponibles et les objets dinteraction peuvent changer. Au-del de la manipulation de paramtres travers la
reprsentation dobjets rels, dimmenses possibilits souvrent, notamment lutilisation de mtaphores pour la
reprsentation des sons dans le domaine visuel (cross-modalit) ou linteraction avec des images en mouvement.
La partie suivante expose un exemple de contrle dun algorithme de synthse par une interaction directe avec une
forme virtuelle.

3 CONTROLE VISUEL DIRECT DE LA SYNTHESE PAR BALAYAGE

La synthse par balayage (en anglais Scanned Synthesis) a t dveloppe par Bill Verplank, Rob Shaw et
Max Mathews [13] et permet de gnrer des sons partir de mouvements lents de systmes mcaniques. Cette
technique de synthse gnre une table donde dynamique et la lit pour produire des sons. Elle se prsente de la
faon suivante (Fig. 5) :
Journes dtudes Espaces Sonores Avril 2002

Visualisation
Paramtres Objet en
mouvement Forme de lobjet Systme de
de synthse Son
balayage
Frquence(s) de balayage

Figure 5 : Principe : La synthse par balayage est compose dun systme dynamique lent, dont les frquences de
vibrations sont situes au-dessous de 15 Hz. Pour produire des frquences audibles, la forme du systme
dynamique est balaye priodiquement une frquence correspondant la fondamentale du son produit. Ce
modle permet de contrler indpendamment le timbre et la frquence fondamentale du son.

Les bases psychoacoustiques de la synthse par balayage viennent de notre connaissance sur la perception auditive
humaine et sur les capacits du contrle corporel humain. Dans les annes 60, Jean-Claude Risset [14] a montr
que pour quun timbre soit intressant il faut que son spectre change au cours du temps. Il se trouve que pour
obtenir des timbres musicalement intressants, ces variations doivent se situer sous les 15 Hz, frquences
auxquelles le corps humain peut se mouvoir. Les vitesses dvolution de lobjet se situent dans cette zone. De plus
ces vitesses sont suffisamment faibles pour que lon puisse visualiser les mouvements de lobjet, ce qui offre la
possibilit dutiliser limage de lobjet comme retour visuel et comme moyen de contrle de lalgorithme.
Jai implment cette technique en utilisant comme objet en mouvement un modle physique de corde circulaire
en diffrences finies (une collection de masses relies par des ressorts et des amortisseurs). Un objet en C
proposant un contrle de haut niveau de la synthse par balayage a t cr pour le logiciel Max-Msp sur
Macintosh [15] et a t utilis pour la ralisation dun instrument complet qui fut prsent aux NIME 2002
Dublin [16].
Dans ces travaux, la corde tait mise en mouvement par des forces ou lche depuis une position initiale fixe.
La forme de la corde tait utilise uniquement comme retour visuel. Cependant, le lien entre le son et sa
reprsentation visuelle est ici direct : on peut suivre lvolution de la forme de la corde lil nu, ce qui donne
envie de modifier cette forme la main et en temps rel. Jai donc ensuite cre un dispositif permettant de
manipuler directement la forme de la corde, comme on le ferait si elle tait relle. Le systme utilise un cran
tactile affichant les mouvements de la corde. Lutilisateur a la possibilit dinteragir directement avec cette corde
en dplaant son doigt sur lcran. De cette faon, on peut interagir en temps rel avec la corde : la mettre en
mouvement, lui donner une trajectoire, crer un obstacle sur son trajet,

Figure 6 : Manipulation de la corde virtuelle de lalgorithme de synthse par balayage laide dun cran tactile.
Le principe de linteraction est le suivant : Lorsque le doigt rencontre la corde, le programme agit de faon ce
que la corde ne traverse pas le doigt mais suive ses mouvements. Quand un doigt est pos sur lcran, le
programme dtermine sil est pos au-dessus ou au-dessous de la corde. En fonction de lendroit o lon a plac
initialement son doigt, il faut appuyer sur la corde (en dplaant le doigt vers le bas) ou la soulever (en dplaant
le doigt vers le haut) pour interagir avec elle.

Compte tenu de la complexit de la synthse par balayage et du nombre de paramtres de contrle possibles, ce
dispositif permet dutiliser cette technique de synthse avec une aisance et une prsence remarquable. Il offre une
interaction proche de celle que lon aurait si la corde tait relle, les seuls lments ne pouvant pas tre restitus
tant linertie de la corde ainsi que la sensation physique du contact.
Journes dtudes Espaces Sonores Avril 2002

CONCLUSION

Lutilisation dinteractions directes avec des reprsentations visuelles offre un avantage non ngligeable au
contrle des processus sonores. Cependant, on se rend compte que si les interfaces graphiques sont trs rpandues
en informatique, les objets dinteraction quelles reprsentent visuellement sont difficiles manipuler dans un
contexte de jeu musical. Les travaux raliss sur ce sujet sont prometteurs et donnent une ide sur ltendue des
possibilits quoffre lutilisation de ce type dinteraction.
Mes recherches futures iront vers la cration despaces virtuels de contrle des sons musicaux et vers la
ralisation de priphriques plus efficaces pour utiliser ces espaces.

4 REFERENCES

[1] I. Choi, "Gestural Primitives and the context for computational processing in an interactive performance
system", CD-room Trends in Gestural Control of Music, diteurs M. Wanderley and M. Battier, publication
Ircam, 2000.
[2] Wanderley M.,Depalle P., "Contrle Gestuel de la Synthse Sonore", Interfaces homme-machine et cration
musicale, diteurs H. Vinet et F. Delalande, pp. 145-163. Herms, 1999.
[3] A. Hunt, M. Wanderley, R. Kirk, "Towards a Model for Instrumental Mapping in Expert Musical Interaction",
Actes de la International Computer Music Conference ICMC2000, Berlin, Allemagne, ICMA, pp. 209-212.
[4] D. Arfib, J.M. Couturier, L. Kessous, V. Verfaille, Mapping strategies between gesture control parameters
and synthesis models parameters using perceptual spaces, paratre dans Organised Sound.
[5] D. Arfib, L. Kessous, "from Music V to creative gesture in computer music", Actes de la VIIth SBC
Conference, Curitiba, 2000.
[6] J.C. Risset, "Nouveaux gestes musicaux : quelques repres historiques", Les Nouveaux Gestes de la Musique,
ed. H. Genevois et R. de Vivo, pp.19-33, Parenthses, 1999.
[7] C. Cadoz, A. Luciani and J.-L. Florens, "Synthse musicale par simulation des mcanismes instrumentaux,
transducteurs gestuels rtroactifs pour l'tude du jeu instrumental", Revue d'Acoustique, vol. 59, pp. 279-292,
1981.
[8] H. Vinet, "Concept dinterfaces graphiques pour la production musicale et sonore", Interfaces homme-
machine et cration musicale, diteurs H. Vinet et F. Delalande, pp. 97-121. Herms, 1999.
[9] L. Kessous, " Instruments bi-manuels et espaces sonores", actes des Journes dEtudes Espaces Sonores,
Avril 2002.
[10] M. Beaudouin-Lafon. "Moins d'interface pour plus d'interaction", Interfaces homme-machine et cration
musicale, diteurs H. Vinet et F. Delalande, pp. 123-141. Herms, 1999.
[11] "Tangible Media Group", MIT Media Lab, http://tangible.media.mit.edu/.
[12] J. Patten, B. Retch, H. Ishii, "Audiopad : A Tag-based Interface for Musical Performance", Actes de la
confrence internationale New Interfaces for Musical Expression (NIME-02), Dublin, Irlande, 24-26 Mai
2002.
[13] B.Verplank, M. Mathews, R. Shaw, "Scanned Synthesis", Actes de la 2000 International Computer Music
Conference, Berlin, diteur Zannos, ICMA, 2000, pp. 368-371.
[14] J.C. Risset, "Analysis of instrumental tones", Physics Today, 22 (2), 1969, pp. 23-30.
[15] J.M. Couturier, La synthse par balayage et son contrle gestuel, Actes des 9mes Journes dInformatique
Musicale (JIM 02), Marseille, France, 29-31 Mai 2002.
http://perso.wanadoo.fr/gmem/evenements/jim2002/articles/P03_Couturier.pdf
[16] J.M. Couturier, "A Scanned Synthesis Virtual Instrument", Actes de la confrence internationale New
Interfaces for Musical Expression (NIME-02), Dublin, Irlande, 24-26 Mai 2002.