Vous êtes sur la page 1sur 40

VISUALISER

LINVISIBLE

VISUALISER linvisible

Visualiser linvisible
crit en novembre 2013 par Nicolas Maravitti
avec un suivi lECV Provence par Lionel Brenger,
ric Cattelain et Nathalie Bossard.
Texte plac sous une licence Creative Commons BYSA:
http://creativecommons.org/licenses/by-sa/3.0/deed.fr
Les images appartiennent leurs auteurs respectifs:
consulter les pages de crdits en annexe.
Texte compos en Ingleby, titres composs en Nanami.
ISBN pour la version numrique : 978-2-9547163-1-2
Rvision 1.1

Nicolas Maravitti

Sommaire
Visualisation du droul.
La largeur de la figure de haut
en bas correspond au niveau
de spcificit au cours de pages.
Plus la figure est mince, plus le
contenu est dordre gnral, plus
elle est large plus on sintresse
un sujet en dtails.

1 prambule
page 7

O sont amens les


questionnements et
proposes les hypothses.

2 Quelques invisibles et
leurS visualisationS
page 13

O lon dcrit un
bref parcours dhorizon
des tentatives de visualisation.

3 VisuALISER LE son
et la musique
page 27

O lon sapproche
de plus prs de deux
spcimens en particulier.

4 NOTE DE FIN
page 65

O les rponses ne sont


peut tre pas donnes
mais o le texte est termin.

ANNEXES
page 69

prambule

Visualiser linvisible 8

9 prambule

Il y a des choses que lon ne voit pas et


qui appartiennent pourtant la ralit.
Ce sont les invisibles. Quil sagisse
de les documenter, les mmoriser, les
transmettre ou les interprter, dans
un contexte scientifique, technique,
ducatif ou artistique, il semble que
nous avons constamment tent de les
reprsenter sous forme visuelle.
Ce glissement de phnomnes de leur
mdium vers un autre, cette aspect de
la modlisation du rel qui consiste
rendre visible linvisible, est ce qui
nous intressera dans ces pages.
Tentons de voir comment et pourquoi,
par quels moyens graphiques et dans
quels buts, ont lieu ces traductions vers
le visible. Pour tenter dy rpondre,
on survolera de nombreux exemples
avant den approfondir certains
plus en dtails; commenons
cependant par quelques hypothses
et constatations dordre gnral.

Visualiser linvisible 10

Les limites de linvisible


Un invisible peut tre un phnomne qui se produit dans la ralit physique, mais que lon peroit par dautres
sens: sons, musique par extension,
odeurs ou saveurs. a peut tre une manifestation visible mais trop passagre
et phmre pour laisser une trace fixe,
comme le mouvement. Il peut sagir aussi
de prsences physiques, comme le temps
ou les forces gravitationnelles. Ce qui se
passe dans lesprit peut sy inclure aussi:
penses, ides, motions et ce qui en
dcoule: langage, comportement, etc.
Le champs des invisibles et trs
large, et une grande partie dentre eux
ont tent dtre visualiss. La porte de
cette publication ne peut cependant pas
slargir autant! On se concentrera plutt
sur une portion dentre eux avant de se
focaliser prcisment sur un seul, sans
jamais oublier pourtant que cette dlimitation, si elle est pratique, est fictive:
la visualisation de linvisible est un sujet
extensible linfini.
Diffrents types
de visualisation
En collectant des visualisations,
il me semble avoir pu en diffrencier
quatre types. Je vais tenter de les dfinir
ici. Sil ne sagit que dhypothses de dfinitions, ces quatre familles me paraissent
pouvoir prendre en compte la varit de
visualisations que lon va rencontrer par
la suite. Elles portent sur le comment, et
non sur le pourquoi.

La reprsentation tente de modliser


graphiquement le phnomne, dune manire qui permet de le comprendre et de
linterprter. Elle ne permet cependant
pas de le reproduire, simplement den
avoir une ide.
La notation va plus loin. Elle est
plus prcise, et est souvent compose
dun systme de signes ou dalphabet.
Son but, cest la rversibilit. Une fois
le phnomne traduit en notation graphique, il est possible de le rpliquer en
relisant la visualisation. Mieux encore, la
notation peut tre ralise avant mme
tout phnomne, et tre crite en vue de
le faire exister.
Linterprtation, au contraire, est
plus floue. Cest une visualisation souvent
subjective, souvent incomplte, sintressant parfois plus leffet produit par
le phnomne plus quau phnomne
lui-mme. Elle semble surtout utilise
dans les dmarches artistiques.
Lenregistrement est la visualisation
obtenue par un systme traduisant par
automatisme le phnomne invisible
vers une forme visible. Si elle est la limite du thme, o jaimerais mintresser
davantage aux mthodes de visualisation
conscientes et humaines quaux retranscriptions mcaniques, lenregistrement
semble cependant tre la source de
plusieurs systmes de visualisation, et
permet souvent de sintresser dans un
premier temps la forme visuelle la plus
pure et raliste du phnomne, transcrit
directement dun mdium un autre sans
intervention humaine.

11 prambule

Rversibilit
Une note rapide sur la notion de
rversibilit.
Certaines mthodes de visualisation permettent non seulement de modliser de manire visible un phnomne,
mais permettent aussi et surtout de le
reproduire. La notation et lenregistrement semblent les deux mthodes les plus
aptes la rversibilit, mais des degrs
moindres on peut imaginer dautres visualisations nempchant pas la rplication, mme partielle, du phnomne
original.
Toutefois, la rversibilit semble
souvent tre la raison pour laquelle le
systme de visualisation la permettant
est conu en premier lieu.
Exemples: lenregistrement dun
son permet de reproduire le son pourvu
que lon dispose du matriel appropri.
La partition dun morceau de musique
est crite dans le projet de pouvoir reproduire le morceau ensuite. Est-ce quun
tableau visualisant une motion permet
de reproduire lmotion? Possible.
Synesthsie
La synesthsie est une singularit
neuronale qui consiste tendre inconsciemment des ponts entre plusieurs
sens. Un synesthte peut ainsi faire des
connexions mentales entre mots et saveurs, jours de la semaine et personnalits, son et toucher, ou pour celles lies
la vue musique et couleurs, graphmes
et couleurs, musique et formes, nombres
et position spatiale.
Les artistes synesthte sont lorigine duvres transcrivant visuellement
des phnomnes qui ne le sont pas.

Par extension, on utilise aussi le


terme de synesthsie pour dsigner lassociation, mme consciente et artificielle,
de plusieurs mdiums rpondant des
sens diffrents. Dune certaine manire,
les systmes de visualisation prsents
dans les pages qui suivent peuvent tre
qualifis de synesthtiques.
Pourquoi
Si on sinterrogera sur le comment,
cest aussi intressant de se demander
pour quelles raisons visualise ton ces
phnomnes invisibles. Au del des motifs spcifiques relatifs des pratiques
science, thologie, enseignement, art,
documentation et ainsi de suite pourquoi rendre visible des phnomnes que
lon peut par ailleurs percevoir parfaitement dautres faons? Il est simplement
possible que le sens de la vue soit celui
que nous favorisons le plus. Quon lait
plus dvelopp ou quil nous soit juste
plus confortable, il est certain quil nous
semble facile de comparer, mmoriser,
rpliquer, transmettre, stocker et archiver
des informations disponibles dans une
forme visuelle.
Approche
Aprs ces quelques considrations
gnrales, avanons vers des exemples
plus prcis. On fera dabord un tour
dhorizon de quelques invisibles et de
leur reprsentation avant de zoomer de
manire plus dtaille et analytique vers
la visualisation du son suivie de prs par
celle de la musique, phnomne et pratique qui serviront dexemples cette
notion.

QUELQUES
invisibles
et leurS
visualisationS

Visualiser linvisible 14

15 Quelques invisibles et leurs visualisations

On ne manque pas dinvisibles visualiser.


Le temps a ses cnes de lumire et ses
frises chronologiques, la gravitation a
ses vecteurs flchs et les courbes quelle
donne lespace-temps. Mais comment
reprsenter le langage, les saveurs, les
odeurs, les motions, le mouvement?
Rsum des usages tablis.

Visualiser linvisible 16

Visualiser
le langage
Il ny aura pas tant sur le langage
et lcriture dans ces pages. Si cest un
sujet trs intressant qui concide avec
le thme gnral lcriture est le principal systme de visualisation du langage cest aussi un domaine immense
qui dpasse largement le cadre de cette
publication. Ctait difficile de ne pas le
mentionner non plus. Plutt que de dtailler linvention de lcriture et toutes
ses formes, quelques citations propos
de lcriture comme reprsentation graphique du langage:
Langue et criture sont deux systmes
de signes distincts; lunique raison dtre du
second est de reprsenter le premier.
Ferdinand de Saussure
Lcriture nest pas la langue, mais
un simple moyen denregistrer la langue par
des marques visibles.
Leonard Bloomfield
Lcriture nest pas un cho graphique
de la parole, mais un systme de reprsentation
des ides qui possde sa propre autonomie.
Roy Harris (paraphras)

17 Quelques invisibles et leurs visualisations

Visualiser
LES SAVEURS ET LES ODEURS
La modlisation du rel, cest une
notion qui comprend la visualisation de
linvisible. Le langage oral est prcisment un de ces phnomnes invisibles
qui ont t adapts sous forme de langage
graphique pour plusieurs raisons (transmission travers lespace et transmission
travers le temps, notamment). Si toutes
ces citations ne sont pas du mme avis
sur la nature et la fonction de lcriture, il
serait intressant de les considrer dans
dautres contextes, voir si elles peuvent
ventuellement sappliquer dautres
invisibles.
Est-ce la notation musicale est plus
quun cho graphique de la musique,
ou bien nest-ce quun simple moyen de
lenregistrer par des marques visibles? Cest
une piste explorer.
IMAGE A

Ces paragraphes sont crits avec


lalphabet latin, un des systmes
de visualisation du langage
les plus rpandus.

Le got et lodorat sont deux sens


incontestablement lis, dabord par leur
proximit le fait que la perception
globale des saveurs est influence par
lolfaction rtro-nasale qui a lieu en simultan, puis par leur rencontre dans le
cortex pr-frontal, quartier cervical qui
sapplique interprter les deux.
La question est, on le fait bien
pour loue en visualisant le son: peuton (ou a-ton) visualiser les saveurs et
les odeurs?
Au a-ton, la rponse semble globalement non. Les synesthsies gotvue et
odoratvue semblent assez rares, et si il y
a bien des cartographies rpartissant sur
la langue sucr, sal, amer et acide comme
on en voit lcole maternelle, elles sont
toutes issues de la traduction errone
dune thse allemande de 1901 et passent
ct de la cinquime saveur lmentaire
perue par les humains, lumami.
Pourtant, saveurs et odeurs possdent un riche vocabulaire les dcrivant:
ne pourrait-on pas ladapter et dvelopper
un systme pour les visualiser, si ce nest
rationnellement, au moins perceptivement? Peut-tre.

Lcriture engendre un surplus de


sens inpuisable et contribue la modlisation du rel.
Jean-Jacques Glassner

IMAGE B

Le citronellol, molcule organique


lorigine de lodeur de citronnelle
et en partie de celles de la rose, de
la noix de muscade et de certains
graniums, visualis sous forme
de formule topologique, un des
systmes de reprsentation des
molcules chimiques.

En attendant, le seul moyen de visualiser une odeur est de visualiser ce qui


en est la source: la molcule odorante.
Pour ce qui est de visualiser les molcules
(pas invisibles en soi, mais picoscopiques),
les scientifiques savent faire. Image B
Sil y a des gens qui seraient intresss pour visualiser les saveurs et
les odeurs, ce sont ceux qui les synthtisent et voudraient les enregistrer
en tant que marques commerciales.
LEuropean Trademark Directive, par
exemple, naccepte que les signes qui
peuvent tre reprsents graphiquement en
utilisant des images, des lignes et des glyphes,
de manire claire, prcise, auto-suffisante,
intelligible, durable et objective. Plusieurs
enregistrements de saveurs et dodeurs
ont t tents, utilisant des descriptions
comme lodeur des fraises mres accompagns de schmas molculaires, mais
peu semblent avoir t accepts par les
bureaux denregistrement.

Visualiser linvisible 18

19 Quelques invisibles et leurs visualisations

Visualiser
LES MOTIONS
Si les deux sens prcdents finissent par tre moulins dans le cerveau,
quen est-il des phnomnes qui y sont
crs directement? Les ides, ou bien
les motions?
Dun point scientifique et mdical,
le neurologue Antonio Damasio a dmontr dans ses ouvrages comment des
motions comme la tristesse, la colre
la joie ou la peur peuvent tre associs
des motifs particuliers provoqus dans
des rgions spcifiques du cerveau. Or,
on dispose depuis quelques temps de
techniques dimagerie crbrale qui permettent de visualiser ce quil sy passe.
Limagerie par rsonance magntique
(IRM) ou la tomographie par mission
de positons (TEP) sont des exemples de
dispositifs qui permettent de gnrer
des visualisations des parties cervicales
en activit. On peut donc obtenir des visualisations correspondant diffrentes
motions. Image C
Dans lart, la reprsentation des
motions est chose courante. Si ce nest
pas les motions ressenties par les personnages dun scne dpeinte, un uvre
peut se faire allgorie mme dune motion. Image D
Mais hors des visualisations artificielles, on est aussi quip dun dispositif
permettant de retranscrire instinctivement et visuellement, quoi que partiellement, nos motions: le visage. Lide
que les expressions faciales soient une
manifestation universelle des motions
ressenties vient de Charles Darwin, mais
a t largement diffus par les travaux
raliss par Paul Ekman au vingtime
sicle. Ses recherches ravivent le domaine
de la science des motions et va jusqu
intresser les enquteurs des services

secrets qui trouvent dans lanalyse des


micro-expressions une mthode pour
passer travers les mensonges dans les
interrogatoires. Image E
Mme si luniversalit de ses travaux sont dsormais critique, notamment par la professeure de psychologie
Lisa Barrett, qui dcrit comme les recherches sur lesquelles se fondaient les
rsultats dEkman taient biaises, il reste
qumotions et expressions semblent
lies.
Mais comment les reprsenter?
Il existe un systme de notation, facial
action coding system, non-graphique, pour
coder les expressions du visage, dvellopp par Ekman et Wallace Friesen ds
1971 daprs les travaux de lanatomiste
Carl-Herman Hjortsj. FACS permet de
dcrire les contractions et dcontractions des muscles du visage en utilisant
des lettres et des chiffres. Ainsi on peut
coder un visage strotype de la surprise
par 1+2+5B+26 ou un visage exprimant le
mpris par R12A+R14A. Si ce nest pas une
notation visuelle, elle le devient lorsquon la prend en compte travers le
temps. Image F
Une note rapide sur les moticnes,
reprsentations typographiques des expressions faciales, et donc des motions.
Si lide de dessiner des visages avec des
caractres typographiques apparat ds
le dix-neuvime sicle, cest leur rinvention par Scott Fahlman en 1982 qui
semble tre le mme lorigine de leur
utilisation massive aujourdhui:
Je propose cette squence de caractres pour marquer les messages caractre
humoristiques: :-), crivit-il sur le forum
de luniversit de Carnegie Mellon.
Image G

IMAGE C

IRM et TEP combins, visualisant


lactivit crbrale lors de la joie, la
dpression, lanxit et lirritation.

IMAGE E

Les expressions type


identifies par Ekman
pour ses recherches:
colre, mpris, dgot,
surprise, tristesse, joie
et peur.

IMAGE F

Une salutation par


un haussement des
sourcils accompagn
dun sourire et dun
hochement de tte,
visualise dans le temps
avec la notation FACS.

IMAGE G (page 18)


Les moticnes
illustres daujourdhui,
visualisations picturales
de visualisations
typographiques
de visualisations
faciales des motions.

IMAGE D

Le Cri, de Edvard Munch.


Lartiste se dcrit tremblant
danxit lorsque lide lui vint.

Visualiser linvisible 20

21 Quelques invisibles et leurs visualisations

IMAGE H

IMAGE K

Dans Nu descendant un escalier n 2,


Marcel Duchamp met en image
le mouvement en dpeignant
par superposition ses tapes
successives, la manire dune
chronophotographie.

La visualisation de la danse peut


tre trs simple, comme dans ce
systme de symboles pour noter
les pas du tango.

IMAGE L

Pour prendre en compte plus


de variables, elle peut aussi se
faire plus complexe. Ici, une
tude thologique sur la danse
de sduction chez les Himbas
reprsente toutes leurs actions
et interactions.

IMAGE I

La reprsentation du mouvement
est beaucoup utilise en thologie.
Sous sa forme la plus simple, un
simple trac de trajectoires, sans
facteur temps, peut permettre
de dgager les motifs du
comportement animal.
Ici, ctait prvisible, la visualisation
des dplacements dune souris dans
une bote montre quel point elle
sintresse sa mangeoire.

IMAGE J

Notation graphique de La Cachucha, par Friedrich Albert Zorn.


Cest une notation partiellement figurative, partiellement
symbolique, et synchronise avec une notation musicale.

Visualiser
LE MOUVEMENT
En assumant quil est clair et pas
plus rapide que lil, le mouvement nest
pas invisible en soi. Il sagit pourtant
dun phnomne phmre, qui dune
certaine manire est invisible une fois
quil est pass, car il nexiste plus. Cest
en tout cas cause de sa fugacit quon a
cherch le reprsenter, en particulier
dans la science et dans lart. Image H
Un enregistrement cinmatographique ou vido est bien entendu une
visualisation durable du mouvement,
mais il existe galement des reprsentations et des systmes de notations plus
graphiques. Image M
En thologie par exemple, le comportement des animaux et on y inclut
celui des humains se traduit souvent
par le mouvement. Dplacements au
sein dun groupe, migrations, comptences manuelles, rituels, techniques de
constructions, interactions quotidiennes
et danses varies sont autant dactivits
qui peuvent tre retranscrites sous forme
graphique pour les comparer, les archiver
ou les tudier par la suite. ImageS I, L
La danse est galement dans sa pratique artistique un domaine o la transcription sur papier des mouvements est
souhaite. De nombreux systmes de
notations graphiques ont t mis au point
par des chorgraphes pour les reprsenter. ImageS J, K
Les principes de visualisations du
mouvement sont multiples et prennent
en compte des variables et une forme
diffrentes selon leur finalit. Il y a des
systmes sur mesure pour chaque usage.
Image N

Visualiser linvisible 22

23 Quelques invisibles et leurs visualisations

IMAGE M

Le systme cintographique
Labanotation, dvelopp
depuis le travail de Rudolf
Laban, permet de dcrire tout
type de mouvement humain.
Les colonnes reprennent la
symtrie du corps, le temps
scoulant de bas en haut.
En fonction de la forme des
signes, de leur remplissage et
de leur position, on peut lire
des mouvements prcis
et les reproduire.

Visualiser linvisible 24

25 Quelques invisibles et leurs visualisations

Visualiser
LE SON ET LA MUSIQUE
Il y a pas mal de choses dire sur ces
deux-l. Peut-tre mritent-tils un chapitre entier et par consquent un titre
pleine page en corps soixante-quatre?

IMAGE N

Ce systme de notation
permet de retranscrire le
langage des signes. Il sagit
de SignWriting, dvellopp
en 1974 par la danseuse
Valerie Sutton aprs son
travail sur DanceWriting.
Chaque position des mains,
mouvement des doigts et
expression faciale y est
reprsent par un
symbole unique.

Oui, allez.

VISUALISER
LE SON
ET LA
MUSIQUE

Visualiser linvisible 28

29 Visualiser LE son et la musique

Il est temps de se concentrer sur un


seul invisible, le son et la musique.
Nous allons nous en approcher
davantage que les prcdents, pas
tant pour lui donner une importance
particulire que pour sen servir comme
exemple la notion plus grande quest
la visualisation de linvisible.

Visualiser le son
Le son est propag par le dplacement de la pression dun fluide, tel lair,
caus par une vibration avant dtre finalement rpercut sur les mcanismes
logs dans nos oreilles.
image 1

Tout comme le son, le vent se


propage dans lair. Pourtant,
personne ne semble reprsenter le
son de cette faon. Mais personne
na non plus essay de reproduire
le vent depuis une carte du vent.
Assurment, le type de visualisation
est choisi en fonction de lobjectif
intentionn.

Visualiser linvisible 30

31 Visualiser LE son et la musique

Image 3

Image 4

IMAGE 2

Joseph Fourier dcrit la manire dont un


son complexe peut tre dcompos en un
ensemble dondes plus simples.

Une onde sonore visualise


sur un oscilloscope.

Un audiogramme, un graphe en deux


dimensions reprsentant lamplitude
du son selon le temps.

AUDIOgrammeS

Image 5

Vue au microscope dun disque microsillon.

Pour lanalyser et le reprsenter,


on lui appliquer le modle des ondes
mcaniques progressives, qui permet de
rsumer ces vibrations en frquences et
amplitudes, et peut tre reprsent grce
une courbe en deux dimensions.
Si une onde mcanique classique
se visualise dune simple sinusodale, le
mathmaticien Joseph Fourier comprend
en 1822 que la complexit du son peut tre
dcrite comme une srie de sinusodales
superposes. Image 3
Les ondes sonores peuvent tre
converties en tension lectrique par
lintermdiaire dun microphone par
exemple en vue dtre amplifies, enregistres ou visualises (notamment
grce un oscilloscope). Image 4
Limage dune onde sonore, un
audiogramme, est une de ces visualisations qui permet la reproduction du
phnomne original, ici le son enregistr
avec un taux derreur trs faible si la
visualisation est prcise. Par exemple,
le disque microsillon, invent en 1946,
est une sculpture hlicodale microscopique dune onde sonore prte tre
reproduite. Image 5

Visualiser linvisible 32

Au cinma, une bande-son optique,


telle quinvente par Lee De Forest ds
1919, est une visualisation du son imprime prs des perforations, courant en
parallle des images du film.
IMAGE 6

Bordure dun film 35mm. On y


voit droite un audiogramme
strophonique ( deux pistes) qui
est lu optiquement par le circuit
sonore du projecteur. Les nuages
de pixels sur la gauche et au milieu
sont les bandes-son numriques.

Image 6
IMAGE 9

Un spectrogramme. En loccurrence,
il sagit de celui correspondant
laudiogramme prsent au mme
emplacement dans la double-page
prcdente.

De nombreux artistes et ingnieurs


ont expriments avec ce principe daudiogrammes lus grce un dispositif optique. Arseny Avraamov produit en 1930
des bandes-son peintes la main pour le
cinma; Evgeny Scholpo dveloppe la
mme anne une machine nomme variophone; En 1939, le livre Theory and Practice
of Graphic Sound est publi; En 1977, Iannis
Xenakis conoit au Centre dtudes de
Mathmatique et Automatique Musicales
lUPIC, un synthtiseur fond sur le dessin des ondes sonores cette fois-ci de
manire numrique plutt quoptique.
IMAGE 7

SpectrogrammeS

Image 7

Une enveloppe sonore dessine la


main pour le synthtiseur UPIC.

Beaucoup tentent de dessiner des


formes gomtriques voire figuratives
afin dcouter le son quelles produisent.
Plusieurs projets font courir les audiogrammes de manire circulaire sur des
disques plutt que des bobines: Welte
Light-Tone de Edwin Emil Welte en 1936,
lANS Synthesizer de Evgeny Murzin en
1958, lOptigan en 1971, ToneWheels en 2007,
The Evil Eye en 2012.
IMAGE 8

The Evil Eye, un des projets les plus


rcents de disque sonore optique.

Image 8

Comme le son possde cette possibilit dtre reprsent graphiquement


de manire prcise, il peut tre dpos
dans les bureaux denregistrement des
marques de commerce, qui nacceptent
traditionnellement que les textes et les
dessins et schmas. Il est intressant de
noter par exemple que le rugissement
du lion ouvrant les films de la MetroGoldwyn-Mayer ft ainsi dpos comme
marque sonore, sous la forme dun
spectrogramme.

Parlons-en, des spectrogrammes.


Le spectrogramme, ou sonagramme, est
une autre mthode de visualisation du
son. Cest une visualisation de lintensit du son par frquence en fonction du
temps, l o les audiogrammes prsents
jusque ici montraient lamplitude du son
en fonction du temps. IMAGE 9
La frquence sonore, nous y reviendrons en passant la musique, est
dterminante de la hauteur du son. Le
spectrogramme possde donc lavantage
de visualiser la rpartition entre les aigus
et les graves de lintensit dun son.
Comme un axe est utilis pour le
temps et un second pour la frquence,
lintensit doit tre visualise grce un
troisime axe dans un spectrogramme en
trois dimensions, ou avec une variation
de couleur ou dopacit si il reste en deux
dimensions. IMAGES 10 et 11

Visualiser linvisible 34

35 Visualiser LE son et la musique

IMAGE 10

Le spectrogramme
tridimensionnel dun
morceau de musique.

IMAGE 11

Le spectrogramme en couleurs
du chant dun merle bleu.

Les spectrogrammes sont trs


utiliss pour reconnatre, analyser et
comparer les sons, leur apparence sapparentant une sorte dempreinte du son
enregistr. Ils servent notamment pour
les recherches en zoologie (champs des
oiseaux, cris danimaux), la phontique et
la reconnaissance vocale. IMAGES 12 14

Cest donc une forme de visualisation automatise qui est surtout destine
la lecture humaine. Il est cependant
possible de reproduire informatiquement un son depuis un spectrogramme
et anecdotiquement de dessiner un
spectrogramme artificiellement avant de
le convertir en ondes sonores. Cette technique est utilise par plusieurs artistes
musicaux pour dissimuler par stganographie des images et des photographies
au sein de leur pistes sonores. IMAGE 15
IMAGE 15

Le musicien Venetian Snares a cach des


photos de ses chats dans son album Songs
About My Cats laide dun spectrogramme
artificiel converti en piste audio.

Visualiser linvisible 36

IMAGE 12

La prononciation des mots


ball, bar, bough et buy
visualise sous forme de
spectrogramme.

/bl/

/br/

/ba/

/ba/

37 Visualiser LE son et la musique

Les mmes mots reprsents dans


lalphabet phontique international. Si on
sort des spectrogrammes, la plupart des
visualisations des prononciations sont
des systmes dalphabets comme celui-ci,
recyclant des lettres et des symboles pour
une utilisation phontique.

IMAGE 16

IMAGE 13

IMAGE 14

Un guide visuel pour


reconnatre certaines syllabes
dans les spectrogrammes.

Lautre chose visuelle que font


les phonticiens, cest placer les
sons dans des espaces en deux
dimensions. Ici, le triangle vocalique,
une rpartition des voyelles dans
le plan mise au point en 1781 par
le mdecin Christoph Friedrich
Hellwag.

Le logiciel Celemony Melodyne


Editor dcompose note par note
les enregistrements sonores dune
pice musicale, gnrant ainsi une
composition daudiogrammes
rpartis sur une chelle
chromatique. Cest un exemple
de modlisation mi-chemin
entre la visualisation du son et la
visualisation de la musique. Les
notes peuvent tre dplaces en
hauteur, et rgnres en sons,
ainsi ajusts.

Du son la musique
Avant de passer la visualisation
de la musique, survolons un instant ce
qui forme la musique dun point de vue
sonore. La musique peut tre rduite
quatre composantes: hauteur, dure, intensit et timbre.
La hauteur est dfinie par la frquence de londe sonore. Plus le nombre
doscillations sur un temps donn est
lev, plus le son est aigu, plus le nombre
doscillations est faible, plus le son est
grave. IMAGE 17
En ralit, les hauteurs perues
sont souvent composes de plusieurs
frquences superposes, et peuvent mme
tre extrapoles par loreille quand la frquence fondamentale nest pas prsente.

Visualiser linvisible 38

39 Visualiser LE son et la musique

Visualiser la musique
Lune des raisons principale pour
laquelle on visualise la musique est en
vue de la reproduire. La transmission des
morceaux entre musiciens, tant dans le
temps que dans lespace, implique la cration de systmes de notation permettant
de reprsenter les pices musicales sous
une forme reproductible.

REPRSENTATION du timbre

IMAGE 17

Un son aigu form par une frquence leve,


un son grave form par une frquence faible.

Certaines de ces frquences, reconnues grce une suite harmonique mathmatique et aux vibrations synchronises
quelles produisent dans les oreilles, ont
t slectionnes et nommes. Ce sont les
notes, en tout cas celles historiquement
associes la musique occidentale.
La dure est simplement la composante temps de la musique, formant
le rythme, la longueur des notes et des
silences. Lintensit est la puissance des
ondes sonores, leur force, leur volume,
leur nuance.
Le timbre est plus difficile rationaliser. Il dcrit la sonorit dun instrument, les caractristiques sonores qui
le diffrencient des autres, sa voix en
quelque sorte. Il possde un ensemble
de composantes, comme la brillance, le
vibrato ou la texture sonore. Cest ce qui
fait quun piano et quune guitare jouant
la mme note, avec la mme dure et la
mme intensit, ne produisent pas le
mme son.

Ci-dessous:
Les frquences en hertz dfinissant
chaque note dans la troisime octave.

Do

261,63

Do #

277,18

293,66

R #

311,13

Mi

329,63

Fa

349,23

Fa #

369,99

Sol

392,00

Sol #

415,30

La

440,00

La #

466,16

Si

493,88

La plupart de ces langages graphiques sintresse la hauteur, la dure,


et dans une moindre mesure lintensit. Le timbre, intrinsque chaque
instrument, reste gnralement lcart
de ces visualisations.
Cest une constatation que fait
Adriano Abbado dans une thse quil
publie en 1988. Il remarque que la notion de timbre est constamment ignore
en musique occidentale, alors que cest
une composante importante dans les
musiques dautres cultures, comme dans
les chants des moines tibtains qui se
concentrent davantage sur les variations
de timbre que sur les changements de
hauteurs. Avec larrive des synthtiseurs,
cependant, la possibilit de faonner la
sonorit dinstruments artificiels a redonn la notion de timbre son importance.

IMAGE 18

a fait quatre variables visualiser


lorsquon veut reprsenter la musique.

Le timbre tel que reprsent


dans le projet Dynamics.

Il sintresse la classification des


timbres par Fred Lerdhal puis travaille
enfin sur leur visualisation. Cest le projet
Dynamics. IMAGE 18
Pour retranscrire les diffrentes
caractristiques des timbres et leur richesses, il utilise des infographies 3D
abstraites. Par exemples, les sons harmoniques sont associs des formes lisses
et les sons inharmoniques des formes
rugueuses. La forme, la couleur et la texture de ces objets tridimensionnels, ainsi
que leur position dans lespace, sont autant de variables quAbbado associe pour
reprsenter le timbre.
Les choix sont dlibrment subjectifs: tablir une mthode de correspondance rigide peut devenir une procdure
mcanique qui limite le processus cratif et se
trouve invitablement rpercute dans luvre
finale. Je nai donc jamais analys le spectre
sonore avec une prcision absolue, mais ai plutt modlis des objets se rapprochant au plus
dattributs auditifs perceptibles, applicables
un contexte visuel: rugosit, humidit, temprature, viscosit, spongiosit, granularit,
opacit, et ainsi de suite.
Nous avons donc affaire une visualisation qui se situe dans linterprtation, plutt que dans la reprsentation
ou la notation.

Visualiser linvisible 40

41 Visualiser LE son et la musique

IMAGE 21

Portion de visualisation par la Music


Animation Machine dune pice musicale.

REPRSENTATION de
la hauteur et DE LA dure
Revenons sur deux autres composantes de la musique, la hauteur et la
dure. Toutes deux sont des valeurs
une dimension, la musique rduite ces
deux caractristiques pouvant ainsi tre
reprsente en deux dimensions. Sur un
axe, la hauteur, dcrite en frquences ou
en notes; Sur lautre, la dure, en secondes
ou en temps (pluriel, au sens musical).
Cest de cette faon quest stocke la
musique sur les bandes papiers perfores
dun orgue de Barbarie, par exemple. Les
notes sont rparties en hauteur, actionnant des soufflets diffrents, et la dure
stale en longueur, ltendue relle dun
temps dpendant de la vitesse laquelle
le musicien tourne la manivelle. Un piano mcanique fonctionne de manire
similaire. IMAGE 19
Les perforations pour les orgues de
Barbarie, si elles sont visibles et peuvent
tre qualifies de visualisation, ne sont
pourtant pas destines une lecture
humaine.

On retrouve cependant ce principe


dans le projet dbut en 1974 par Stephen
Malinowski. Frustr de la complexit
des partitions traditionnelles, il tente
de trouver une mthode pour visualiser
des morceaux de musique de manire
plus instinctive.
Il reprsente un concerto de
Brandenburg sur une bande de papier
quadrill de six mtres de long. Le principe est en tous points similaire ceux des
orgues de Barbarie, part que Malinowski
utilise galement la couleur pour diffrencier les diffrents instruments de
lorchestre. IMAGE 20
En 1981, un ami lui suggre de lanimer, mais le travail danimation est trs
fastidieux. Jusquen 1985, il met alors au
point un programme informatique rpliquant le principe de sa bande de papier
mais de manire automatise: cest la
Music Animation Machine. IMAGE 21
Il y travaille encore aujourdhui,
produisant de nombreuses visualisations
de morceaux quil distribue sous forme
vido.

IMAGE 19

La bande de papier perfore


dun orgue de Barbarie.

IMAGE 20

lorigine de la MAM, un concerto de


Brandenburg sur une bande de papier.

Visualiser linvisible 42

43 Visualiser LE son et la musique

IMAGE 22

Notation de la musique
Cependant, la visualisation de la
musique reste essentiellement associe
sa notation. Pour coucher la musique
sur papier, la transmettre et permettre
dautres de linterprter, les musiciens
ont assez tt mis au point des systmes
permettant de lcrire.
En occident, on ne semble pas avoir
retrouv des notations par les peuples
gyptiens, hbreux et chaldens, malgr
le dveloppement avanc de leur culture
musicale; Les premier tmoins attests
de notation musicale sont les notations
grecques.
lorigine entirement lies des
instruments spcifiques, tablatures sous
forme textuelle indiquant davantage sur
quelles cordes tirer que quelles notes
jouer, elles ont prises en compte plus
tardivement les notions de notes et de
hauteur, dabord en utilisant des lettres
de lalphabet, puis en dveloppant des
symboles spcifiques.
IMAGE 22

Aperu dun exemple de notation


grecque sous forme dalphabet
de symboles spcifiques.
Lemplacement des branches des
glyphes principaux reprsentent
la hauteur des notes, et les
accentuations qui flottent au dessus
de certaines notes indiquent leur
dure. Il y a eu dautres alphabets de
notations similaires lAntiquit.

La notation musicale a continu


voluer au cours des sicles, influence
par lvolution des styles musicaux et des
instruments successifs, connu plusieurs
rformes, sloignant progressivement
dun systme dalphabet pour devenir un
vrai systme graphique, jusqu atteindre
celle quelle est aujourdhui.

IMAGE 23

Si on nentrera pas ici dans les dtails de la notation contemporaine, un


livre de solfge se rvlerait bien plus
expert en la matire, faisons linventaire non-exhaustif des formes, symboles et autres caractristiques utiliss
aujourdhui pour mettre lcrit les diffrentes composantes de la musique:

Indications
de hauteur

IMAGE 23

Quelques dispositifs graphiques


et textuels utiliss aujourdhui
pour noter les composantes
de la musique: hauteur, dure,
intensit et timbre.

Cest une notation assez complexe.


De nombreux mcanismes dcritures
diffrents y sont combins pour marquer
tous les aspects ncessaires pour reproduire la musique, mais on voit que cette
notation, construite progressivement,
par volution, sur plusieurs sicles, est
un amalgame de notations passes. Elle
nest pas non plus entirement graphique,
impliquant encore lutilisation de mots,
souvent abrgs, pour prciser certains
aspects.

Indications
de dure

Indications
dintensit

Indications
de timbre

Visualiser linvisible 44

45 Visualiser LE son et la musique

IMAGE 25

De faon moins universelle, il y a


la visualisation par tablature. La
tablature est un nom gnrique
pour dsigner un systme de
notation adress spcifiquement
un instrument en particulier.
Ici, une tablature pour vihuela, un
instrument proche du luth, qui
montre les cordes et les frettes
o le musicien doit positionner
ses doigts. Il existe des tablatures
pour beaucoup dinstruments
cordes, mais aussi pour accordon,
harmonica et batterie.

IMAGE 24

Plusieurs propositions pour transformer la notation musicale tablie ont


t publies, bien que pas ou peu adoptes.
Certaines sont modres, et offrent
une volution logique de la notation existante, comme celle propose par Edward
V. Huntington dans The Scientific Monthly
en 1920. La majeure rforme de cette
proposition est la rationalisation de la
notation de la hauteur, en supprimant
les symboles marquant les dises et les

bmols, remplacs par une nouvelle rpartition verticale des notes. Tous les tons
et demi-tons sont placs sur la porte, et
autant de portes que doctaves ncessaires courent en parallle.
IMAGE 24

Une portion des Valses nobles et


sentimentales de Maurice Ravel,
visualise en notation habituelle
puis avec la notation rationalise de
Edward V. Huntington.

De manire plus contemporaine


cependant, on retrouve les travaux parmi les plus intressants concernant la
notation musicale dans ceux collects
par John Cage dans son anthologie intitule Notations, publie en 1969 et de
faon similaire par Theresa Sauer dans
son livre Notation 21, sorti en 2009 pour le
quarantime anniversaire de la collection
de John Cage.
Cage a recueilli les travaux de 165
compositeurs prfrant utiliser leurs
propres systmes de notation pour laborer leurs pices. Le livre Notations propose ainsi un tour dhorizon assez vari
des notations alternatives de la musique,
sloignant gnralement davantage de la
notation classique que les simples amliorations comme celles dHuntington.
Plutt que de faire courir ce texte
davantage, les pages suivantes proposent
une slection de fac-simils de notations
graphiques de la musique, plusieurs tant
crites par des compositeurs prsents
dans les deux livres sus-cits.

Visualiser linvisible 46

47 Visualiser LE son et la musique

IMAGES 26 28

Pour commencer, un peu du travail de Cage.


Compositeur non-conformiste, les travaux de
Cage demandent souvent une part de cration
et dinterprtation pour les musiciens.
Dans les partitions prsentes ici, Concert
for Piano and Orchestra, si on reconnat une
base de notation traditionnelle, la mthode
de composition singularise la forme finale.
Inspir par la pratique de certains peintres,
Cage utilise ici les imperfections du papier
pour tracer les notes sur les portes. Les
ensembles crs forment parfois des boucles
et, sur les soixante trois pages de la partition,
il ny a pas dordre gnral: tous les modules
peuvent tre recombins par les musiciens,
le chef dorchestre jouant un rle dhorloge.

Visualiser linvisible 48

49 Visualiser LE son et la musique

IMAGE 29

Fontana Mix (1958) est compos de vingt


feuilles transparentes: sur certaines sont
imprims des points, sur dautres des lignes
ondules, et deux prsentent respectivement
une ligne droite et une grille rectangulaire.
Lobjet est accompagn de quatre bandes
magntiques sur lesquelles sont enregistres
un grand nombre de sons successifs rpartis
en catgories: sons de la ville, sons de
la campagne, sons lectroniques, sons
dinstruments, sons de voix, sons discrets. En
superposant les calques, Fontana Mix devient
un outil dterminant quels sons jouer, sur
combien de centimtres, quel volume, etc.
Pour Cage comme pour dautres compositeurs
utilisant des notations exprimentales
ou alternatives, la partition dpasse le
simple systme pour mettre lcrit la
musique, mais est souvent le catalyseur
initial pour la crer. On passe mme parfois
davantage du ct de la mise en son du
visuel que de la visualisation du son.

Visualiser linvisible 50

51 Visualiser LE son et la musique

IMAGES 30 32

Le compositeur Krzysztof Penderecki utilise


des systmes de notation sur mesure pour
ses compositions, ici diffrents mouvements
pour cordes dans Threnody to the Victims of
Hiroshima (1960). Les indications prcisent
notamment de frapper les flancs des
instruments ou bien de jouer larchet
sous les cordes.

Visualiser linvisible 52

IMAGES 33 35

Daniel Schnee conoit galement des


tablatures trs spcifiques, cette fois pour
saxophone. Musicien de jazz et artiste
expressionniste, il relie ses deux pratiques
par ses notations. Il explique que son systme
visualise le modle mental quil met en uvre
pour jouer de son instrument. Il sagit donc de
notations trs personnelles et subjectives, qui
ne pourraient probablement pas tre relues
par dautres musiciens.

53 Visualiser LE son et la musique

Visualiser linvisible 54

55 Visualiser LE son et la musique

IMAGE 36

IMAGE 37

R. Haubenstock-Ramati,
Concerto a tre, 1973

Will Redman,
Book, 2013

Visualiser linvisible 56

57 Visualiser LE son et la musique

IMAGE 38

Hans-Christoph Steiner, Solitude, 2004.


Cette partition graphique dcrit le collage
dchantillons extraits dun morceau de
Duke Ellington. Le temps scoule de gauche
droite, et chaque couleur correspond
diffrents samples audio. Les positions et
variations de forme des lments graphiques
dterminent la vitesse de lecture des
chantillons, leur hauteur, leur amplification,
quelles parties sont lues quels moment. Si la
partition pourrait dans labsolu tre lue par un
musicien comme une notice pour assembler
et altrer les samples, Steiner a dvellopp
un programme interprtant le visuel pour
monter automatiquement la composition.

Visualiser linvisible 58

IMAGE 39

Une page de Pavilion par Steve Roden (2005).


Lartiste sest inspir des plans architecturaux
pour la Serpentine Gallery de Londres.
Le musicien peut suivre plusieurs itinraires
sur la grille, les couleurs correspondant aux
notes peintes sur un glockenspiel en jouet.

Visualiser linvisible 60

61 Visualiser LE son et la musique

IMAGE 40

IMAGE 41

Graciela Castillo,
El Pozo

Udo Kasemets,
Timepiece For A Solo Performer

Visualiser linvisible 62

63 Visualiser LE son et la musique

En soi, la notation nest pas une


uvre, mais le vecteur permettant de
transmettre luvre. Si la notation traditionnelle est trs rationnelle, on peut
arguer que dans les cas de certaines de ces
quelques notations, la part de subjectivit
et de libre interprtation ou bien leur
mcanique conceptuelle font quelles
prennent part intgrante de luvre,
voire en sont la principale partie. Cest
une situation ou la visualisation du phnomne (mettons quon peut appeler la
musique phnomne) et le phnomne
lui-mme ne font presque plus quun.
Pour finir, une part de la visualisation de la musique o le subjectif et
lmotionnel prend une place bien plus
importante.

Interprtation de la musique
Si plusieurs travaux prcdents
taient en partie des interprtations, ils
prenaient des formes proches de la reprsentation ou de la notation.
Mais cest dans lart o linterprtation de la musique est la plus manifeste.
Les compositions de Vassily Kandinsky, les
films de Oskar Fischinger, les fugues de
Frantiek Kupka ou de Paul Klee sont autant de tentative dinterprter des pices
musicales invisibles sous des formes visibles. De manire encore plus perceptive ou instinctive, les tableaux dartistes
synesthtes entrent aussi dans cette srie.
IMAGE 42

Paul Klee, Fuge in Rot (1922).


Klee sintresse aux liens entre
musique et peinture ds 1910. Il
trouve que le rythme et la structure
sont des notions que lon retrouve
dans les deux arts. Cette fugue est
une composition polyphonique,
o lcoulement du temps est
reprsent par lmergence
graduelle des formes
de lobscur vers le clair.

IMAGE 42

NOTE
DE FIN

Visualiser linvisible 66

67 NOTE DE FIN

Une chose est sre, visualiser linvisible est part du possible. Si parfois les
visualisations de certains invisibles sont
inexistantes ou approximatives, cest soit
que le meilleur moyen de les visualiser na
pas encore t trouv ou mis au point, soit
que le besoin de les visualiser nest pas au
premier plan. Srement les deux. Pour le
moment. Toujours est-il, les invisibles qui
sont visualiss le sont pour une raison.
tudes scientifiques ou dmarches
artistiques, souci denseignement ou
notes personnelles, les pourquois sont
varis. Lide de transmission, dans le
temps, dans lespace, aux autres, soi, est
souvent l, celle de mmorisation aussi.
Et les raisons dune visualisation aiguille
les mthodes utilises et sa forme.
Certaines sont trs rationnelles,
associant des lments graphiques (couleurs, formes, symboles) et leur caractristiques (position spatiale, taille, densit)
aux valeurs mesurables ou perceptibles du
phnomne original. Dautres sont plus
instinctives et peuvent relever de linterprtation. Souvent, on se situe entre les
deux. Si les premires sont plus courantes
dans les dmarches scientifiques et les secondes en contexte artistique, les visualisations de diffrent domaines empruntent
leurs mcanismes les unes aux autres.

cela sajoute les visualisations automatises, enregistrements ou transcriptions directes par dispositif mcanique,
analogique ou logiciel, qui forment les
visualisations les plus rationnelles et
sont ventuellement utilises comme
fondation pour des visualisations plus
humaines.
Il y a les visualisations rversibles,
les notations irrversibles, et celles qui
sont faites pour marcher lenvers, prfigurant le phnomne. Il y a les visualisations qui se comparent et celles qui se
suffisent elles-mmes. Il y a celles qui
se veulent universelles et celles qui ne
concernent que des particularits.
Peu importe comment on classifie
ou caractrise les visualisations, lintressant est quelles sont l. Le fait quon tente
tant de traduire linvisible en visible, de
faire glisser lunivers de tous les autres
sens vers un mdium graphique, quelle
quen soit la raison, confirme limportance de la vue chez ltre humain. On
cherche immanquablement voir ce
quon ne voit pas. Et on y parvient.

ANNEXES

Visualiser linvisible 70

RFRENCES

Bibliographie, webographie, vidographie.

Synesthesia,
https://en.wikipedia.org/
wiki/Synesthesia

Pouvoir et sens de lcriture,


Charles Gautier,
Graph 44

Sensory Maps,
http://sensorymaps.
blogspot.fr/

Synesthesia in art,
https://en.wikipedia.org/
wiki/Synesthesia_in_art

The smell of ripe strawberries:


representing non-visual
trademarks,
Intellectual Asset
Management,
avril-mai 2008

Intermedia,
https://en.wikipedia.org/
wiki/Intermedia

History of writing
https://en.wikipedia.org/
wiki/History_of_writing

71 ANNEXES

Seeing out emotions with


positron emission tomography,
http://mentalhealth.about.
com/library/rs/blpet.htm

The neuroethology of
primate vocal communication:
substrates for the
evolution of speech,
Asif A. Ghazanfar,
Marc D. Hauser

Lecture notes: Ethology,


Evolution & Emotion,
http://ling.upenn.edu/
courses/Spring_2000/
ling620/ethology.html

Siegfried Frey,
http://ethology.nsu.ru/hes/
hesis03/lnl/sf.htm

Mind in Body:
A Functionalist Perspective
http://ur1.ca/g373s

Original Bboard Thread in


which :-) was proposed,
Scott Fahlman,
http://cs.cmu.edu/~sef/
Orig-Smiley.htm

Human Ethology,
Irenus Eibl-Eibesfeldt

Representation of movement
in the Upper Palaeolithic: An
ethological approach to the
interpretation of parietal art,
Marc Azma

SignWriting,
https://en.wikipedia.org/
wiki/SignWriting

Smell, Sound and Taste:


Getting a Sense of NonTraditional Marks,
http://wipo.int/
wipo_magazine/en/2009/
01/article_0003.html

Automatic Facial Action


Unit Recognition,
http://ecse.rpi.edu/~cvrl/
tongy/aurecognition.html

The Artists Complete


Guide to Facial Expression,
Gary Faigin
http://garyfaigin.com/
book.html

Computer-Aided Ethology, or
the ethology of ethologists,
Michael Spratt,
http://michael-spratt.com/
archives/computer-aidedethology/

Dance notation,
https://en.wikipedia.org/
wiki/Dance_notation

Silence, by Denny Lancaster


and SignWriting by Tini Pell,
http://faeriekeeper.net/
poetry3a2.htm

Odor,
https://en.wikipedia.org/
wiki/Odor

About Face,
Shannon Fischer,
http://bostonmagazine.com/
news/article/2013/06/25/
emotions-facialexpressions-not-related/
print/

Depression: Changes
in the Brain,
http://bluripples.com.
au/2013/03/depressionchanges-in-the-brain/

Sexual selection in female


perceptual space: how female
tungara frogs perceive
and respond to complex
population variation in
acoustic mating signals,
Michael J. Ryan,
A. Stanley Rand

Could you recognize your dogs


CARAT graphical profile?,
Suzanne Clothier,
http://suzanneclothier.com/
blog/could-you-recognizeyour-dogs-carat-graphicalprofile

Labanotation,
https://en.wikipedia.org/
wiki/Labanotation

Multimedial Communication,
Ernest W. B. Hess-Lttich

Hydrocarbure aromatique,
https://fr.wikipedia.org/
wiki/Hydrocarbure_
aromatique

FACS: Facial Action


Coding System,
http://cs.cmu.edu/afs/cs/
project/face/www/facs.htm

Mapping Our Emotions:


Brain-imaging technology helps
researchers find the root of
human feelings,
http://sfgate.com/news/
article/Mapping-OurEmotions-Brain-imagingtechnology-2702522.php

Interactive Visual Analysis of


Ethological Studies: Getting
Insight from Large Animals
Paths Ensembles,
K. Matkovic, C. Winding,
R. Splechtna, M. Balka

Perspectives in Ethology,
Volume 8
P.P.G Bateson,
Paul Patrick Gordon
Bateson,
P.H. Klopfer

Eshkol-Wachman
Movement Notation,
https://en.wikipedia.org/
wiki/Eshkol-Wachman_
Movement_Notation

Nude Descending
a Staircase, No. 2,
https://en.wikipedia.org/
wiki/Nude_Descending_a_
Staircase,_No._2

Visualiser linvisible 72

73 ANNEXES

Visual music,
https://en.wikipedia.org/
wiki/Visual_music

What is up with Noises? (The


Science and Mathematics of
Sound, Frequency, and Pitch),
Vi Hart,
http://youtu.be/
i_0DXxNeaQ0

Overtone Series ,
http://www.phy.mtu.
edu/~suits/overtone.html

Optical Sound Track,


http://triggertone.com/
term/Optical_Sound_
Track#im170

Short-time Fourier transform,


https://en.wikipedia.org/
wiki/Short-time_Fourier_
transform

Time-line of the Music


Animation Machine (and
related experiments),
http://musanim.com/mam/
mamhist.htm

The History
of Musical Notation,
Henry C. Lunn,
The Musical Times and
Singing Class Circular,
Vol. 12, No. 278

Notations,
John Cage

Space Harmony,
https://en.wikipedia.org/
wiki/Space_Harmony

What is a Sound
Spectrogram?,
http://birds.cornell.edu/
brp/the-science-of-sound-1/
what-is-a-spectrogram

History of Speech
Spectrograms,
http://spectrogramsfor
speech.com/background/
history-of-spectrograms/

The Dolby Dilemna,


Brian Stockton,
http://theepicstoryofmylife.
blogspot.fr/2008/08/dolbydilemna_29.html

Spectrogram,
https://en.wikipedia.org/
wiki/Spectrogram

Origin of bar-graph score,


http://youtu.be/
xG4CrQUyVAQ

Music Notation
and Terminology,
Karl W. Gehrkens

Notation 21,
Theresa Sauer

Perceptual Correspondences
of Abstract Animation and
Synthetic Sound,
Adriano Abbado

History of sound recording,


https://en.wikipedia.org/
wiki/History_of_sound_
recording

How to read a spectrogram,


http://home.cc.umanitoba.
ca/~robh/howto.html

Missing fundamental,
https://en.wikipedia.org/
wiki/Missing_fundamental

The Aphex Face,


http://www.bastwood.
com/?page_id=10

The Story of Notation,


C.F. Abdy Williams

Song of the Senses:


Cognition as Music,
Daniel Schnee,
TEDxYorkU 2010,
http://youtu.be/
NW39YecSOC0

biot(h)ing - Invisibles,
Alisa Andrasek,
Maura McDonnell,
http://visualmusic.blogspot.
ie/2009/05/biothinginvisibles-alisa-andrasek.
html

Adriano Abbado,
Laura Liotti

The Perception of
Musical Tones,
R. A. Rasch, R. Plomp
http://neuro.uoregon.edu/
wehr/coursepapers/RaschPlomp.html

Identifying sounds in
spectrograms,
http://home.cc.umanitoba.
ca/~krussll/phonetics/
acoustic/spectrogramsounds.html

Music and Computers,


Chapter 2: The Digital
Representation of Sound,
Part Two: Playing by the
Numbers, Section 2.1: Digital
Representation of Sound,
http://music.columbia.edu/
cmc/musicandcomputers/
chapter2/02_01.php

The Evil Eye: Optical audio


record by Indianen,
http://creativeapplications.
net/sound/the-evil-eyeoptical-audio-record-byindianen/

A Simplified
Musical Notation,
Edward V. Huntington
Archibald T. Davison,
The Scientific Monthly,
Vol. 11, No. 3

Graphical Notation
by Daniel Schnee,
http://chollobhat.
wordpress.com

John Cage, Fontana Mix,


Uncle Dave Lewis,
http://allmusic.com/
composition/fontanamix-for-4-channel-tapeor-indeterminate-meansmc0002423811

Pitch (music),
https://en.wikipedia.org/
wiki/Pitch_(music)

Timbre,
https://en.wikipedia.org/
wiki/Timbre

Musical Notation,
T. P. Hall,
Science, New Series,
ol. 53, No. 1361

The Anarchist Art


of John Cage,
Richard Kostelanetz,
http://sterneck.net/johncage/kostelanetz/index.php

Music and Representation,


Richard Vella,
http://rainerlinz.net/NMA/
repr/Representation.html

noisegrains,
Adriano Abbado,
http://noisegrains.
com/?page_id=2

Harmonic series (music),


https://en.wikipedia.org/
wiki/Harmonic_series_
(music)

Improvements in stereophonic
motion picture photographic
sound-tracks and apparatus
for recording and playing back
photographic sound tracks,
Dolby Laboratories

Visualiser linvisible 74

75 ANNEXES

The Order of Sounds,


http://diagonalthoughts.
com/?p=266

Solitude,
Hans-Christoph Steiner,
http://at.or.at/hans/solitude/

Dynamics (music),
https://en.wikipedia.org/
wiki/Dynamics_(music)

Scores from
Notations (1969),
http://variable4.org.uk/
news/102

IMAGES

Crdits visuels, photographiques et picturaux.

Graphic notation,
https://en.wikipedia.org/
wiki/Graphic_notation

Spectral music,
https://en.wikipedia.org/
wiki/Spectral_music

the colour of music,


http://plentyofcolour.
com/2011/07/04/the-colourof-music/

The Music of Painting,


Peter Vergo,
http://fr.phaidon.com/
store/art/the-music-ofpainting-9780714857626/

COUVERTURE

IMAGE C

IMAGE G

Notation musicale,
auteur inconnu.

Dr. Hanna Damasio,


New York Times Magazine,
7 mai 2000.

facebook.com.

A Notation System for Tango,


Manuel Bodirsky.

Music To Be Heard:
And Seen
Anastasia Tsioulcas,
http://ur1.ca/g37il

Synchromy,
Norman McLaren,
http://nfb.ca/film/
synchromy

Concert for Piano


and Orchestra,
http://cageblog.blogspot.
fr/2006/02/concert-forpiano-and-orchestra_05.
html

The man who heard


his paintbox hiss,
Ossian Ward,
http://telegraph.co.uk/
culture/art/3653012/
The-man-who-heard-hispaintbox-hiss.html

PAGE DE GARDE

IMAGE D

IMAGE H

IMAGE L

Penderecki: Threnody To
The Victims Of Hiroshima,
http://muswrite.blogspot.
fr/2011/11/pendereckithrenody-to-victims-of.
html

Noteless Music,
Aleksei Stevens,
http://pinterest.com/
alekseistevens/notelessmusic/

Krzysztof Penderecki,
http://brahms.ircam.fr/
composers/composer/2535/

IMAGE A

IMAGE E

IMAGE I

Paul Ekman,
bostonmagazine.com.

Computer-Aided Ethology,
Michael Spratt,
michael-spratt.com.

IMAGE M

Ce nest pas vraiment


une image en fait.

Seeing a Symphony on a Grid,


Kate Taylor,
http://nysun.com/arts/
seeing-a-symphony-on-agrid/61847/

Synesthesia Spotlight:
3 Visualizations of Music,
Maria Popova,
http://brainpickings.org/
index.php/2011/01/26/
synesthesia-musicvisualization/

Picturing the Sounds: Dialects


of Contemporary Composers,
http://newhaven.edu/
news-events/newsreleases/112290/

IMAGE B

IMAGE F

IMAGE J

IMAGE N

Lunette: Discours de la
Mthode, Ren Descartes,
bibliothque AndrDesguine, Hauts-de-Seine.
Instrument: French Horn,
Karl Wilson Gehrkens,
gutenberg.org. (non utilis
dans la version numrique)

Citronellol_enantiomers.svg,
Steffen 962,
domaine public,
wikimedia.org.

Der Schrei der Natur,


Edvard Munch,
chasingart.com.

Human Ethology,
Irenus Eibl-Eibesfeldt,
page 118.

Nu descendant un escalier n 2,
Marcel Duchamp,
philamuseum.org.

Zorn_Cachucha.jpg,
Huster,
GFDL,
wikimedia.org.

IMAGE K

Human Ethology,
Irenus Eibl-Eibesfeldt,
page 130.

Labanotation,
tumblr.com.

Silence, SignWriting,
Denny Lancaster,
Tini Pell,
faeriekeeper.net.

Visualiser linvisible 76

IMAGE 1

77 ANNEXES

IMAGE 6

35mm_film_audio_macro.jpg,
Rotareneg,
CC-by-sa + GFDL,
wikimedia.org.

IMAGE 11

IMAGE 16

IMAGE 21

IMAGES 26 28

IMAGE 35

IMAGE 40

NOAA/NESDIS/Office of
Research and Applications,
Mtorologie lmentaire,
astrosurf.com.

IMAGE 2

IMAGE 7

IMAGE 12

IMAGE 17

Digital Representation of
Sound, Figure 2.3,
music.columbia.edu.

Mycnes Alpha,
Iannis Xenakis,
umatic.nl.

Sonagramme merle bleu.gif,


Dbfls,
domaine public,
wikimedia.org.

How do I read a spectrogram?,


Figure 8, Robert Hagiwara,
umanitoba.ca.
Rfrence API:
oxfordlearners
dictionaries.com,
Fonte API: Monaco.

Celemony Melodyne Editor 2,


amazona.de.

Brandenburg Concerto #4,


third movement,
Music Animation Machine,
musanim.com.

Concert for Piano


and Orchestra,
John Cage,
Dancers on a Plane,
Susan Sontag.

Gakufu,
Daniel Schnee,
chollobhat.wordpress.com.

IMAGE 22

The Story of Notation,


C.F. Abdy Williams.

IMAGE 29

IMAGE 36

IMAGE 41

Contours onduls
InDesign.

IMAGE 42

Fontana Mix,
John Cage,
mlkshk.com.

Concerto a tre,
R. Haubenstock-Ramati,
dition Wilhelm Hansen,
bnf.fr.

IMAGE 3

IMAGE 8

IMAGE 13

IMAGE 18

IMAGE 23

IMAGES 30 32

IMAGE 37

IMAGE 4

IMAGE 9

IMAGE 14

IMAGE 19

IMAGE 24

IMAGE 33

IMAGE 38

IMAGE 5

IMAGE 10

IMAGE 15

IMAGE 20

IMAGE 25

IMAGE 34

IMAGE 39

The Perception of Musical


Tones, Figure 1,
neuro.uoregon.edu.

Oscilli_AC_hum_
on_sound_leak.jpg,
Rippey574,
CC-by,
wikimedia.org.

The Institute of Optics,


Rochester.

The Evil Eye,


Indianen,
indianen.be.

Digital Representation of
Sound, Figure 2.3,
music.columbia.edu.

Spectrogram.png,
Raphael Frey,
CC-by-sa + GFDL,
wikimedia.org.

Identifying sounds
in spectrograms,
Kevin Russell,
umanitoba.ca.

Modle:Palette_Voyelles,
CC-by-sa,
fr.wikipedia.org.

Look,
Venetian Snares,
bastwood.com.

El Pozo,
Graciela Castillo,
diagonalthoughts.com.

Perceptual Correspondences
of Abstract Animation and
Synthetic Sound,
Figure 8,
Final Sequence,
Adriano Abbado.

Lochkarte_Tanzorgel.jpg,
Stefan Khn,
CC-by-sa + GFDL,
wikimedia.org.

Origin of bar-graph score,


Music Animation Machine,
youtube.com.

Fonte de Lilypond, via


wikimedia.org. Fonte
Gonville, chiark.greenend.
org.uk/~sgtatham/gonville/
Fonte IM FELL DW Pica,
http://iginomarini.com/fell/
Music Notation and
Terminology, Karl W.
Gehrkens, gutenberg.org.

Valses nobles et sentimentales,


Edward V. Huntington,
The Scientific Monthly.

Vihuela-Tab_
Fuenllana_1554.jpg,
Miguel de Fuenllana,
domaine public,
wikimedia.org.

Threnody to the
Victims of Hiroshima,
Krzysztof Penderecki,
aggregat456.com.

Chollobhat,
Daniel Schnee,
chollobhat.wordpress.com.

The Apocalypse of Solomon,


Daniel Schnee,
chollobhat.wordpress.com.

Book,
Will Redman,
willredman.com.

Solitude,
Hans-Christoph Steiner,
at.or.at.

Pavilion,
Steve Roden,
npr.org.

Timepiece For
A Solo Performer,
Udo Kasemets,
diagonalthoughts.com.

Fuge in Rot,
Paul Klee.

Vous aimerez peut-être aussi