Tema11 Análisis Performativo

Herramientas informticas para un
anlisis creativo-performativo
Autor: Daniel Moro Vallina
[11.1] Cmo estudiar este tema?
[11.2] Interpretacin artificial expresiva
[11.3] Anlisis de interpretaciones desde audio
[11.4] Creacin-performance colaborativa
[11.5] Reconocimiento de gesto
[11.6] Referencias bibliogrficas
11
TEMA
Herramientas informticas para un anlisis creativo-performativo
Esquema
TEMA 11 Esquema
Herramientas informticas Anlisis computacional de grandes Notacin musical en tiempo
performativas bases de datos de interpretacin real
2
Simulaciones informticas Desv iaciones expresivas Atriles digitales
Interpretaciones humanas Rasgos locales de la partitura Instrumentos digitales
Modelos computacionales Reconocimiento de gesto

de representacin
ex presiva
Universidad Internacional de La Rioja (UNIR)

Anlisis Musical Informatizado
Ideas clave
11.1. Cmo estudiar este tema?
Para estudiar este tema lee las Ideas clave disponibles a continuacin.
Dentro del CMA podemos distinguir tres grandes enfoques. En primer lugar, las nuevas
herramientas informticas aceleran e implementan procesos de recuento y
comparacin de parmetros como la altura, el ritmo o las estructuras armnicas y
meldicas de una partitura. En este caso, el objetivo es el mismo que perseguan las
metodologas de anlisis tradicional, pero el proceso analtico es mucho ms rpido y
objetivo. En segundo lugar, la informtica permite comparar la estructura presente
en una partitura o un archivo de audio MIDI y el grado de informacin que
percibe el oyente a cada momento. Propuestas como el perfil de anticipacin de
Shlomo Duvnov (2006, citado en el tema Herramientas informticas para el anlisis
de la forma) abren una nueva perspectiva en los juicios de valor sobre cmo
experimentamos la msica. Por ltimo, dentro del campo de la inteligencia artificial, el
CMA ha propuesto modelos generativos meldicos y armnicos que simulan un
estilo determinado. Mediante el diseo de algoritmos basados en teoras previas,
como las funciones neo-riemannianas, un ordenador es capaz de componer
automticamente a partir de un fragmento dado.
El presente tema se relaciona con este ltimo enfoque: el anlisis de la interpretacin

musical y el estudio de aquellos parmetros ms difciles de cuantificar en el AM
tradicional: el tempo y la dinmica. Repasaremos si finalmente es posible que un
ordenador genere una interpretacin artificial expresiva o humanizada, de
acuerdo con las investigaciones de Jorge Grundman (2011). Tambin hablaremos de
algunos medios para analizar una grabacin musical, como los propuestos por Eduardo
R. Miranda (2010) y Steven R. Livingstone (2010). Este ltimo investiga la manera en
que relacionamos determinados parmetros musicales con las emociones transmitidas
por el intrprete e inherentes a la propia obra. Por ltimo, un campo que contina en
expansin es el de los instrumentos virtuales y los sistemas de reconocimiento de gesto
y procesamiento en tiempo real (Overholt et. al., 2009, p. 69-82). Aqu podemos hablar
de una parcela especfica dentro del arte sonoro digital.
TEMA 11 Ideas clave 3 Universidad Internacional de La Rioja (UNIR)

11.2. Interpretacin artificial expresiva
Como ya hemos mencionado, la partitura no es la obra musical, sino que hace falta la
interpretacin y la audicin de dicha obra. Entonces surge la pregunta qu es la
interpretacin? Segn Grundman (2011), el objetivo del anlisis performativo es
determinar qu elementos permiten distinguir una interpretacin artstica
frente a otra automatizada, partiendo de la premisa de que no todos los aspectos
del sonido pueden indicarse en una partitura. Esta funciona ms bien como un guion o
marco con un cdigo que puede ser interpretado de muchas formas distintas, de la
misma forma que ocurre si comparamos el lenguaje escrito y el oral. La interpretacin
se sita a medio camino entre la traduccin de un cdigo simblico en trminos
sonoros y la recreacin relativamente libre e independiente de dicho mensaje,
generando otros significados.
Si transcribiramos la partitura de cada ejecucin de una obra dada tendramos tantas

partituras como interpretaciones, siendo versiones tan diferentes que las haran
parecer composiciones distintas. Desde el punto de vista del AM, debemos investigar
los procesos de interpretacin, y para ello necesitaremos herramientas
informticas performativas. Las diferencias entre una simulacin informtica y
una interpretacin humana nos permitirn acercarnos a dichos criterios performativos,
considerando un nuevo tipo de ejecutante asociado a la edicin digital.
La siguiente figura muestra una aplicacin de los criterios performativos al parmetro

tempo que, junto con la dinmica, son dos de los factores ms variables y decisivos
cuando comparamos diversas interpretaciones de una misma obra. El anlisis se ha
realizado a partir de la Fantaisie-Impromptu Opus 66 de Chopin:
Figura 1. Parmetro tempo (Grundman, 2011, p. 164).

Grundman (2011, citado en el tema La msica como arte performativo) distingue

entre el tempo de cada comps y la evolucin interior de cada uno de estos,
denominada subtempo. Dicho parmetro poda variar bruscamente, siendo una
evolucin en forma de salto, o alargarse y contraerse progresivamente, en una
evolucin de tipo lineal. Introduciendo en formato MIDI una grabacin de la obra en el
secuenciador Nuendo, podemos determinar y variar todos los eventos de nota,
dinmica, pedal y tambin tempo y subtempo. En la figura 1 se pueden apreciar las tres
secciones de la Fantaisie-Impromptu: el allegro agitato del comienzo, el moderato
cantabile del tro y, finalmente, el presto del final. Si trazramos una lnea recta que
simbolizase el valor medio de cada seccin, resulta fcil identificar cada una de ellas
desde la pista del tempo. Dentro de cada una de estas secciones, las variaciones
instantneas en forma de picos o pendientes pronunciadas representaran las
variaciones de subtempo dentro de cada comps.
Ampliando los compases de la primera seccin obtenemos con mayor detalle tanto el
salto como la linealidad del subtempo (vase figura 2). A partir del anlisis de este
parmetro performativo, puede realizarse una comparacin con la estructura
armnica y meldica de la obra, y determinar el grado de libertad de un intrprete
frente a otros:
Figura 2. (Grundman, 2011, p. 165).
Para reproducir msica con toque humano, los ordenadores necesitan informacin
de desviaciones en el tiempo, la dinmica o la articulacin. La investigacin
de modelos computacionales de representacin expresiva de msica es un rea activa
de estudio, pues casi todos los programas de edicin (Finale o Sibelius) reproducen la

msica de una manera robtica. Esto se debe principalmente a que se trabaja con
archivos MIDI.
Para la implementacin del sonido reproducido en un editor no solo se trabaja con

desviaciones de tempo o dinmica; tambin existen bibliotecas de samplers de
diversos instrumentos, como Quantum Leap Pianos (Grundman, 2011, p. 170), que
intentan emular tanto la mecnica de un instrumento determinado como las
condiciones acsticas de una sala. Otras tcnicas de implementacin incluyen enfoques
basados en gramticas musicales, sistemas expertos, sistemas de regresin lineales y no
lineales, redes neuronales artificiales, cadenas ocultas de Markov, mtodos
informticos evolutivos o paradigmas de imitacin de agentes mltiples.
La siguiente figura muestra las desviaciones expresivas, en tempo y dinmica,

registradas en un experimento realizado a partir de los primeros compases del Estudio
Opus 10 n 3 de Chopin:
Figura 3. Desviaciones expresivas en tempo y dinmica, Estudio Opus 10 n 3 de Chopin (Miranda, Kirke,
y Zhang, 2010, p. 91).
Este tipo de anlisis es til para explorar las estrategias performativas ms

comunes en la interpretacin de msica occidental. Por ejemplo, la ralentizacin
del tempo hacia el final de una seccin de la obra o la aceleracin en una progresin
armnica o meldica. Al igual que un anlisis de la partitura nos revela una estructura
determinada, el anlisis performativo muestra que los intrpretes tambin piensan en
trminos estructurales, normalmente en relacin con los patrones musicales. En el
campo de la dinmica, por ejemplo, las alturas ms altas en registro y armnicamente
disonantes tienden a tocarse ms fuerte.

Una herramienta muy til para la medicin del parmetro de la intensidad es Sonic
Visualiser (http://www.sonicvisualiser.org/). Una de sus caractersticas es que
permite la reproduccin a velocidad variable, permitiendo escuchar con ms
detalle fragmentos de msica que de otra forma se reproduciran a velocidad normal. El
programa cuenta con dos interfaces: Wave Form y Melodic Range Spectrogram (vase
figura 4). El transcurso temporal se mide en el eje X, mientras que el eje Y indica
alternativamente la frecuencia y la intensidad. Un sonido que puede parecer complejo
en la interfaz Wave Form puede ser alargado y visualizado en milisegundos para
observar cmo se inicia, cul es su forma de onda, su desarrollo y su desaparicin.
Tambin podemos variar la velocidad de reproduccin cambiando la naturaleza del
sonido y descubriendo, por ejemplo, su grado de reverberacin.
Figura 4. Interfaz de Sonic Visualiser.
11.3. Anlisis de interpretaciones desde audio
Otro campo activo de investigacin es el anlisis computacional automatizado de

grandes conjuntos de datos de representacin musical. Las bases de datos de este
tamao cientos de miles de notas tocadas con desviaciones expresivas
sustanciales respecto a la partitura requieren un nivel de automatizacin de anlisis
que no era posible alcanzar anteriormente. Por ejemplo, en las interpretaciones de
piano, los recursos expresivos con los que el tiempo del intrprete se desva del
tiempo nominalmente sincronizado de la partitura no haban sido evaluados
cuantitativamente de ninguna manera sustancial hasta ahora. Lo mismo se puede decir
de la asincrona entre las dos manos, en un recurso expresivo el rubato que se

considera como una marca de estilo inherente a repertorios como los de Chopin o Liszt.
Se intenta modelar estas desviaciones expresivas relacionndolas con los rasgos locales
de la partitura.
El siguiente ejemplo es una visualizacin informtica de una interpretacin del pianista

Nikita Magaloff, en el que se estudia la asincrona entre manos como recurso expresivo
en las obras de Chopin:
Figura 5. Visualizacin informtica de una interpretacin del pianista Nikita Magaloff (Goebl, Flossmann,
y Widmer, 2009, p. 293).
La flexibilidad del tempo y la dinmica respecto a la partitura se asocian normalmente

a la emocin en msica. En general, tanto los compositores como los intrpretes
comunican sus intenciones emocionales a partir del control de parmetros musicales
bsicos como la altura, la dinmica o la articulacin. Un ejemplo bien conocido en la
tradicin musical occidental es la asociacin del modo mayor con la alegra, y el
menor con la tristeza. Thompson y Robitaille (1992, citado en Livingstone et al.,
2010, p. 42) presentaron un estudio en el que se peda a varios compositores componer
pequeas melodas que expresaran seis emociones bsicas: alegra, dolor, excitacin,
aburrimiento, rabia y paz. Un secuenciador informtico reprodujo estas melodas sin
ninguna desviacin expresiva; el resultado fue que la mayora de los oyentes asociaban
dichas emociones con la reproduccin robtica de dichas melodas. Este estudio
trataba de demostrar que, al margen de los detalles performativos, hay ciertos
parmetros que funcionan como cdigos bsicos de comunicacin
emocional. Dichos cdigos son plasmados en la partitura por el compositor,
reinterpretados por el ejecutante y decodificados por el oyente como una suma de los
datos estructurales de la partitura y los detalles performativos de la interpretacin.

La optimizacin y definicin de estos cdigos emocionales es uno de los objetivos

principales de los modelos informticos que analizan y simulan una interpretacin
humana. Programas como GROOVE (1970), POCO (1990), RUBATO (1994), Super
Conductor (1998), KTHs Director Musices (1991) o CaRo (2004) son sistemas
diseados para producir automticamente una interpretacin expresiva, en cuanto a la
programacin de ciertas desviaciones respecto a los datos suministrados por la
partitura. Uno de estos sistemas (Livingstone et al., 2010) es el Computational
Music Emotion Rule Sistem (CMERS), un editor en tiempo real que permite
modificar algunos parmetros primarios tanto a nivel de partitura como a nivel
interpretativo, y generar una performance expresiva.
El programa identifica y clasifica en primer lugar qu parmetros y caractersticas

pueden llegar a simular una interpretacin humana. De acuerdo con los autores, una
pauta de emocin musical posee un gnero, una variacin y un conjunto de
consecuencias emocionales. Un ejemplo de este tipo de pautas es el siguiente: el modo
menor es equivalente a la tristeza o la rabia; el gnero sera el modo; la variacin
sera menor; y las consecuencias emocionales la tristeza o la rabia.
A partir de esta identificacin, CMERS utiliza una representacin circular

bidimensional que permite relacionar diversos grados emocionales en cuatro
cuadrantes, tal y como se muestra en la figura 6:
Figura 6. Grados emocionales relacionados con determinados parmetros musicales (Livingstone, et al.,
2010, p. 45).

Aunque ninguna representacin puede captar por completo toda la complejidad y la

sutileza de la emocin humana, el objetivo es lograr un balance entre los
parmetros analizables en la partitura y su uso por parte del intrprete. Las
caractersticas musicales que gobiernan la comunicacin de determinadas
consecuencias emocionales (agrupadas en cada uno de los cuadrantes) estn
informadas empricamente a partir de 108 estudios sobre la transmisin de la emocin
en msica (Livingstone, et al., 2010). Por ejemplo, un tempo rpido, en modo mayor,
con una armona simple, alturas en un registro alto, en articulacin staccato y con una
dinmica elevada se asocian a emociones como la alegra o la excitacin.
Las pautas de emocin musical aparecen en todos los cuadrantes de CMERS, pero con
diversos grados o variaciones. Para entender este comportamiento, los autores del
sistema mapean estas correlaciones en la citada representacin circular
bidimensional (vase figura 7). Las correlaciones ms cercanas a la periferia del
crculo son las que tienen mayor presencia en los estudios previos sobre emocin
musical. Por ejemplo, la msica asociada como alegre viene definida por los
siguientes gneros: tempo, modo, complejidad armnica dinmica, articulacin, altura,
duracin rtmica y timbre. Dichos gneros se consideran como los parmetros
musicales bsicos que funcionan como cdigos emocionales en la msica
occidental. A su vez, todas las variaciones de gnero alternan entre valores positivos y
negativos (por ejemplo, en el modo):
Figura 7. (Livingstone, et al., 2010, p. 48).

A partir de estas correlaciones, CMERS funciona como un sistema de filtros para la

modificacin de archivos MIDI. Los datos extrados tanto de la partitura como de un
archivo de audio son testeados por una serie de filtros en tiempo real. Cada uno de
estos filtros es responsable de una pauta de emocin musical, modificando el tempo, la
dinmica o la articulacin. La identificacin de los parmetros y su variacin est
previamente informada por un modelo de representacin similar al de la teora
generativa de la msica tonal de Lerdahl y Jackendoff (vase figura 8). Este sistema
jerrquico permite asociar frases, acordes y alturas dentro de una estructura simple en
forma de rbol, para luego aplicarle los filtros de variacin emocional.
En la siguiente figura se analizan los doce primeros compases de la Sonata para piano
n 12 de Mozart, siguiendo el modelo generativo anteriormente citado:
Figura 8. Anlisis de los doce primeros compases de la Sonata para piano n 12 de Mozart (Livingstone, et
al., 2010, p. 50).
11.4. Creacin-performance colaborativa
Los sistemas de notacin musical en tiempo real producen una partitura musical
dinmica que puede contener notacin convencional occidental o una gama de
representaciones grficas, que son interpretadas por los msicos para crear sonido. Los
avances tecnolgicos recientes, como ordenadores porttiles, tablets, monitores LCD,
smartphones y proyectores de vdeo de alta resolucin permiten que estas
representaciones grficas sean visibles tanto por los intrpretes como por el pblico
durante una actuacin.

Por otro lado, los atriles de msica digitales, que reemplazan a las partituras
impresas, han hecho crecer el nmero de compositores que desarrollan sistemas de
notacin en tiempo real en su trabajo, interesados en la estructura esttica de la
composicin abierta. Un ejemplo es Messa di voce (vase figura 9), un proyecto
multimedia que integra la captura de visin en tiempo real y el anlisis algortmico de
los fonemas del habla humana. El ordenador captura el movimiento de los performer y
analiza las seales de audio provenientes de unos micrfonos que llevan consigo. Como
respuesta, el ordenador proporciona varios tipos de visualizaciones en una pantalla,
haciendo al pblico participe de la intermedialidad entre sonido e imagen.
Accede al vdeo del proyecto Messa di voce a travs del aula virtual o desde la siguiente
direccin web:
https://www.youtube.com/watch?v=1uSNcmb1xjU
Figura 9. Proyecto Messa di voce. Fuente: https://www.youtube.com/watch?v=LZ-aR6RRRbs
Dos cuestiones importantes se plantean con estos sistemas: intermediar el output de

algoritmos de representacin en directo a travs de expresiones musicales humanas;
y conectar al pblico con los msicos permitindoles influir en el
comportamiento de estos algoritmos. Como decamos, aqu estamos ante el terreno de
la composicin abierta o colectiva, una de las grandes revoluciones que ha
supuesto la aparicin del arte y la msica digital. Gneros como el Software Art, Game
Art o Net.art se desarrollan exclusivamente en el medio digital, disolviendo las
antiguas nociones de autor, intrprete, espacio de representacin o soporte. Para ms
de un historiador del arte, Internet es el ltimo espacio para la libre expresin artstica,
ya que su rpida mutabilidad y la multiplicidad de internautas hacen difcil ejercer un

control estricto sobre la red. El hecho de que la obra se desarrolle colectivamente y

ningn internauta tenga la capacidad de cerrarla definitivamente supone un cambio de
paradigma en la antigua nocin de obra artstica.
En el campo del arte sonoro, un proyecto interesante es Auracle (http://auracle.org/).

Se trata de un servidor que permite generar y manipular en tiempo real una seal de
audio recogida por micrfono, a partir de mltiples usuarios conectados a travs de un
chat (figura 10):
Figura 10. Fuente: http://auracle.org/
11.4. Reconocimiento de gesto
En los instrumentos musicales digitales, los inputs gestuales obtenidos de los sistemas
de percepcin del movimiento, del anlisis de la imagen o del sonido se usan para
controlar o interactuar con procesamiento o sntesis de sonido. Esto ha llevado a los
artistas, a la tecnologa y a varios investigadores a estudiar estrategias para el mapeo
entre inputs gestuales y outputs de procesos sonoros. Es un campo importante
para la cuestin de la representacin de msica informatizada. La accin de escuchar,
como es el caso de la percepcin en general, est intrnsecamente vinculada al proceso
de adquirir conocimiento y aplicar dicho conocimiento cuando se interacta con
nuestro ambiente. En la creacin musical escuchar juega un papel particular en la
identificacin, evaluacin y ejecucin de las acciones.

Llevado a la interpretacin, se estudian las interacciones gestuales entre miembros

de un grupo de msica de cmara. Para ello la interfaz debe permitir a los msicos
tocar sin ataduras, utilizando nicamente seales naturales y lenguaje corporal para
controlar la informacin. Usando la visin informtica, el anlisis de audio y la
percepcin del campo elctrico, los gestos expresivos son captados en la
interpretacin. El software representa la transformacin espectral a tiempo real
del audio del instrumento. Sensores sin contacto, micrfonos, cmaras y sensores
de campo elctrico introducidos en un atril de msica habilitan al intrprete para
sealizar al sistema interactivo utilizando gestos simples, mapearlos en una sntesis de
audio a tiempo real y a unos parmetros de transformacin sin requerir contacto fsico
directo del msico. Es lo que veamos hablando del proyecto Messa di voce.
En la figura 11 podemos ver un esquema del funcionamiento de este tipo de

interrelaciones entre movimiento y sonido:
Figura 11. (Caramiaux, Franoise, Schnell, y Bevilacqua, 2014, p. 43).
Hay tres categoras generales en el campo de los controladores de gesto y procesadores

digitales del sonido de instrumentos acsticos: simuladores de instrumentos,
instrumentos aumentados e interfaces alternativas (Overholt, et al., 2009, p.
70). Los primeros son interfaces gestuales que simulan el aspecto y la sensacin de la
ejecucin de un instrumento tradicional, pero no incluyen su funcionalidad original.
Por ejemplo, un controlador de guitarra no posee cuerdas, pero s sensores a lo
largo de un diapasn que simula la tcnica de ejecucin. Los sintetizadores virtuales de

teclado tambin pertenecen a esta categora. En el segundo caso, los instrumentos

aumentados s mantienen el mecanismo original, pero este ha sido modificado para
interactuar con un ordenador en tiempo real, utilizando asimismo sensores que
capturan tanto los gestos tcnicos tradicionales como algunas tcnicas extendidas. Un
ejemplo lo tenemos en el Yamaha Disklavier, o la Flauta MIDI desarrollada por el
IRCAM de Pars. Los sensores colocados en estos instrumentos permiten extender la
tcnica tradicional del instrumento (por ejemplo, a travs de acelermetros). Otra
ventaja de acoplar sensores en los instrumentos es que permiten obtener una
informacin detallada y precisa de los gestos del instrumentista, de cara al
perfeccionamiento de la interpretacin. Por ltimo, las interfaces alternativas se alejan
de los instrumentos tradicionales mediante la falta de contacto con el instrumento. Un
antecedente es el Theremin (1919), primer instrumento electrnico que no precisaba
de contacto directo, y cuyo sonido era generado a partir de los cambios en el campo
elctrico producidos entre una antena receptora y el cuerpo del instrumentista.
Un sistema desarrollado por varios investigadores (Overholt, et al., 2009, p. 72) es el

Multimodal Music Stand System (MMSS), diseado para capturar los
movimientos y el sonido de un flautista y permitir la transformacin de dicho sonido
mediante diversas tcnicas. Mientras que la mayora de sistemas de captura de gesto
utilizan modelos de visin computarizados o tcnicas de procesamiento digital de la
imagen, la principal caracterstica del MMSS es su multimedialidad: el sistema
combina varias cmaras, anlisis de audio y sensores de campo elctrico, con el objetivo
de captar con ms detalle muchos de los matices gestuales que realiza un
instrumentista. Por ejemplo, uno de los gestos habituales es el cambio de ngulo de la
flauta respecto a la posicin perpendicular del cuerpo cuando ejecuta una altura
determinada (vase figura 12).
Figura 12. (Overholt, et al., 2009, p. 74).

MMSS identifica este gesto interpretativo visual y auralmente, en combinacin con la

proximidad del campo elctrico medida por cuatro antenas distintas. Con ello, el
sistema testea tanto el ngulo de la flauta como la altura musical ejecutada. Este gesto
es procesado como un archivo de audio y filtrado a travs de un algoritmo para
modificar determinados aspectos del sonido de la flauta.
En la siguiente figura vemos los tres componentes con los que cuenta MMSS:
Multimodal Input Analysis (anlisis del propio espacio del instrumentista, la velocidad
de sus movimientos y el tipo de sonido producido); Multimodal Detection Layer
(anlisis, codificacin y envo de la informacin recogida en el input); y Audio
Synthesis and Transformation (alteracin del sonido original del instrumento):
Las cuatro antenas con las que cuenta MMSS capturan los gestos corporales e
instrumentales del flautista. Los datos recogidos por cada uno de estos sensores
elctricos independientes son recibidos y procesados por un controlador programado
en Max/MSP, y enviado al componente Multimodal Detection Layer. Utilizando
cuatro canales es posible disear un input tridimensional. La intensidad recogida por
las cuatro antenas se utiliza para determinar el eje Z del input gestual.
En la figura 14 podemos ver los cuatro canales elctricos diferentes y su procesamiento.

Cada uno de ellos corresponde a los movimientos verticales y horizontales del
instrumentista, en el eje Y e X respectivamente.

11.5. Referencias bibliogrficas
Caramiaux, B., Franoise, J., Schnell, N., y Bevilacqua, F. (2014). Mapping through
Listening. Computer Music Journal, 38(3), 34-48. Recuperado de
http://www.mitpressjournals.org/doi/pdf/10.1162/COMJ_a_00255
Goebl, W., Flossmann, S., y Widmer, G. (2009). Computational investigations into

between-hand synchronization in piano playing: Magaloffs complete Chopin. In
Proceedings of the Sixth Sound and Music Computing Conference (pp. 291-296).
Recuperado de http://smc2009.smcnetwork.org/programme/pdfs/272.pdf
Grundman, J. (2011). Estudio de la notacin y la edicin musical como herramientas

performativas: Fantasie impromptu op. 66 de Chopin. En V. Calvo y F. Labrador
(Eds.), In_des_ar. Investigar desde el Arte (pp. 145-179). Madrid: Dykinson.
Livingstone, S. R., et al. (2010). Changing musical emotion: A computational rule

system for modifying score and performance. Computer Music Journal, 34(1), 41-64.
Recuperado de
http://www98.griffith.edu.au/dspace/bitstream/handle/10072/39695/71910_1.pdf?se
quence=1

Miranda, E. R., Kirke, A., y Zhang, Q. (2010). Artificial evolution of expressive

performance of music: An imitative multi-agent systems approach. Computer Music
Journal, 34(1), 80-96. Recuperado de
http://www.mitpressjournals.org/doi/pdf/10.1162/comj.2010.34.1.80
Overholt, D., et al. (2009). A multimodal system for gesture recognition in interactive
music performance. Computer Music Journal, 33(4), 69-82. doi:
10.1162/comj.2009.33.4.69
Thompson, W. F. y Robitaille, B. (1992). Can composers express emotions through

Music? Empirical Studies of the Arts, 10(1), 79-89.

Lo + recomendado
No dejes de leer
Investigations of between-hand synchronization in Magaloff's Chopin
Goebl, W., Flossmann, S., y Widmer, G. (2010). Investigations of between-hand

synchronization in Magaloff's Chopin. Computer Music Journal, 34(3), 35-44. doi:
10.1162/COMJ_a_00002
Este artculo supone un magnfico ejemplo de anlisis interpretativo desde el audio de

las asincronas entre manos del pianista Nikita Magaloff, un recurso expresivo muy
importante en el romanticismo que ahora podemos investigar con seriedad. Se analizan
todas sus grabaciones de msica de Chopin
Ceros y unos en la musicologa. Software y anlisis musical
Sammartino, F. (2015). Ceros y unos en la musicologa. Software y anlisis musical.

Resonancias, 19(37), 27-45. doi: 10.7764/res.2015.37.3
En el mbito de la etnomusicologa y el estudio de las msicas populares, las antiguas

nociones del AM tradicional (partitura, estrategias de composicin, concepto de estilo)
ya no son vlidas. En este artculo, Federico Sammartino utiliza Sonic Visualiser para
cuantificar las variaciones micro-estructurales en las improvisaciones vocales de
intrpretes amateurs de Estancia La Candelaria (Crdoba, Argentina).
Accede al artculo a travs del aula virtual o desde la siguiente direccin web:
http://resonancias.uc.cl/es/Table/Publicacion/N%C2%BA-37/
TEMA 11 Lo + recomendado 19 Universidad Internacional de La Rioja (UNIR)

No dejes de ver
Musical Analysis of Conducting Gestures Using Methods from Computer

Vision
Este vdeo muestra un seguimiento digital para el estudio de los gestos de la direccin
de orquesta.
Accede al vdeo a travs del aula virtual o desde la siguiente direccin web:
https://www.youtube.com/watch?v=KOVWlPv3DYs
TEMA 11 Lo + recomendado 20 Universidad Internacional de La Rioja (UNIR)

+ Informacin
A fondo
Artificial evolution of expressive performance of music
Miranda, E. R., Kirke, A., y Zhang, Q. (2010). Artificial evolution of expressive

performance of music: An imitative multi-agent systems approach. Computer Music
Journal, 34(1), 80-96.
En este artculo se profundiza sobre el ya comentado tema de la humanizacin

expresiva de una interpretacin simulada informticamente.
Accede al artculo a travs del aula virtual o desde la siguiente direccin web:
http://www.mitpressjournals.org/doi/pdf/10.1162/comj.2010.34.1.80
Webgrafa
Sonic Visualiser
Sonic Visualiser es una aplicacin para la visualizacin y anlisis de contenidos de

archivos de audio. A travs de dos interfaces, el programa analiza la forma de onda de
una seal y su espectrograma, indicando los valores de frecuencia y amplitud. Una de
sus ventajas es que permite visualizar, alargndolo, un determinado instante sonoro, y
ejecutarlo a velocidad variable para observar mejor sus caractersticas tmbricas.
Accede a la pgina web a travs del aula virtual o desde la siguiente direccin:
http://www.sonicvisualiser.org/
TEMA 11 + Informacin 21 Universidad Internacional de La Rioja (UNIR)

Research Centre for Musical Performance as Creative Practice, CMPCP
El Centro de Investigacin para la Interpretacin Musical y la Prctica Creativa

(Research Centre for Musical Performance as Creative Practice, CMPCP) est dedicado
a la interpretacin creativa en vivo y a cuestiones como el conocimiento que encarna
una performance, el despliegue temporal de la msica y cmo el entendimiento de esta
prctica vara en diferentes contextos.
http://www.cmpcp.ac.uk/
Auracle
Auracle es un proyecto online que permite a cualquier internauta generar y manipular

en tiempo real una seal de audio, y compartirla a travs de un servidor.
http://auracle.org/

Bibliografa
Freeman, J. (2008). Extreme sight-reading, mediated expression, and audience

participation: Real-time music notation in live performance. Computer Music Journal,
32(3), 25-41. doi: 10.1162/comj.2008.32.3.25

Test
1. Relaciona estos conceptos:
Un nuevo tipo de interpretacin asociado a la

Atriles digitales A 1
notacin y la edicin digital
Robtica B 2 Reproduccin musical informtica tradicional
Manipulacin sistemtica de rasgos bsicos de

Asincronas C 3
altura, volumen y articulacin
Recursos expresivos con los que el tiempo del
Simulacin informtica
D 4 intrprete se desva del tiempo de la partitura en
interpretaciones de piano
Conocimiento E 5 Sistemas de notacin en tiempo real
Instrumentos digitales F 6 Accin de escuchar (percepcin)
Emocin G 7 Sistemas de percepcin del movimiento
2. Para reproducir msica con toque humano, los ordenadores necesitan

informacin de desviaciones en
A. El tiempo y la altura.
B. La tonalidad y la articulacin.
C. El tiempo y la articulacin.
3. Qu avance tecnolgico ha reemplazado a las partituras impresas?

A. Los atriles de msica digitales.
B. Los smartphones y proyectores de vdeo de alta resolucin.
C. No existe an avance tecnolgico que haya reemplazado a las partituras
impresas.
4. En los instrumentos musicales digitales, los inputs gestuales obtenidos de los

sistemas de percepcin del movimiento, o de anlisis de imagen y sonido, se usan para
controlar o interactuar con procesamiento o sntesis de sonido.
A. Verdadero.
B. Falso.
5. La accin de escuchar est vinculada...

A. Al proceso de interaccin que el artista mantiene con el pblico.
B. A las emociones del oyente.
C. Al proceso de adquirir conocimiento.
TEMA 11 Test 24 Universidad Internacional de La Rioja (UNIR)

6. El software representa la transformacin espectral a tiempo real del audio del

instrumento, y con l el msico no necesita contacto fsico directo:
A. Verdadero.
B: Falso.
TEMA 11 Test 25 Universidad Internacional de La Rioja (UNIR)

Tema11 Análisis Performativo

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Tema11 Análisis Performativo

Transféré par

Droits d'auteur :

Formats disponibles

Herramientas informticas para un

[11.1] Cmo estudiar este tema?

[11.2] Interpretacin artificial expresiva

[11.3] Anlisis de interpretaciones desde audio

[11.4] Creacin-performance colaborativa

[11.5] Reconocimiento de gesto

[11.6] Referencias bibliogrficas

Interpretaciones humanas Rasgos locales de la partitura Instrumentos digitales

Modelos computacionales Reconocimiento de gesto

Universidad Internacional de La Rioja (UNIR)

11.1. Cmo estudiar este tema?

El presente tema se relaciona con este ltimo enfoque: el anlisis de la interpretacin

TEMA 11 Ideas clave 3 Universidad Internacional de La Rioja (UNIR)

11.2. Interpretacin artificial expresiva

Si transcribiramos la partitura de cada ejecucin de una obra dada tendramos tantas

La siguiente figura muestra una aplicacin de los criterios performativos al parmetro

Figura 1. Parmetro tempo (Grundman, 2011, p. 164).

TEMA 11 Ideas clave 4 Universidad Internacional de La Rioja (UNIR)

Grundman (2011, citado en el tema La msica como arte performativo) distingue

Figura 2. (Grundman, 2011, p. 165).

TEMA 11 Ideas clave 5 Universidad Internacional de La Rioja (UNIR)

Para la implementacin del sonido reproducido en un editor no solo se trabaja con

La siguiente figura muestra las desviaciones expresivas, en tempo y dinmica,

Este tipo de anlisis es til para explorar las estrategias performativas ms

TEMA 11 Ideas clave 6 Universidad Internacional de La Rioja (UNIR)

Figura 4. Interfaz de Sonic Visualiser.

11.3. Anlisis de interpretaciones desde audio

Otro campo activo de investigacin es el anlisis computacional automatizado de

TEMA 11 Ideas clave 7 Universidad Internacional de La Rioja (UNIR)

El siguiente ejemplo es una visualizacin informtica de una interpretacin del pianista

La flexibilidad del tempo y la dinmica respecto a la partitura se asocian normalmente

TEMA 11 Ideas clave 8 Universidad Internacional de La Rioja (UNIR)

La optimizacin y definicin de estos cdigos emocionales es uno de los objetivos

El programa identifica y clasifica en primer lugar qu parmetros y caractersticas

A partir de esta identificacin, CMERS utiliza una representacin circular

TEMA 11 Ideas clave 9 Universidad Internacional de La Rioja (UNIR)

Aunque ninguna representacin puede captar por completo toda la complejidad y la

Figura 7. (Livingstone, et al., 2010, p. 48).

TEMA 11 Ideas clave 10 Universidad Internacional de La Rioja (UNIR)

A partir de estas correlaciones, CMERS funciona como un sistema de filtros para la

11.4. Creacin-performance colaborativa

TEMA 11 Ideas clave 11 Universidad Internacional de La Rioja (UNIR)

Figura 9. Proyecto Messa di voce. Fuente: https://www.youtube.com/watch?v=LZ-aR6RRRbs

Dos cuestiones importantes se plantean con estos sistemas: intermediar el output de

TEMA 11 Ideas clave 12 Universidad Internacional de La Rioja (UNIR)

control estricto sobre la red. El hecho de que la obra se desarrolle colectivamente y

En el campo del arte sonoro, un proyecto interesante es Auracle (http://auracle.org/).

Figura 10. Fuente: http://auracle.org/

11.4. Reconocimiento de gesto

TEMA 11 Ideas clave 13 Universidad Internacional de La Rioja (UNIR)

Llevado a la interpretacin, se estudian las interacciones gestuales entre miembros

En la figura 11 podemos ver un esquema del funcionamiento de este tipo de

Figura 11. (Caramiaux, Franoise, Schnell, y Bevilacqua, 2014, p. 43).

Hay tres categoras generales en el campo de los controladores de gesto y procesadores

TEMA 11 Ideas clave 14 Universidad Internacional de La Rioja (UNIR)

teclado tambin pertenecen a esta categora. En el segundo caso, los instrumentos

Un sistema desarrollado por varios investigadores (Overholt, et al., 2009, p. 72) es el

Figura 12. (Overholt, et al., 2009, p. 74).

TEMA 11 Ideas clave 15 Universidad Internacional de La Rioja (UNIR)

MMSS identifica este gesto interpretativo visual y auralmente, en combinacin con la

Figura 13. (Overholt, et al., 2009, p. 73).

En la figura 14 podemos ver los cuatro canales elctricos diferentes y su procesamiento.

TEMA 11 Ideas clave 16 Universidad Internacional de La Rioja (UNIR)