IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas

SPATIUM, UMA ABORDAGEM MODULAR E OPEN SOURCE AO SOFTWARE

PARA ESPACIALIZAO
Rui Penha
Universidade de Aveiro
rui@ruipenha.pt
Joo Pedro Oliveira
Universidade Federal de Minas Gerais
jppo@ua.pt
Resumo: Neste artigo apresentado o Spatium, um conjunto de mdulos
de software para a espacializao sonora. Estes mdulos permitem o
tratamento da espacializao de forma independente do sistema de caixas
sonoras disponveis na altura da concepo ou difuso de cada obra, bem
como a experimentao de interfaces e tcnicas de espacializao diversos,
permitindo a escolha do mais adequado a cada inteno composicional.
Palavras-chave: espacializao; ambisonics; software; interfaces; open
source
Spatium, a modular, open source approach to spatialization software
Abstract: In this paper we present Spatium, a set of software modules for
the spatialization of sound. These modules permit the development of
spatialization independently from the loudspeaker system available at the
time of composition or the time of diffusion. They also open the door to the
experimentation of different interfaces and spatialization techniques,
allowing the choice of the most adequate ones for any given compositional
goal.
Keywords: spatialization; ambisonics; software; interfaces; open source
1. INTRODUO
Elemento basilar da msica eletroacstica, a espacializao um parmetro cuja
manipulao est na base da criao de vrias tcnicas e ferramentas. As mais comuns so
direcionadas para os formatos comerciais, como o 5.1, obrigando a que os compositores e
centros de investigao tenham muitas vezes que conceber software especfico para aplicao
de parmetros de movimento numa determinada pea, ou implementao dos mesmos num
espao pr- determinado (HOLLERWEGER, 2006) (SCHACHER, 2010). Derivado deste fato,
alguns problemas subsistem quer quanto integrao deste software nas diversas DAW
(Digital Audio Workstations) utilizadas pelos compositores, para as quais no foi originalmente
concebido, quer na sua adequao a outros espaos ou necessidades. Segundo nossa
perspectiva, se torna necessria a implementao de um sistema de espacializao
suficientemente aberto, que permita no somente a sua aplicao e adaptao a ambientes e
espaos diversos, mas tambm a sua integrao em diferentes DAW. precisamente nesse
sentido que a pesquisa apresentada neste artigo se desenvolve.
161
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
2. ESTADO DA ARTE
2.1 ambisonics
Dentre os diversos modelos e sistemas de codificao espacial j existentes, o sistema
Ambisonics, com a sua codificao do espao bi ou tridimensional num nmero finito e definido
de canais udio, apresenta algumas vantagens (MALHAM, 1999), nomeadamente ao permitir
a descodificao para quase todos os sistemas de difuso que sejam baseados na distribuio
homognea e concntrica de caixas de som. Tais vantagens permitem ultrapassar algumas
limitaes que freqentemente se encontram, tais como:
! a impossibilidade de adaptao de um sistema de difuso especfico s exigncias
necessrias para a projeo sonora de uma obra - caso tpico a existncia de um
nmero insuficiente de caixas de som para darem resposta s necessidades de difuso
requeridas;
! a dificuldade de plena utilizao das potencialidades de um dado sistema disponvel,
como, por exemplo, no caso em que um espao apresenta melhores condies, ou um
maior nmero de canais, do que aqueles pensados na concepo da obra.
2.2 Software
As DAW mais utilizadas e.g., Logic Pro (Apple, 2012), Ableton Live (Ableton, 2012),
etc. tm a possibilidade de integrao de plug-ins e a capacidade de gravao dos
respectivos parmetros na pista correspondente, aquilo que habitualmente se designa por
automao. Por conseqncia, certas formas de abordar a espacializao podem utilizar estes
plug-ins para a manipulao do udio, apresentando, no entanto, algumas desvantagens:
! nem todas as DAW permitem a utilizao de plug-ins multicanal (e.g., Ableton Live,
cujos canais de endereamento esto limitados ao estreo);
! a experimentao de diferentes tcnicas de espacializao em simultneo um
processo complexo e sujeito a freqentes incompatibilidades;
! automaes criadas num sistema raramente podem ser aplicadas diretamente num
sistema diferente. Ou seja, muito difcil, ou mesmo impossvel, mudar a tcnica de
espacializao e ainda assim aproveitar a automao anteriormente criada;
! difcil, se no muitas vezes impossvel, aproveitar a mesma automao para fazer
misturas para diversas configuraes de caixas de som.
A opo por um sistema de espacializao especfico implica ainda, na maioria dos
casos, a submisso a um paradigma de interface e respectivo vocabulrio de interao
(PENHA, 2009) seja este uma GU (Graphical User nterface), no caso do software, seja um
controlador especfico, no caso do hardware , que at podero nem ser os interfaces mais
favorveis ao tipo de expresso musical pretendida. Mais difcil ainda a capacidade de
integrao, no mesmo sistema, de tcnicas de espacializao baseadas em parmetros e
modelos diferentes, assim como a sobreposio ou justaposio de diferentes paradigmas de
interface no mesmo projeto composicional.
162
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
3. SPATIUM
3.1 obectivos
Na seqncia de uma investigao que procurou integrar a codificao do parmetro
distncia num campo sonoro Ambisonics (PENHA, 2008), a nossa pesquisa se orienta na
direo do desenvolvimento de um sistema de espacializao modular que possa integrar em
simultneo vrias tcnicas e modos de interao, que intitulamos de Spatium. Pretende-se
assim permitir uma melhor adaptao s necessidades de tratamento do espao no processo
da composio e, posteriormente, da sua difuso sonora, oferecendo ainda uma soluo a
algumas das questes e problemas levantados anteriormente, tais como:
! facilitar a integrao do software de espacializao em diferentes DAW e o trabalho
simultneo em software diverso, com a espacializao como elemento aglutinador;
! melhor adaptao dos modelos de espacializao aos requisitos do espao fsico em
que ser feita a projeo sonora;
! utilizao do paradigma de interao mais adequado relao pretendida entre cada
gesto musical e a sua difuso no espao.
3.2 sistema modular
Tendo em conta os objetivos propostos, concebemos um sistema modular que permite a
integrao da espacializao em tempo real, de forma flexvel e adaptvel s necessidades de
cada obra ou compositor (ver Fig. 1). Este sistema se baseia em trs tipos principais de
mdulos:
! motores de espacializao recebem o udio e a informao espacial e a processam;
! interfaces de espacializao geram informao espacial com base em vrios
algoritmos e a enviam para processamento;
! plug-ins integram-se na DAW escolhida e guardam a informao espacial como
automao nas prprias faixas onde se encontra o udio, enviando-a depois para
processamento.
A informao de controlo enviada sobre OSC (Cnmat, 2012), o que permite uma
grande flexibilidade no direcionamento de mensagens. O udio pode ser enviado da DAW para
o motor de espacializao atravs de utilitrios como o Soundflower (Cycling '74, 2012:1) ou o
Jack (Davis, 2011), que permitem o endereamento de udio entre diferentes aplicaes.
ualquer um destes mdulos pode ser substitudo em qualquer altura sem alterar o
funcionamento dos restantes ou inutilizar o trabalho j realizado, permitindo assim a
experimentao de diferentes motores de espacializao ou a utilizao de um interface de
espacializao diferente para cada faixa de udio e em cada momento da obra.
163
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
Fig. 1- Arquitetura modular do Spatium e ligaes entre os trs tipos de mdulos:
interfaces de espacializao, plug-ins e motores de espacializao (da esquerda para a
direita, de cima para baixo).
3.3 motores de espacializao
Foram construdos dois motores de espacializao, programados em MaxMSP (Cycling
'74, 2012:2):
! um foi implementado em Ambisonics - o Spatium Ambisonics -, com a referida
codificao da distncia, num sistema misto de 3 ordem horizontal e 1 ordem vertical;
! outro baseado em VBAP (Vector Base Amplitude Panning) (PULKK, 1997) - o
Spatium VBAP.
ualquer um destes motores de espacializao recebe at 16 canais mono de udio e
respetiva informao espacial (ver Fig. 2), e permite a espacializao para diversas
configuraes de caixas de som. Torna-se assim possvel conceber a espacializao de uma
pea com, por exemplo, um sistema quadrifnico em estdio e posteriormente difundi-la num
sistema octofnico na sala de concertos. Torna-se tambm possvel a audio e gravao do
respectivo resultado em diversos formatos, incluindo a passagem para binaural atravs de
convoluo com HRR (Head Related mpulse Response) (Warusfel, 2003). O Spatium
Ambisonics inclui ainda um estdio de efeitos espaciais, incluindo reverberao, e permite a
gravao da pea num formato prprio que inclui os normais canais do Ambisonics com um
canal adicional para a informao de distncia , onde codificada toda a informao espacial
do udio, permitindo a posterior otimizao da difuso em diferentes locais com sistemas de
caixas de som diversos.
Fig. 2- Monitorizao das entradas de udio e informao espacial nos motores de
espacializao.
164
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
3.4 interfaces de controlo
Como forma de permitir ao utilizador um acesso e manipulao fcil deste sistema, foram
ainda desenvolvidos vrios interfaces grficos de espacializao em Processing (Fry; Reas,
2012):
! um interface de edio multicanal, que permite o desenho de percursos de deslocao
do som no espao atravs de seqncias de curvas de Bzier (ver Fig. 3). A
manipulao destas curvas atravs dos respectivos pontos de controlo um standard
da computao grfica, sendo assim bastante intuitiva para a maioria dos utilizadores.
Os pontos de contato entre estas curvas servem como pontos de sincronizao entre
diferentes faixas, e so definidos por marcadores temporais que podem ser
sincronizados com a DAW atravs do plug-in Spatium Master. As curvas podem ser
percorridas apenas uma vez ou em ciclo e podem ser copiadas, gravadas e editadas
para se adequarem a diferentes propores temporais;
! um interface em que a rotao circular em radianos executvel atravs de um
movimento linear, de forma a permitir um controlo fcil de executar fisicamente (com o
rato ou com um potencimetro linear);
! um interface baseado no modelo de um pndulo gravitacional simples, sendo possvel
manipular em tempo-real a acelerao da gravidade, comprimento do pndulo, energia
e atrito (ver Fig.4);
! um interface em que a localizao do som controlada por diversos elsticos com
localizao, fora e comprimento estacionrio regulveis;
! um interface que implementa diversos algoritmos que simulam o comportamento de um
bando de pssaros, seguindo um ponto principal controlado pelo rato do computador.
Este modelo particularmente eficaz quando aplicado sntese granular.
Estes interfaces podem enviar a informao espacial via OSC para o motor de
espacializao. Podem ainda enviar a informao via mensagens de controlo MD para que a
informao resultante possa ser gravada como automao, atravs do plug-in Spatium Track,
e posteriormente trabalhada na DAW.
Todos os interfaces existem em formato 2D (espacializao horizontal) e 3D
(espacializao perifnica). No primeiro caso, o espao de difuso representado por um
crculo (ver Fig. 3). Como no segundo caso a manipulao com recurso a interfaces
bidimensionais, como o rato e o monitor, mais complicada, foi criada uma biblioteca em
Processing que desenha ambientes tridimensionais em trs vistas ortogonais (ver Fig. 4). Esta
representa ainda o espao de difuso atravs de uma perspetiva com um ponto de fuga, para
mais fcil visualizao do resultado tridimensional.
A distribuio destes interfaces ser feita em open source e podero mesmo ser
editados num DE (ntegrated Development Environment) tambm ele gratuito e open source.
Sero ainda includos na distribuio exemplos simples e documentados para que seja fcil a
concepo de novos interfaces personalizados, maximizando assim as potencialidades
abertas pela arquitetura modular do sistema.
165
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
Fig. 3- Interface bidimensional com curvas de Bzier, para controlo da espacializao de
vrios canais em simultneo, representados por cores diferentes.
Fig. 4- Interface tridimensional para controlo da espacializao atravs de um modelo
fsico de um pndulo gravitacional simples.
166
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
3.5 outros interfaces de controlo
Dado que as comunicaes entre os interfaces e o motor de espacializao so feitas
via OSC, ainda fcil a integrao de diversos tipos de interfaces externos:
! controladores fsicos, atravs da integrao Midi da DAW utilizada ou utilizando
ferramentas como o OSCulator (Wildora, 2012);
! aplicaes de controlo para dispositivos com superfcies tcteis como o Control
(Roberts, 2009);
! software como o anniX (annix, 2012), um sequenciador grfico de OSC que permite a
criao de linhas e eventos atravs do desenho de formas ou da programao em
JavaScript.
3.6 plug-ins
Como o sistema resultante desta pesquisa se procura integrar nas DAW sem
comprometer o seu modo de utilizao normal, foi criado um plug-in o Spatium Track (ver
Fig. 5) que no manipula o udio, apenas guarda e envia a sua localizao no espao. Este
plug-in poder receber informao a partir das interfaces anteriormente descritas, atravs da
configurao de automao Midi prpria de cada DAW (ver Fig. 1), guardando-a como
automao nas prprias faixas onde se encontra o udio ao qual ser aplicada a definio
espacial. Esta informao pode ento ser enviada, via OSC, atravs de um de 16 canais
selecionveis, para o motor de espacializao, que a recebe em conjunto com os respectivos
canais de udio.
Foi ainda criado outro plug-in o Spatium Master (ver Fig. 5) que envia, igualmente via
OSC, a localizao da barra de transporte da DAW com resoluo varivel, suprindo assim
eventuais necessidades de sincronismo de eventos externos com o udio da DAW.
Fig. 5- Plug-in Spatium Track e Spatium Master. O primeiro permite a gravao como
automao e posterior difuso da informao espacial relativa a cada faixa; o segundo
permite o envio da localizao da barra de transporte da DAW.
167
IV Seminrio Msica Cincia TecnoIogia: Fronteiras e Rupturas
4. CONCLUSO
A arquitetura modular do software criado permite a utilizao simultnea de interfaces ou
controladores diferentes para cada faixa udio (ou mesmo para diferentes sees dentro da
mesma faixa) e a implementao de diferentes tcnicas de espacializao a partir da
informao guardada. Os mdulos de interface geram a informao espacial, esta pode ser
gravada juntamente com o udio na DAW e utilizada pelo motor de espacializao. ualquer
um destes mdulos pode ser substitudo por um mais adequado necessidade momentnea
do compositor sem que isso afete a prestao dos restantes. A criao de novos interfaces no
implica assim a criao de um novo motor de espacializao. Assim, qualquer obra criada com
este sistema pode ser facilmente utilizada com um motor de espacializao compatvel que
esteja, por exemplo, otimizado para um espao de difuso especfico.
REFERNCIAS
Ableton. AbIeton Live . 2012. Disponvel em: http:www.ableton.comlive-8. Acessado em: 02062012.
Apple. AppIe Logic Pro 9 Everything you need to make great music. 2012. Disponvel em:
http:www.apple.comlogicpro. Acessado em: 02062012.
Cnmat. Introduction to OSC opensoundcontroI.org. 2012. Disponvel em: http:opensoundcontrol.org
introduction-osc. Acessado em: 02062012.
Cycling '74. Max CycIing 4. 2012. Disponvel em http:cycling74.comproductsmax. Acessado em: 02062012.
Cycling '74. SoundfIower CycIing 4. 2012. Disponvel em http:cycling74.com productssoundflower. Acessado
em: 02062012.
Davis, P. JAC connecting a worId of audio. 2011. Disponvel em http:jackaudio.org. Acessado em:
02062012.
Fry, B.; Reas, C. Overview Processing.org. 2012. Disponvel em: http:processing.orgabout. Acessado em:
02062012.
HOLLERWEGER, F. Periphonic Sound SpatiaIiation in MuIti -User VirtuaI Environments. Master Thesis.
nstitute of Electronic Music and Acoustics (EM); Graz University of Music and Dramatic Arts; Center for
Research in Electronic Art Technology (CREATE), University of California Santa Barbara, 2006.
annix. IanniX A graphicaI reaI-time open-source sequencer for digitaI art. 2012. Disponvel em:
http:iannix.orgenindex.php. Acessado em: 02062012.
MALHAM, D. "Homogeneous and nonhomogeneous surround sound systems, AES U Second Century of Audio
Conference, London: 1999.
PENHA, R. "Distance encoding in Ambisonics using three angular coordinates, Sound and Music Computing
Conference, Berlin: 2008.
PENHA, R. "Towards a free, open source and cross-platform software suite for approaching music and sound
design. n: MNDEZ VLAS, A.; SOLANO MARTN, A.; MESA GONZLEZ, J.; MESA GONZLES, J. A.
Research, RefIections and Innovations in Integrating ICT in Education. Badajoz: Formatex, 2009.
PULKK, V . "Virtual Sound Source Positioning Using Vector Base Amplitude Panning, JournaI of the Audio
Engineering Society, 45:6, 1997.
Roberts, C. ControI Introduction. 2009. Disponvel em: http:charlie-roberts.com Control?pageid19.
Acessado em: 02062012.
SCHACHER, J. C. "Seven years of CST Ambisonics tools for MaxMSP a brief report, 2nd InternationaI
Symposium on Ambisonics and SphericaI Acoustics. Paris: 2010.
Warusfel, O. Listen HRTF Database. 2003. Disponvel em: http:recherche.ircam.frequipes
salleslistenindex.html. Acessado em: 02062012.
WiIdora. Home OSCuIator. 2012. Disponvel em: http:www.osculator.net. Acessado em: 02062012.
168