Comunicao - MSICA E INTERFACES

Menu

UTILIZANDO CONTROLES DE VIDEOGAME

PARA MANIPULAR PARMETROS DE SNTESE E
PROCESSAMENTO SONORO EM TEMPO-REAL
Danilo Aguiar (PIBIC/CNPq/UFU)
daniloaguiarmusic@gmail.com
Resumo: O artigo apresenta uma reflexo sobre estratgias para manipular parmetros de sntese e processamento sonoro
em tempo-real utilizando controles de videogame, como o wiimote (da Nintendo). So apresentados trabalhos realizados por
outros pesquisadores (com um foco nas pesquisas brasileiras) como embasamento terico da pesquisa de Iniciao Cientfica
em andamento. So tambm apresentados alguns resultados iniciais obtidos na parte experimental da pesquisa at o momento
e os prximos passos a serem percorridos.
Palavras-chave: wiimote, videogame, interface de controle gestual, sntese e processamento sonoro, mapeamento de
parmetros.
Using videogame controllers for manipulating synthesis and sound processing parameters in real-time
Abstract: The article presents some strategies for handling sound processing and synthesis parameters in real-time using
videogame controllers such as the wiimote (by Nintendo). We present some work done by other researchers (with a focus on
researches carried out in Brazil) as the theoretical framework of a Scientific Initiation research in progress. We also present
some initial results obtained in the experimental part of this research and the next steps to be pursued.
Keywords: wiimote, interactivity, gestural control interface, sound processing and synthesis, mapping sonic parameters.

1. Introduo
O desenvolvimento tecnolgico ocorre em diversas esferas da atividade humana. Na msica no tem
sido diferente. Desde a inveno do fongrafo, em 1877, houve uma grande renovao nos processos de criaes
musicais. Nesse momento, a escuta passou a ser o centro dessa nova forma do fazer musical. O desenvolvimento
das tecnologias eletroeletrnicas gerou um novo ciclo de transformaes na segunda metade do sculo XX,
permitindo a criao de msicas acusmticas. A influncia da criao musical passa pelo domnio que os novos
meios lhe favorecem. Assim, ocorre a instrumentalizao da escuta e da criao musical, que passam a ser
mediadas por um grande desenvolvimento de aparatos eletrnicos (IAZZETTA, 2009).
Exemplo de alguns desses aparatos so os videogames, que tm, assim como a msica, um
percurso histrico interessante. Em 1949, criado no Reino Unido o primeiro computador capaz de guardar
informaes e programas, o EDSAC (Electronic Delay Storage Automatic Computer). Videogames so
criados, como o OXO, um jogo da velha eletrnica desenvolvido por Alexander S. Douglas para o EDSAC, em
1952. Em 1958, surge o jogo para computador Tennis for Two, exibido na tela de um osciloscpio. Em 1961,
Spacewar! Em 1973, Pong, para o Atari, que foi a empresa que se destacou nos anos 70 ao produzir dezenas
de jogos. Na dcada 1980, outra grande empresa de videogames se sobressai, a Nintendo, que desenvolve
jogos at hoje, dividindo o mercado com outras grandes empresas como a Sony (com o console Playstation), e
a Microsoft (com o console Xbox).
H algum tempo pesquisadores vem desfrutando de novos elementos tecnolgicos desenvolvidos
para o mercado de videogames a fim de desenvolverem possibilidades interativas num contexto musical. O
rpido avano da tecnologia abriu o horizonte para a pesquisa de novas possibilidades para trabalhos interativos
envolvendo sons eletroacsticos. Um exemplo o controlador wiimote, da Nintendo, que capta movimentos em
Anais do XXI Congresso da ANPPOM 2011

715

Comunicao - MSICA E INTERFACES

Menu

trs eixos atravs de um acelermetro embutido e de uma cmera infravermelha (que identifica a posio do
controle em relao a uma barra de leds infravermelhos - a sensor bar). Alm disso, o controle possui vrios botes
e pode ser acoplado a uma extenso (o nunchuk), que tambm possui botes, um acelermetro e um joystick.
A possibilidade de comunicar o controle com o computador por conexo Bluetooth permite que o acionamento
dos botes, os movimentos captados pelo acelermetro e os dados captados pela cmera infravermelha sejam
mapeados para controlar parmetros de sntese e/ou processamento sonoros em tempo-real. Criam-se, assim,
sistemas interativos, tendo o desafio de reconciliar estes sistemas entre corpo, msica e imaterialidade das
estruturas do som com novas tecnologias musicais que nos so oferecidas (IAZZETTA, 1997).
Com base nessas possibilidades, e a fim de identificar as pesquisas musicais que tm sido feitas
no Brasil utilizando o wiimote e outras interfaces de jogos em criaes musicais, foi feito um levantamento
de trabalhos acadmicos sobre o assunto. Foram encontrados os seguintes artigos (publicados em Anais da
ANPPOM): Msica Eletroacstica Experimental: Criao de uma interface musical interativa, por Abel
Roland, Daniel Figueiredo Moreira e Eloi F. Fritsch; Modelos de Sntese Expandidos por Interfaces de Jogos,
por Jos (Tuti) Fornari e Jnatas Manzolli; e M.M.S Um instrumento musical digital para performance ao
vivo e gerao de material sonoro eletroacstico, por Eduardo Lus Brito Patrcio. A seguir, so apresentados
tambm experimentos iniciais e prximos passos da pesquisa de Iniciao Cientfica em curso.

2. Wiimote como controlador de Sntese Granular

Roland, Moreira e Fritsch (2009) tiveram como objetivo desenvolver um sistema interativo que
permitisse a sntese de sons atravs de um sistema musical interativo integrando quatro partes: fonte sonora,
software, interface controladora e resultado sonoro. O foco principal do trabalho foi o desenvolvimento de um
sistema que utiliza instrumentos musicais ao vivo ou arquivos de udio pr-gravados como fonte sonora, o
software DFM Granuloma (desenvolvido no ambiente de programao Max/MSP) para realizar sntese granular
e o wiimote como controlador dos processos de sntese para a obteno dos resultados sonoros. Uma das ideias
norteadoras do trabalho dos autores foi conceber um sistema que pudesse ser utilizado por qualquer msico
com pouco conhecimento na rea de programao sonora, mas com conhecimento em msica eletroacstica.
A configurao do sistema criado pelos pesquisadores a seguinte: atravs de um microfone, o sinal de udio
enviado para o software DFM Granuloma, onde transformado digitalmente de acordo com os parmetros
de sntese escolhidos. O controlador wiimote responsvel por alterar os parmetros em tempo-real atravs do
acionamento dos botes. Por ltimo, o resultado sonoro transformado digitalmente reproduzido por alto-falantes.
A tcnica de sntese granular consiste em fragmentar o som em pequenas partculas, idia sugerida
inicialmente pelo fsico Dennis Gabor em 1947. Outra grande personalidade na msica que abordou essa
tcnica foi Iannis Xenakis, que escreveu sobre os seus fundamentos. Os eventos sonoros so constitudos por
milhares de partculas denominadas gros, que poderiam ter duraes entre 1 e 100 milissegundos, podendo
conter caractersticas exclusivas a cada um deles. Se a durao do gro ampliada, os eventos passam a ser
compreendidos individualmente (FRITSCH, 2008: 189).
O desenvolvimento de aplicativos de sntese granular geralmente passa pela possibilidade de
regular os seguintes parmetros: amplitude (intensidade), freqncia (afinao), densidade (quantidade de
gros por segundo), durao do gro, tempo de ataque e decaimento, e espectro harmnico (timbre)1.
Anais do XXI Congresso da ANPPOM 2011

716

Comunicao - MSICA E INTERFACES

Menu

Um experimento anterior com o wiimote, realizado por Roland, Moreira e Fritsch (2009) teve
como modelo de performance o Diretor de Orquestra (descrito por Winkler, 1998), onde a pessoa controla
o sistema de forma semelhante ao de um regente de orquestra, que possui uma ampla gama de movimentos e
possibilidades de controle gestuais. Foram criados algoritmos dos dados captados pelo acelermetro embutido
no wiimote, resultando em materiais musicais que respondiam aos movimentos tridimensionais do controle.

3. Wiimote como controlador de sntese por modelagem fsica

O desenvolvimento de novos instrumentos musicais digitais e de novas interfaces gestuais para
aplicaes musicais tem recebido ateno em instituies no Brasil e no exterior - sendo o Ncleo Interdisciplinar
de Comunicao Sonora (NICS-Unicamp) uma referncia no mbito nacional. Os pesquisadores do NICS
Fornari e Manzolli (2010) atentaram para a importncia de desenvolver mtodos de controle dos parmetros de
sntese sonora de forma intuitiva e prtica, criando uma relao com a capacidade cerebral de resolver tarefas
de complexidade dinmica, como por exemplo, os movimentos corporais para controlar modelos de sntese
sonora programados no computador. Ou seja, um dos objetivos foi controlar processos de sntese sonora
complexos de forma evidente e dinmica.
Neste caso, foi realizado um interessante mtodo de sntese sonora, a modelagem fsica, desenvolvida
no ambiente de programao Pure Data (Pd). Um mtodo no qual a forma de onda sonora gerada atravs de
clculos algoritmos que simulam uma fonte fsica, normalmente o som de um instrumento musical.
De acordo com Fornari e Manzolli (2010), foram utilizados os seguintes trs elementos nesse
processo de sntese: a fonte de excitao, o guia de onda, e o ressonador. O primeiro o que fornece energia
ao sistema, como seria o arco de um violino ou a ao do toque do violonista no mbito instrumental. O guia
de onda estabelece as partes oscilantes principais do instrumento, como as cordas de um piano, a pele de um
bumbo, as cordas de um violino etc. Quando o sistema oscila periodicamente, produz uma onda complexa,
formada por muitas frequncias, chamadas de parciais, e que compem o espectro sonoro. O ressonador
seria a parte que recebe a energia gerada pelo guia de onda, gerando o som do instrumento uma caixa de
ressonncia, como o corpo de um violo, por exemplo. O ressonador ir oscilar de maneira prpria recebendo
a energia produzida pelo guia de onda em tempo-real, alterando suas caractersticas e alterando o timbre final.

4. Estratgia de mapeamento de controladores tipo manche

O controle tipo manche no muito diferente em certos aspectos do wiimote, pois permite
controlar movimentos nos eixos x, y e z, alm de possuir vrios botes. No wiimote, no entanto, os trs eixos
correspondem s trs coordenadas espaciais captados pelo acelermetro. No controle tipo manche, por outro
lado, os dois eixos simultneos (x e y) [so] controlados pela mo direita atravs do manche, [enquanto que]
um eixo (z) em forma de slide na parte posterior do controle [] manipulado pela mo esquerda (Patrcio,
2010: 1358). Patrcio (2010) descreve um interessante desenvolvimento de uma interface chamada M.M.S.
(Manche manipulador de samples), que apresenta como uma ferramenta de interao musical em tempo-real
capaz de manipular udio atravs de movimentos com um controlador tipo manche.
Anais do XXI Congresso da ANPPOM 2011

717

Comunicao - MSICA E INTERFACES

Menu

A interface desenvolvida no ambiente de programao Pure Data (Pd), que funciona da seguinte
maneira: so carregadas nove diferentes amostras de udio (samples), de tal forma que cinco dessas nove
amostras possam ser manipuladas atravs dos eixos x, y e z, e as quatro restantes possam somente ser tocadas
diretamente sem transformaes ou qualquer tipo de processamento, casualmente em loop. Pensando em algo
mais simples e de fcil manejo, Patrcio optou somente pelos processamentos sonoros de time stretching e
pitch shifting, pois, aplicados ao acesso seqencial e/ou randmico, comportam-se de uma forma que abrange
possibilidades de variaes temporais, tmbricas e de extenso de altura.
O eixo x foi mapeado para o controle de panormico, o eixo y ficou relacionado com os
pontos de leitura das amostras de udio, de modo que, ao mover o manche para frente, o arquivo iniciado at
chegar ao seu fim. Ou seja, possvel executar as amostras sonoras em qualquer velocidade, do comeo ao fim,
de modo retrgado, a partir de qualquer ponto do udio. As mudanas de altura ficaram designadas ao eixo
z. Os botes 1, 2, 3, 4 e 5 carregam as cinco amostras que podem sofrer processamento atravs dos eixos e
tocadas individualmente ou simultaneamente. As quatro amostras restantes que no sofrem transformaes a
partir dos eixos podem ser acionadas a partir de outros botes superiores.
Independentemente do tipo de dispositivo tecnolgico que proporcione interao musical,
interessante ressaltar que o mapeamento dos parmetros muito importante, merece ateno, uma vez que
afeta de maneira dramtica o funcionamento dos instrumentos eletrnicos (HUNT, 2000).

6. Wiimote como um Theremin virtual

Como experimento inicial da pesquisa em curso foi confeccionado um Theremin virtual utilizando
LEDs infravermelhos, o wiimote e um patch programado no software Pure Data (Pd). A cmera infravermelha
do wiimote foi utilizada para identificar LEDs infravermelhos cujas posies projetadas no plano cartesiano
foram mapeadas para controlar a freqncia e a amplitude dos sons produzidos pelo instrumento virtual.
No experimento, a elaborao do Theremin virtual exigiu a confeco de um dispositivo de fcil
manejo para acoplar os LEDs. Sendo assim, foi desenvolvida uma espcie de caneta infravermelha (Caneta
IR). Esta caneta utilizada pelo pesquisador e engenheiro da computao Johnny Chung Lee (ver http://
johnnylee.net/) possibilita que o Wiimote (conectado com o computador via Bluetooth) capte os movimentos
atravs de sua cmera infravermelha, passando os dados por programas que traduzem esses movimentos na
linguagem do computador, ora o Glove Pie, Osculator, ora o Pure Data, ou outros programas. Isso permite
a sntese e/ou a transformao dos sons atravs dos movimentos, garantindo uma forma de interao entre
homem e mquina.
A contribuio dos experimentos sobre instrumentos virtuais de Fornari e Manzolli (2010), as
estratgias de mapeamento em controladores tipo manche de Patrcio (2010) e o desenvolvimento de sistemas
interativos de Roland, Moreira e Fritsch (2009) iro conduzir os prximos passos da pesquisa, que sero dar
continuidade criao e programao de patches, tentando relacionar todas essas referncias de forma
a conseguir desenvolver estratgias de controle gestual no controlador wiimote a fim de manipular sons
eletroacsticos em tempo-real.

Anais do XXI Congresso da ANPPOM 2011

718

Comunicao - MSICA E INTERFACES

Menu

7. Concluso
Tendo em vista os argumentos apresentados, percebemos que todas as pesquisas comentadas
se relacionam de alguma forma, pois empregaram dispositivos tecnolgicos anlogos, como o controle tipo
manche e o controlador wiimote. Alm disso, utilizaram ambientes de programao sonora semelhantes,
criando sistemas interativos e mapeamentos para facilitar a interao musical. Todos os trabalhos
buscaram um caminho de implementar o controle sonoro de uma forma simples, em que qualquer msico
tendo conhecimento ou no de programao sonora consiga executar a interao homem-mquina.
Creio assim, que o avano tecnolgico e o surgimento destes novos elementos eletrnicos iro servir
de grande contedo nas pesquisas envolvendo msica e interatividade, contribuindo ainda mais para a
criao musical.

Notas
1 Para uma abordagem sobre criaes musicais utilizando sntese granular, ver Barreiro e Keller (2010).

Referncias
BARREIRO, Daniel L. e KELLER, Damin. Composio com modelos sonoros: fundamentos e aplicaes
eletroacsticas. In: KELLER, Damin e BUDASZ, Rogrio. Criao Musical e Tecnologias: Teoria e Prtica
Interdisciplinar, ANPPOM, Brasil, 2010, p.97-126. Disponvel em <http://anppom.com.br/editora/Pesquisa_
em_Musica-02.pdf>. Acesso em Maio de 2011.
FORNARI, Jos e MANZOLLI, Jnatas. Modelos de Sntese Expandidos por Interfaces de Jogos. In: XX
CONGRESSO DA ANPPOM, 2010, Florianpolis. Anais do XX Congresso da Associao Nacional de
Pesquisa e Ps-Graduao em Msica (ANPPOM), Goinia: ANPPOM, 2010, p.790-796.
FRITSCH, Eloy F. Msica eletrnica: uma introduo ilustrada. Porto Alegre: Editora da UFRGS, 2008.
HUNT, A; WANDERLEY, M. M.; KIRK, R. Towards a Model for Instrumental mapping in Expert Musical
Interaction. In: INTERNATIONAL COMPUTER MUSIC CONFERENCE, 2000, Berlim. Proceedings of the
International Computer Music Conference 2000, San Fransisco: International Computer Music Association,
2000. Disponvel em: http://recherche.ircam.fr/equipes/analyse-synthese/wanderle/Gestes/Externe/Hunt_
Towards.pdf [Acesso em 01/04/2011].
IAZZETTA, Fernando. Msica e Mediao Tecnolgica. So Paulo: Perspectiva, 2009.
IAZZETTA, Fernando. A Msica, o Corpo e as Mquinas. Revista Opus: Revista da Associao Nacional
de Pesquisa e Ps-Graduao em Msica - ANPPOM, Goinia, vol.4, p.27-44. Disponvel em: http://www.
eca.usp.br/prof/iazzetta/papers/opus.pdf [Acessado em 03/04/2011].
PATRCIO, Eduardo L. Brito. M.M.S Um instrumento musical digital para performance ao vivo e gerao
de material sonoro eletroacstico In: XX CONGRESSO DA ANPPOM, 2010, Florianpolis. Anais do XX
Congresso da Associao Nacional de Pesquisa e Ps-Graduao em Msica (ANPPOM), Goinia: ANPPOM,
2010, p.1357-1363.
Anais do XXI Congresso da ANPPOM 2011

719