Espaos entre o sonoro: uma abordagem sobre as instalao artsticas e as noes de interatividade e desmaterializao

Alessandra Lucia Bochio (ECA-USP, bolsista CAPES) Felipe Merker Castellani (IA-UNICAMP, bolsista FAPESP) Fernando Falci de Souza (NICS-UNICAMP, bolsista FAPESP

Resumo: O presente trabalho consiste em uma reflexo sobre a instalao interativa Espaos entre o sonoro. Para tanto, abordaremos tanto os processos artsticos envolvidos em sua criao, quanto os conceitos e noes presentes nesta, aliando, desta forma, prtica artstica e investigao terica.

Abstract: This work is a reflection about the interactive installation Espaos entre o sonoro. To realize this reflection, we will discuss both the artistic processes involved in its creation, and the concepts and notions presents in this, combining by this way, artistic practice and theoretical research.

1. Introduo Espaos entre o sonoro se insere em um gnero artstico que convencionou-se chamar de arte sonora [sound art]. A arte sonora nasce no cruzamento entre as artes visuais e a msica atravs de produes artsticas caractersticas das dcadas de 1960 e 1970, como a instalao, o happening e a prpria msica eletroacstica. Segundo Campesato e Iazzetta, a arte sonora entendida como a reunio de gneros artsticos que esto na fronteira entre msica e outras artes, nos quais o som material de referncia dentro de um conceito expandido de composio, gerando um processo de hibridizao entre o som, imagem, espao e tempo (CAMPESATO e IAZZETTA, 2006, p. 2). Contudo, abordaremos alguns conceitos e noes que esto presentes no apenas em trabalhos de arte sonora, mas tambm em trabalhos de arte mdia em geral; so eles: o conceito de interatividade, a noo de instalao artstica e o conceito de desmaterializao; este ltimo tratado conjuntamente com espao arquitetnico das instalaes e com as aes do pblico. Pretendemos trat-los visando apontar a sua forma de explorao na criao de Espaos entre o sonoro,

trabalhando concomitantemente as questes que sugiram da prtica artstica e aquelas que decorreram da investigao terica. Espaos entre o sonoro uma instalao interativa que visa intensificar a imaterialidade do suporte digital e da msica, criando um espao materialmente vazio, no qual os movimentos do pblico criam sons.

2. Sobre o conceito de interatividade A interatividade a relao recproca entre usurios e interfaces computacionais inteligentes1 (PLAZA, 2000, p. 5) entende-se por interfaces: dispositivos tanto de entrado quanto de sada que funcionam como pontes entre as aes humanas e os cdigos do computador (sua base numrica). , portanto, uma comunicao baseada na traduo de um cdigo a outro, estabelecendo, assim, um cdigo comum entre homem e mquina. A este respeito, Julio Plaza refere-se a uma comunicao fundada nos princpios da sinergia (PLAZA, 2000, p. 17), entendida como a ao coordenada de vrios rgos, no caso, o homem e mquina (PLAZA, 2000, p. 22). Isto quer dizer que o computador trata as informaes expressas apenas na sua linguagem e, desta forma, cada ao do usurio deve ser convertida em um cdigo apropriado. Em contrapartida, o usurio tambm no poderia compreender a linguagem do computador, necessita que os cdigos sejam traduzidos em formas compreensveis, como em imagens, textos, sons, etc. Couchot (2003) afirma que a interao homem/mquina ocorre unicamente no momento em que o homem se desdobra em informao, ou seja, a ao do usurio, ao passar pela interface, transformada ela mesma em uma rplica numrica o toque em uma letra do teclado, por exemplo, traduzido em dados numricos. O autor acredita que as tecnologias digitais introduzem uma nova ordem visual e perceptiva decorrentes dos processos de traduo de um cdigo a outro. Se para que se estabelea a interao necessrio que ocorra uma sinergia entre homem e mquina, a ao do usurio deve tambm ser simulada ao computador: ela se torna uma expresso numrica e este
1 Compreendemos o adjetivo inteligente conforme Plaza, de tal maneira que o espectador possa agir sobre o fluxo, modificar a estrutura, interagir com o ambiente, percorrer a rede, participando, assim, dos atos de transformao e criao (PLAZA, 2000, p. 7).

corpo numerizado (simulado ao computador) a superfcie de contato e de encontro do homem e da mquina; a interatividade a interposio dos processos computacionais no dilogo homem/mquina. Voltando-se ao conceito de atrelagem interindividual de Gilbert Simondon, Couchot refere-se ainda interatividade como um atrelamento do homem mquina. A atrelagem decorrente das funes autorreguladoras, que quando iguais so realizadas melhor e mais cuidadosamente pela dupla homem e mquina, do que pelo homem ou pela mquina unicamente possvel apenas quando h a descoberta de uma codificao comum a ambos. Tal reflexo aponta para as transformaes na vida contempornea decorrentes das prticas tecnolgicas. O atrelamento mquina ocorre, pois h certas funes que podem ser realizadas mais facilmente com a mquina, ou ainda, podem criar outras funes que no poderiam ser realizadas de outra maneira. importante ressaltar que a interatividade no apenas uma comodidade tcnica ou funcional; ela implica em uma prtica de mudana, pois reflete-se nos processos de percepo, amplificando os sentidos humanos e a capacidade de processar diversas informaes simultaneamente. Nesta perspectiva, a interatividade rompe com o funcionamento da comunicao na qual h uma mensagem transmitida por um emissor a um receptor, pois a mensagem existe e se manifesta apenas no momento em que se estabelece a troca e atravs das interfaces. O emissor no mais o nico a enunciar o sentido, uma vez que a mensagem no preexiste a troca, pois ela originaria de uma ao coordenada entre ambos. Nas palavras de Couchot:
Ento no h mais comunicao, no sentido estrito, entre um enunciador e seu destinatrio, mas comutao mais ou menos instantnea entre um receptor tornando emissor, um emissor tornando (eventualmente) receptor e um propsito flutuante, que por sua vez emite e recebe, se aumenta ou se reduz. O sentido no se engendra mais por enunciao, transmisso e recepo, alternadamente, mais uma hibridizao entre autor, o propsito veiculado pela mquina (ou a rede) e o destinatrio (COUCHOT, 2003, p. 187).

Sob tais aspectos, compreendemos que a comutao entre emissor e receptor implica em um trabalho cooperativo, no qual rompe com um centro emissor detentor de um enunciado.

3. Sobre as instalaes interativas A instalao surge como uma modalidade artstica com a caracterstica de explorar o espao tridimensional. O artista realiza seu trabalho no prprio espao, juntamente com outros possveis elementos presentes neste. Tal espao incorporado ao conceito do trabalho e oferecido ao pblico para vivenci-lo e descobri-lo em seus deslocamentos. A instalao solicita a presena do pblico de maneira diversa da chamada pintura retiniana, pois sua ateno no se fixa em um objeto nico, mas sobretudo em um conjunto de elementos que so incorporados ao ambiente da instalao, firmandose como materiais e contedos da mesma. Esta modalidade artstica se insere na arte de participao, j que sua fruio depende de deslocamentos corporais e situaes a serem vividas naquele tempo e espao por processos de incluso e/ou de interao. As descobertas do espao proposto pela instalao desencadeiam-se atravs de um sistema relacional, que opera atravs da conexo das vrias partes que compem a instalao. No campo da arte e tecnologia, o conceito de instalao ampliado para um ambiente no qual so criadas situaes com dispositivos tecnolgicos (imagens ampliadas, telas mltiplas, cmeras, microfones, interfaces computacionais, entre outros). Estes, por sua vez, configuram e transformam o espao arquitetnico conjuntamente, ou no com outros elementos. Tais ambientes oferecem ao pblico situaes que se desenvolvem atravs das relaes estabelecidas entre e com tais dispositivos, elementos e o prprio espao. O termo interativa qualifica a instalao como sendo do tipo que possibilita um dilogo entre pblico e mquina. As interfaces computacionais funcionam como pontes entre as aes humanas e os cdigos do computador. Segundo Tavares:
O adjetivo 'interativa' delimita o objeto em questo ao qualificar uma possibilidade de ao recproca em modo dialgico entre obra e receptor(es), e/ou estabelecidas em tempo real, por sua vez caracterizando um processo de ir e vir, circunscrito obra, ao contexto a ela inerente, ao receptor e interface tecnolgica utilizada (TAVARES, 2001, p. 14-15).

a incorporao de interfaces no espao da instalao que permite um dilogo com a obra.

O pblico executa uma ao de acordo com um evento que acontece no ambiente, e uma interface capta essa ao e a envia a um programa que retorna outra informao para o espao, construindo assim um sistema e um dilogo do pblico com a obra. Nas instalaes interativas h a predominncia da ocorrncia de um evento que se apresenta em constante transformao de acordo com os movimentos e aes do pblico. O desenvolvimento digital de algoritmos complexos, de cmeras e de sensores, possibilitaram a construo de imagens, sons, etc. no prprio processo de interao com o pblico. Nas instalaes interativas, o pblico pode movimentar-se e interagir com elementos virtuais que se atualizam no prprio espao da instalao em consequncia das informaes que o computador recebe por parte do prprio pblico, pois a concretizao, por exemplo, da imagem digital pode agora se valer do processo de simulao dos objetos do mundo fsico, sobrepondo de modo efmero objetos virtuais aos ambientes das instalaes. Tais fatos acarretaram mudanas na relao espao/objetos/pblico devido as possibilidades que as sensibilidades das novas tecnologias trazem. Os dispositivos digitais propiciam aos artistas trabalharem apenas com imagens e/ou sons e prescindirem da materialidade dos objetos tridimensionais. As transformaes nas imagens e/ou sons acontecem continuamente, ponto a ponto, de acordo com as transformaes que o programa recebe via alguma interface que capta as atuaes do pblico. Nesse sentido, o espao que pode estar vazio pelo desaparecimento dos elementos tridimensionais, se transforma em um espao todo sensvel, onde cada ponto no eixo x, y, z pode assumir uma sensibilidade diferenciada ou uma relao especfica com o que acontece no espao. Esse espao sem a presena de objetos tridimensionais ganha novas qualidades, tornando-se cheio de sensibilidade, e apresentando-se como um novo espao.

4. Sobre o conceito de desmaterializao De acordo com Claudia Giannetti (2006), desmaterializao a independncia da existncia fsica/material do objeto (GIANNETTI, 2006, p. 89). As experincias proporcionadas

pelas tecnologias digitais tm ampliado e flexibilizado as noes de realidade e materialidade. Atravs dos modelos e simulaes computacionais mundos artificias so multiplicados, criando diversas possibilidades a serem experienciadas sem mobilizar um nico objeto real. Conforme a autora, a arte mdia j acolhe experincias de uma esttica de procedimentos desde 1945, assim como uma tendncia desmaterializao do objeto artstico e outras estratgias de imaterialidade, que alm de dominarem a arte e a teoria nos anos 1960 e 70, cedem lugar as ocorrncias e a participao do pblico em detrimento do objeto de arte que perdura no tempo. O que nos interessa neste contexto so as mudanas na relao entre espao/objeto/pblico nas instalaes que as possibilidades dos processos de desmaterializao trouxeram atravs das especificidades do suporte digital; desta forma, o espao torna-se nas instalaes interativas, um vazio-cheio cheio de ar, cheio de tomos, cheio de energia e sensvel ao ser humano, que aos poucos vai se conscientizando e trabalhando com essa densidade, como j o esto fazendo os artistas no espao das instalaes na era digital (SOGABE, 2007).

5. Sobre Espaos entre o sonoro. No caso de Espaos entre o sonoro, o som o que torna o espao fsico sensvel; isto ocorre atravs da criao de um ambiente no qual as aes do pblico so capturadas por dispositivos tecnolgicos, neste caso, cmeras de vdeo e sensores de distncia. Tais dispositivos possibilitam tanto o controle em tempo real dos parmetros referentes sntese sonora, quanto a combinao dinmica dos objetos sonoros que compe a obra. Optamos por utilizar apenas sensores com os quais no realizado um contato fsico especfico, pois desta forma criamos um espao de interao aparentemente vazio, que ganha novas qualidades, apresentando-se como um novo espao. Nesse espao, o pblico molda os sons, interage e recombina as estruturas musicais que configuram a instalao, tornando tanto o material sonoro quanto o espao da obra sensveis as suas aes. Atravs de seus deslocamentos pelo espao e de seu relacionamento com os dispositivos tecnolgicos, o pblico se torna criador e recriador da

instalao, manipulando, combinando e recombinando seus componentes sonoros. Para construo da instalao utilizamos dois dispositivos para o mapeamento das aes do pblico: uma cmera de vdeo e um sensor ultra-snico de distncia. Na Fig. 1, representamos a rea capturada pela cmera, atravs do tringulo tracejado e rea do sensor atravs da linha horizontal tracejada.

Fig. 1- Representao do espao da instalao Espaos entre o sonoro.

Na bibliografia existente encontramos diversos exemplos de sistemas interativos que se utilizam dos mesmos conjuntos ou tipos de dispositivos tecnolgicos para mapear as aes do pblico, e/ou de performers, e gerar sons. Por exemplo, no sistema V-scope, desenvolvido pela Lipman Ltda, so utilizados at oito transmissores ultra-snicos (ou infravermelhos) dispostos no corpo humano ou em objetos em movimento, os sinais emitidos por estes so capturados por trs receptores (Cf. Camurri, 1995) e processados por um mdulo baseado em redes neurais. Cmeras de vdeos so utilizadas nos sistemas EyesCon, desenvolvido pelo grupo Palindrome; EyesWeb desenvolvido pelo Dipartimento di informatica, sistemistica e telematica, da Universidade de Gnova; Jitter, desenvolvido pela Cycling '74, entre outros (Cf. MIRANDA; WANDERLEY, 2006). O mesmo pode ser dito, com relao s instalaes interativas que se utilizam destes mesmos recursos, como Very nervous system criada por David Rokeby, ou Gestation e Map 1 e Map 2 de Garth Paine, sendo a primeira nossa principal referncia artstica. Em Very nervous system, visando a criao de um espao no qual os movimentos do pblico produzem sons, foram utilizadas alm de cmeras de vdeo, processadores de imagem, computadores e sintetizadores. O

trabalho foi primeiramente apresentado como uma instalao, posteriormente em espaos externos e tambm utilizado para performances. Segundo o artista, a interface o elemento principal da instalao, pois defini-se como uma espcie zona de experiencias multi-dimensionais, sendo a sua incorporao no espao que permite o dilogo com a obra. Rokeby (http://homepage.mac.com/davidrokeby/vns.html) afirma que sua inteno principal era a interpenetrao entre o sistema computacional da obra e o pblico, at que a noo de controle se perdesse e este relacionamento se tornasse um envolvimento mtuo. (Cf. ROKEBY, 1990).
While the 'sound' of the system and the 'dance' of the person within the space are of interest to me, the central aspect of the work is neither the 'sound' nor the 'dance'. It is the relationship that develops between the sounding installation and the dancing person that is the core of the work (ROKEBY, 1990).

Em Espaos entre o sonoro objetivamos criar diversas formas de interatividade, dentro das quais criamos relaes mais ou menos diretas entre as aes do pblico e os efeitos resultantes nos objetos sonoros. Por exemplo, as relaes diretas entre o atravessamento de determinada poro espacial e os mdulos de sntese acionados, ou entre o aumento da velocidade dos movimentos e um acelerando rtmico. Tambm ocorrem pequenas micro-flutuaes, modificaes dos envelopes sonoros e outras formas de transformao que no esto diretamente ligadas a tipos de aes que remetam a uma contiguidade com os sons resultantes. Podemos dividir em trs conjuntos principais o modelo computacional da instalao, que foi inteiramente desenvolvido em ambiente grfico de programao Pure Data (PD), a primeira parte composta pelos mdulos de interao, responsveis pelo mapeamento das aes do pblico; a segunda pelos mdulos de sntese sonora, responsveis pela gerao do material sonoro; e a terceira por mdulos de estruturao musical, que combinam dinamicamente os componentes dos mdulos de sntese. Os mdulos de interao utilizam dois dispositivos de entrada, uma cmera de vdeo e um sensor ultra-snico de distncia; o mapeamento via cmera detecta os movimentos do pblico atravs do clculo da diferena entre dois quadros subsequentes de filmagem, bem como do

baricentro (centro de gravidade) da diferena entre quadros. Utilizamos tal estratgia para coletarmos o deslocamento e a presena do pblico em um regio mais ampla do espao, em relao quela coletada pelo sensor; este ltimo calcula a distncia do pblico em relao a si mesmo e tambm a velocidade dos movimentos deste dentro de sua rea de captura. Utilizamos dois mtodos de sntese sonora, sntese por modulao de frequncia (sntese FM) e a sntese por modelamento fsico Karplus-Strong, ambos os mtodos sero controlados pelos mdulos de estruturao musical, que determinaro atravs da interao com o pblico as duraes, o envelope sonoro e as estruturas rtmicas e meldicas utilizadas. Convm ressaltarmos que as aes do pblico interferem no sistema interativo de Espaos entre o sonoro de duas formas interligadas, como ilustra a Fig. 2, atuam diretamente nos mdulos de sntese FM informando, por exemplo, o ndice de modulao, dado pela distncia do pblico com o sensor; ou tambm atuam disparando os algoritmos presentes nos mdulos de estruturao musical, que consequentemente acionam os mdulos de sntese, que podem ou no j terem sofrido alteraes pela interao.

Fig. 2- Diagrama ilustrativo das formas interligadas de interao em Espaos entre o sonoro.

tambm atravs da modificao desses mdulos de estruturao musical que diferenciamos os momentos e controlamos a evoluo sonora da instalao no fluxo temporal. Primeiramente, realizamos uma lenta transio entre um estado sonoro marcado pela presena de sons com valores de sustentao longos e pouca atividade rtmica, em direo a valores curtos e maior presena de atividade rtmica; paralelamente criamos tambm uma maior autonomizao da msica em relao a interao, aumentando cada vez mais o tamanho das estruturas musicais

acionadas pela movimentao do pblico. Posteriormente, ocorre a rarefao do material apresentando anteriormente, e agora so acordes contento sete mdulos de sntese FM simultneos que so acionados pela interao, nestes o pblico pode aumentar ou diminuir o ndice de modulao atravs da proximidade, ou do distanciamento, com o sensor ultra-snico. Alm disso, neste momento ao movimentar-se mais rapidamente o pblico pode acrescentar um material musical diferenciado, composto por mdulos de sntese Karplus-Strong. Pretendemos desta forma, criar, assim como mencionou Rokeby, um envolvimento mtuo entre o pblico e o sistema computacional, ora turvando, ora afirmando a noo de controle dentro da obra.

6. Consideraes finais Os conceitos de interatividade e desmaterializao bem como a noo de instalao interativa esto presentes em grande parte da produo de arte mdia atual. Contudo, no tivemos como objetivo abord-los de maneira definitiva, mas sim fornecer uma reflexo que pudesse abranger tanto a abordagem terica, quando a prtica artstica dentro deste campo. Acreditamos que tal processo de realimentao constante entre estes dois eixos nos permite uma viso abrangente e crtica das questes prprias deste campo problemtico.

7. Referncias Bibliogrficas
CAMPESATO, L., e IAZZETTA, F. Som, espao e tempo na arte sonora. Anais do XVI Congresso da ANPPOM, Braslia, 2006. CAMURRI, A. Interactive Dance/Music Systems. Proceedings of 1995 ICMC, Banff, 1995. COUCHOT, E. A tecnologia na arte: da fotografia realidade virtual. Porto Alegre: UFRGS, 2003. DOMINGUES, D. As instalaes multimdia como espaos de dados em sinestesia. In: Imagens Tcnicas, FECHINE, Y., OLIVEIRA, A. (Orgs.). So Paulo: Hacker, 1998. GIANNETTI, C. Esttica digital: sintopia da arte, a cincia e a tecnologia. Belo Horizonte: C/Arte, 2006. PLAZA, J. Arte e interatividade: autor-obra-recepo. Ars, 2000, p. 9-27. RNAUD, A. Comprender la imagen hoy. Nuevas imgenes, nuevo rgimen do lo visible, nuevo imaginario (1989), acessado em junho, 2011, http://textosyteoria.wordpress.com/category/textos-yteoria/. ROKEBY, D. The Harmonics of Interaction. Musicworks, vol. 46, Spring, 1990. SOGABE, M. Os espaos das instalaes: objeto, imagem e pblico. Anais do 16. Encontro Nacional da ANPAP, Florianpolis, 2007. MIRANDA, E. R., e WANDERLEY, M. New digital musical instruments: control and interaction beyond the keyboard. Wisconsin: A-R, 2006. TAVARES, M. A recepo no contexto das poticas interativas. Tese de Doutorado, Escola de Comunicaes e Artes da USP, 2001.