por Luiza Helena Guimarães
[Resumen] The project “Spectra Computational” is in its third version. They have as the thread of their poetics the images of human brains visualized in electromagnetic resonances that were subjected to data sonification. The digital art-science works incorporate aspects of neuroscience and the physics of digital signal processing that converge to form immersive environments for Virtual Reality (VR), Panorama 360º and fulldome.
Apresentação
À medida que a arte contemporânea incorpora conhecimentos de outras áreas, ganha a possibilidade de existir mais próxima da imaginação. O projeto “Espectros Computacionais” está em sua terceira versão expositiva[1]. Apresenta um imaginário construído por meio de tecnologias digitais e reúne os conhecimentos da arte e da estética aos conceitos científicos vindos da física de processamento de sinais e da neurociência. Nas exposição “Espectros Computacionais 360º/3D I” (EC360/I) mostramos uma instalação imersiva e um ambiente VR, em “Espectros Computacionais 360º/3D II” (EC360/II) desenvolvemos o conteúdo para apresentar em uma arquitetura de Panorama 360º, já em “Espectros Computacionais_fulldome” o imaginário precisou acompanhar este diferente desafio para o cinema e a arte imersiva.
EC360/I foi produzido durante a residência artística (ArtSonica) no espaço de coworking do Oi Futuro (LabSonica), em 2018, e exibido no Centro Cultural Oi Futuro, em 2019, Rio de Janeiro-RJ, Brasil. Trata-se de um projeto transdisciplinar, imersivo e interativo, visual e sonoro, realizado a partir de imagens de cérebros humanos visualizados em ressonâncias eletromagnéticas de cérebros humanos. Apesar dos trabalhos terem iniciado em 2002, foi em 2018-19 que começou a ser realizado em equipe transdisciplinar integrada, desde a fase de projeto, por Ricardo Dal Farra[2] e, posteriormente, na fase de desenvolvimento de ambientes VR, incluímos Randolpho Julião[3]. A segunda versão EC360/II, continuou a mesma linha de pesquisas e desenvolvimentos, porém produzimos um ambiente imersivo gamificado voltado para a arquitetura de Panorama 360º existente no espaço da mostra “Panorama Exp”, Valencia, Espanha, 2021. Ainda neste ano, fizemos uma nova produção, “Espectros Computacionais_fulldome“, para o Planetário Galileo Galilei eCentro Cultural San Martín, Buenos Aires, Argentina, em que mantivemos o mesmo imaginário e conceitos, entretanto, o roteiro e projeto gráfico foram totalmente remodelados em função dos software utilizados e do meio de exibição.
Embora os meios imersivos sejam distintos, as obras tratam, por um lado, dos dados sonoros que se tornam visíveis em cores, luzes e sombras, e, por outro, das imagens cerebrais se tornam audíveis. No universo dos dados, ou melhor, da sonificação de dados, as imagens de ressonâncias eletromagnéticas são submetidas a padrões e convertidas em novas paisagens sonoras e visuais. Levando em conta recentes pesquisas neurocientíficas e os resultados obtidos na aplicação de neurofeedback, potencialmente, os ambientes e interfaces que criamos entrem em conjunção com o cérebro do jogador/espectador interferindo em seu estado emocional.
Com a criação e a produção de EC360 I e II chegamos a duas versões de cinema gamificado que, teoricamente, nos propiciaria trabalhar em um campo aberto de perspectivas, desde instalações projetadas para ambientes expositivos, ambiente de VR, mundos virtuais, domos, etc. No entanto, quando fomos produzir para fulldome encontramos inúmeras barreiras para a escolha dos software e hardware que, apesar de haver atrasado o cronograma de criação e desenvolvimentos, nos fizeram avançar em direção a ferramentas com recursos tecnológicos que nos permitirão alcançar maior liberdade para a criação de conteúdos. Visto que Espectros Computacionais_fulldome só será apresentado para o público no final de novembro[4], em momento oportuno relataremos as experiências objetivas e subjetivas com as tecnologias e os meios, bem como, suas imagens e roteiro do trabalho.
O projeto Espectros Computacionais faz parte dos projetos do Laboratório de Arte Espectro Neural (LArtEN), um laboratório dedicado à arte imersiva e interativa, de caráter experimental, transdisciplinar e descentralizado. Para Guimarães a Arte Espectro Neural, frente aos desafios do presente e do futuro para a humanidade, caracteriza-se por requerer aptidões inéditas dos cérebros humanos e ser produzida concomitante às descobertas de físicos e neurocientistas. Considera ainda que a criação e a produção de dispositivos de arte contemporânea precisam ser realizadas em equipe transdisciplinar, que mantenha uma dinâmica laboratorial. A equipe de Espectros Computacionais, atualmente está composta por: Guimarães, conceito, roteiro e direção da produção, Dal Farra, dedicado à criação sonora, e Julião, nos desenvolvimentos e criação dos ambientes imersivos gamificados.
Guimarães, no decorrer de seu trabalho como artista formada na área de saúde, comunicação e psicologia clínica com foco em produção de subjetividade e expanded cinema, identificou duas grandes vertentes que comportam as principais emergências que incidem sobre a produção da vida na contemporaneidade. A primeira vertente trata da crise ambiental mundial e é representada pelo Antropoceno; a segunda diz respeito à cognição humana e maquínica nos aspectos relacionados à redefinição do humano. Para enfrentar os problemas percebidos, ela debruçou suas pesquisas teóricas e práticas sobre a criação e produção de dispositivos artísticos em relação às sensações corporais despertadas. Pois, sendo a arte um campo de conhecimento que se traduz na criação de “agregados sensíveis”, expressão deleuziana, pode ser capaz de colocar o desejo em prol da criação da vida.
Dal Farra, tem uma vida dedicada à música como compositor, historiador e professor. Expressa-se nas diversas acepções de criação e direção de eventos artístico-científicos internacionais e, também, por meio da criação da Coleção de Música Electroacústica Latinoamericana. Ele vem pautando seus trabalhos no poder de transformação da arte. Com essa crença, investe na criação de uma ampla rede internacional de encontro entre artistas, cientistas e diversos atores sociais. Por exemplo, a rede por ele formada em torno da Conferência Internacional Balance-Unbalance que tem como finalidade contribuir com a busca e aplicação de soluções para os desafios causados pela crise ambiental global, partindo do um ponto de vista artístico mediante ações transdisciplinares que cruzam a ciência e as tecnologias emergentes.
O pesquisador e engenheiro Randolpho Julião mantém um constante interesse em tecnologias de software e hardware emergentes empregadas na produção de cinema e games. Estamos focados em avançar no plano de metas do projeto e mantemos intensa troca de conhecimentos em reuniões semanais de trabalho.
Espectros in-process
Considera-se que o projeto Espectros Computacionais tem origem conceitual em 2002, em instalações e performances com ressonâncias eletromagnéticas de cérebros humanos realizadas por Guimarães e que em 2018 ganha novas perspectivas ao ser colocado em relação conceitual com estudos da física e neurociências relativos a ondas cerebrais, luminosas e sonoras e seus efeitos nos corpos humanos. Por conseguinte, as pesquisas abrem inúmeros campos de possíveis relacionados às interfaces homem-máquina, aproximando-nos, assim, da bioengenharia, AI e robótica. Estamos em fase de pesquisa laboratorial de uma determinada interface cérebro-computador (BCI)capaz de mostrar a atividade mental, expressa em tempo real, por meio de ondas e ritmos cerebrais. No entanto, os desenvolvimentos para fulldome interromperam nossas pesquisas nessa direção.
Os trabalhos de arte expostos no Oi Futuro foram: uma instalação imersiva, visual e sonora, respectivamente, a parte visual constituída por centenas de ressonâncias eletromagnéticas de cérebros humanos dispostas lado a lado em uma sala com paredes de vidro, possuindo também, na mesma instalação, uma projeção em grande formato do vídeo de uma performance realizada no ambiente VR desse mesmo projeto; a sonora, possuía música eletroacústica, distribuída em oito canais sonoros, que propiciavam uma escuta espacializada (ver Figura 1). O outro trabalho de arte apresentado constava de uma experiência de cinema imersivo gamificado para óculos VR, o qual, por sua vez, serviu de base para a criação da versão do Panorama 360º (EC360/II) para a Universidade Politécnica de Valência.
Figura 1: Espectros Computacionais 360º, parte interna da Instalação Imersiva, Exposição ArtSonica, Centro Cultural Oi Futuro, Luiza Helena Guimarães, 2019.
Durante a residência artística, na etapa laboratorial, Dal Farra realizou a espectrometria, a sonificação e o mapeamento dos dados provenientes das ressonâncias eletromagnéticas cerebrais (ver Figura 2). O método descrito foi idealizado por Guimarães, que o denominou de “espectro-cérebro-sônico-magnético”, servindo de base para a realização das composições musicais eletroacústicas cerebrais.
Figura 2: Exemplo de ressonância magnética do cérebro da qual foi realizado o mapeamento cérebro-sonico-magnético.
Foi diante de um complexo conjunto de relações e conhecimentos, que, como produto da sonificação de ondas luminosas provenientes das ressonâncias, obtivemos os objetos e estruturas musicais que serviram de base para suas composições musicais de Dal Farra: “Uma Viagem Por Sua Mente”, obra para oito canais, e, também, sete trilhas sonoras feitas para as diferentes ambientações da experiência VR.
Na exposição, imagens e sons cerebrais se mesclavam de um modo indiscernível, interpretravam-se na transparência dos grandes vidros cobertos pelas ressonâncias eletromagnéticas cerebrais que delimitavam o espaço expositivo, incorporando-se e absorvendo os acontecimentos do interior e o exterior da sala expositiva. A projeção de vídeo que compunha a instalação apresentava uma navegação ou performance possível no ambiente de VR. A projeção cobria totalmente uma das paredes com neurônios produzidos por meio de modelagem digital em 3D, refletindo-se nos vidros e nas ressonâncias cerebrais da própria instalação.
No entanto, a interpenetração e incorporação mais relevante se deveu à potência imersiva e interativa do dispositivo artístico, pois ela capturou os visitantes, espectadores e performances no tempo e no espaço do dispositivos EC360º, isto é, no tempo do acontecimento.
Espectros Computacionais 360º/3D II para Panorama 360º tem o mesmo storyboard do projeto para o ambiente VR. Nele quem o experimenta joga ou performatiza em diferentes cenários, denominados por Guimarães de “zonas sinápticas”. O vídeo panorâmico entra pela “zona cinzenta” e, por meio de interatividade escolhemos experimentar as outras cinco diferentes “zonas sinápticas”, cada uma apresentando a equivalência entre frequências de ondas sonoras e luminosas (vermelhas , amarelas, azuis, verdes ou violetas). Em cada zona um ambiente com diferentes sons e imagens gráficas de estruturas cerebrais em movimento, como percebidos no trabalho de modelagem de neurônios. (ver Figuras 3, 4, 5, 6, 7 e 8).
Figura 3: Zona Sináptica Cinzenta. Espectros Computacionais 360°/3D II, Panoramas EXP, Valência, ES, 2021.
Figura 4: Zona Sináptica Violeta. Espectros Computacionais 360°/3D II, Panoramas EXP, Valência, ES, 2021.
Figura 5: Zona Sináptica Vermelha. Espectros Computacionais 360°/3D II, Panoramas EXP, Valência, ES, 2021.
Figura 6: Zona Sináptica Verde. Espectros Computacionais 360°/3D II, Panoramas EXP, Valência, ES, 2021.
Figura 7: Zona Sináptica Verde. Espectros Computacionais 360°/3D II, Panoramas EXP, Valência, ES, 2021.
Figura 8: Zona Sináptica Cinzenta. Espectros Computacionais 360°/3D II, Panoramas EXP, Valência, ES, 2021.
Campo dos possíveis
Em nossos cérebros, os estados mentais são alterados diante de imagens e sons dos ambientes em que nos inserimos. Embora os ambientes de EC360 sejam planejados, não buscamos o controle cerebral e sim tornar visível e sensível, por meio dos conhecimentos da arte, as forças que nos afetam cotidianamente e escapam a nossa percepção. Durante o processo de criação dos audiovisuais para VR e Panorama 360º buscamos diferenciar e equiparar as frequências das ondas cerebrais conforme as sensações corporais experimentadas. Com base nos resultados obtidos até então, pensamos ter conseguido dar forma a um campo de afetos capazes de tornar sensível a potência de criação em outros corpos.
Em relação à produção de subjetividade, por meio do imaginário artístico e científico, criamos experiências imersivas, gamificadas ou não, por entre neurônios e sinapses atravessados por certo conjunto balanceado de ondas eletromagnéticas cerebrais, imagéticas e sonoras, distribuídas em distintas “zonas sinápticas” sensíveis, que tendem a incorporar o cérebro-espectador.
Avançando para BCI, um método de comunicação que traduz sinais neuronais por meio de computadores, temos que em um futuro bem próximo, o design de games terá que incluir fones de ouvido VR / AR equipados com dispositivos de EEG. Eles podem fornecer dados sensoriais e tornar os dispositivos jogáveis mais inteligentes e reativos. BCI/EGG com fones de ouvidos devem preceder os implantes neuronais, que são mais invasivos. Enquanto isso, o projeto Espectros Computacionais segue experimentando e explorando tecnologias imersivas e interativas de vários meios e em diversas configurações desde a fase de pesquisas até as exposições de resultados experimentais que buscam propiciar ambientes imersivos de diferentes graus e evidenciar as relações entre ondas cerebrais, sonoras e visuais diante da cognição sensível e perceptível entre homens e máquinas. As sensações corporais despertadas são, também, possivelmente capazes de colocar o desejo em prol da criação da vida.
Referências
GUIMARÃES, L. H. A arte espectro neural no limiar das ciências e tecnologias: uma luta pela qualidade da vida. In:Humanidades digitais e o mundo lusófono / Organização Ricardo M. Pimenta, Daniel Alves. – Rio de Janeiro : Editora FGV, 2021. p. 349-368.
______. Cartografia_Vital_Artístico_Acadêmica. Medium.com, 2018a. Disponível em: <https://bit.ly/3j1CwHE>. Acesso em: 20 ago. 2020.
______. Exposição Espectros Computacionais 360º (EC360). Medium.com, 2019. Disponível em: <https://url.gratis/tVEPeq>. Acesso em: 20 ago. 2020.
Panoramas Exp: Espectros Computacionais 360/3D II” Espectros Computacionales 360°/3D II. Universidad Politécnica de Valencia, Valencia, Espanha, 2021. Disponível em: <https://bityli.com/MLFBM7>. Acesso em: 20 ago. 2021.
______. Dal Farra, R. JULIÃO, R. S.. Espectros Computacionais 360°/3D II para Panorama 360º: processo de criação da interface cérebro-computador (BCI) na experiência narrativa e imersiva. Panoramas 2021 :VIII Simpósio Internacional de Inovação em meios Interativos (SIIMI), #20ART, 8vo Balance_Unbalance (BunB), Faculdade de Belas Artes da Universidade Politécnica de Valência, Valência, Espanha, 2021.
______. Dal Farra, R. Humanidades e metamorfoses: interfaces cérebro-computador em “Espectros Computacionais 360º. II Congresso Internacional de Humanidades Digitais, Rio de Janeiro, RJ, 2021.
______. LArtEN — Laboratório de Arte Espectro Neural. Medium.com, 2020. Disponível em: <https://bit.ly/3hj11zH>. Acesso em: 20 ago. 2020.
HERMANN, HUNT e NEUHOFF (editores). The Sonification Handbook. Berlin: Logos Publishing House, 2011. Disponível em: <https://sonification.de/handbook/> Acesso em: 28 fev. 2021.
SANTAELLA, L. Arte, ciência & tecnologia: um campo em expansão. In: GOBIRA, P. (Org.). Percursos contemporâneos: realidades da arte, ciência e tecnologia. Belo Horizonte: EdUEMG, 2018.
THOMPISON M., THOMPSON L. The Neurofeedback Book: An Introduction to Basic Concepts in Applied Psychophysiology. Ed. Association for Applied Psychophysiology & Biofeedback, 2nd Edition, 2015.
VOGT, DE CAMPO e ECKEL. An Introduction to Sonification and its Application to Theoretical Physics. Disponível em: <https://iem.kug.ac.at/fileadmin/media/iem/altdaten/projekte/publications/paper/intro/intro. pdf> Acesso em: 28 fev. 2021.
YEO, W. S. e BERGER, J. Application of Image Sonification Methods to Music. Disponível em: <https://ccrma.stanford.edu/~woony/publications/Yeo_Berger-ICMC05.pdf> Acesso em: 28 fev. 2021.
[1] V1: A exposição conta de uma instalação imersiva e um ambiente VR durante a residência artística ArtSonica / LabSonica / Oi Futuro em 2018, e exibido no Centro Cultural Oi Futuro em 2019, Rio de Janeiro – RJ – Brasil.
V2: PANORAMA EXP, produzido em Panorama 360º para “Panorama Exp” e “ Panoramas 2021” que reúne o VIII Simpósio Internacional de Inovação em meios Interativos (SIIMI), #20ART, 8vo Balance_Unbalance (BunB) na Faculdade de Belas Artes da Universidade Politécnica de Valência, junho de 2021, Valencia – ES.
V3: Ciclo de Conciertos: UNDERSTANDING VISUAL MUSIC 2021, produzido pelo Centro de Experimentación e Investigación en Artes Electrónicas (CEIARTE), Instituto de Investigaciones en Arte y Cultura Dr. Norberto Griffae, Universidad Nacional de Tres de Febrero (UNTREF), Planetário Galileo Galilei e Centro Cultural San Martín, Buenos Aires – Argentina, 2021.
[2]Ricardo Dal Farra (Canadá / Argentina) é artista e pesquisador. Doutor em Artes pela UQAM, Canadá. Professor de música e midiarte na Concordia University, Canadá e diretor do Centro de Experimentación e Investigación en Artes Electrónicas (CEIARTE) da Universidad Nacional de Tres de Febrero, Argentina. Foi diretor do Hexagram, Canadá; pesquisador da UNESCO para o Projeto Digi-Arts, França; diretor artístico da bienal mexicana de Artes Eletrônicas: Transitio, em 2015. Membro do conselho editorial do Leonardo (MIT Press, USA) e do Organised Sound (Cambridge Press, UK). Membro do conselho diretivo do ISEA International. Criou e dirige o Simpósio Understanding Visual Music (UVM) e a Conferência Internacional Balance-Unbalance (BunB).
[3] Randolpho de Santana Julião (Brasil) é analista de sistemas e engenheiro de software, especializado em análise, projeto e gerência de sistemas. Atualmente, dedica-se à pesquisa e desenvolvimento nas áreas de conteúdo digital imersivo, Game Engines, Realidades Aumentada, Virtual e Mixada, VFX, Virtual Production, Visão Computacional e Computação Gráfica.
[4] Programação do Ciclo de Conciertos: UNDERSTANDING VISUAL MUSIC 2021. Disponível em: <https://ceiarteuntref.edu.ar/2021/10/conciertos-de-musica-visual-para-fulldome-uvm-2021> Acesso em: 20 out. 2021.
TransObjetO 