Nuno Correia è un insegnante, ricercatore e artista (http://www.nunocorreia.com/). La sua tesi di dottorato, intitolata “Interactive Audiovisual Objects” (2013), pubblicata dalla Aalto University, si basa sul dialogo tra effimero e fisso, tra artista e utente, tra tecnologie e possibilità d’interazione (https://www.taik.fi/kirjakauppa/product_info.php?cPath=26&products_id=269&language=en).

Con la seguente intervista, tratta da una conversazione online, proveremo a mettere in evidenza alcuni aspetti della tesi di Nuno Correia. La ricerca si basa su quattro progetti audiovisivi: Heat Seeker (2006), AVOL (2007), Master and Margarita (2009) e AV Clash (2010), sviluppati in collaborazione con André Carrilho, con il nome collettivo di Video Jack.

Questi progetti non riguardano solo l’arte performativa, ma anche la net art, le proiezioni single-channel e le installazioni. I temi centrali della ricerca costituiscono una singolare triangolazione tra media, esibizione e collaborazione, attraverso lo sviluppo di un approccio IAVO (Interactove AudioVisual Objects), assumendo una prospettiva di crossmedialità, mescolando il contenuto audiovisivo con design di interazione e user experience.

correia3

Ana Carvalho: Nel libro, uno degli argomenti più rilevanti riguarda la relazione tra audio e immagini (audiovisivo) e il modo in cui coesistono come un’unità all’interno delle opere interattive. IAVO – Audio Visual Objects, è il termine che hai coniato, partendo da “Audio-Vision. Sound on Screen” di Michel Chion, e includendovi l’oggetto. Chion descrive questa relazione come un “contratto audiovisivo”, si allontana dal concetto di sinestesia (due stimoli sensoriali che sono combinati naturalmente nel cervello) e cerca di stabilire una serie di connessioni volte a costruire un’esperienza simile e unica. Questo approccio spiega le differenze tra i meccanismi umani dell’udito e della vista e considera la sinestesia una capacità limitata a pochissime persone. Questo “contratto audiovisivo” come si traduce nella tua pratica?

Nuno Correia: La mia concezione di IAVO (Interactive Audio Visual Objects) intende aggiungere interattività alla concezione di Michel Chion di sincresi: “la creazione di una relazione immediata e necessaria tra qualcosa che si vede e qualcosa che si sente allo stesso tempo” (Chion 1994, p.224). Io definisco gli IAVO come dei moduli che combinano GUI (Graphical User Interface) e visualizzazione sonora, formando qualcosa di coeso, in cui la l’interfaccia GUI è inserita e integrata esteticamente nella visualizzazione.

Nella mia tesi utilizzo anche la definizione di Chion di contratto audiovisivo: “una sorta di contratto simbolico che l’audio-spettatore sottoscrive, accettando di percepire il suono e le immagini come parte di una singola entità” (Chion 1994, p.216). Io propongo il concetto di “contratto audiovisivo interattivo” associato a un IAVO: un contratto simbolico che l’utente sottoscrive, accettando di percepire il suono, le immagini e l’interfaccia GUI come parte di una singola entità – gli IAVO. Definisco questa singola identità come un “oggetto”, seguendo anche il concetto di Audio-Visual Object di Kubovy e Schutz, che loro definiscono come una “esperienza cross-modale” con un forte legame audio e visivo – un “collegamento audio-visivo” (Kubovy & Schutz, 2010). Kubovy e Schutz analizzano a fondo cosa vuol dire percepire qualcosa come un oggetto. Ancora una volta, il mio obiettivo è quello di includere l’interattività di questo legame. Come sintetizzo nella mia tesi (p. 25), “Secondo la mia interpretazione personale, gli IAVO sono suonatori e ballerini di una band virtuale, ognuno dei quali suona il proprio strumento, con i propri suoni, accompagnando questi suoni con dei ‘movimenti’, su un palco virtuale che è rappresentato dallo schermo del computer.”

Hai citato la sinestesia, della quale parlo nella mia tesi, dedicando un’intera sezione a quest’argomento. Ad ogni modo, credo che per la mia pratica artistica le teorie di Chion siano più interessanti della sinestesia. Sono d’accordo con Scott Lipscomb, secondo il quale la sinestesia non è una base solida su cui costruire una teoria appropriata sulla percezione multimediale, dato che il numero di sinesteti è ridotto, e dato che l’effetto su questi sinesteti varia (Lipscomb 2002, pp.230-231). Autori come Chion e Michael Kubovy presentano dei concetti su un livello più alto, che hanno a che fare con la percezione in maniera molto più astratta, e sono in questo senso molto più aperti. Per esempio, come dichiara Chion, la sincresi può avvenire con un grande numero di combinazioni tra elementi audio e video tra i più disparati: “provate a riprodurre una serie di eventi audio e video casuali, e vi accorgerete che alcuni si uniranno attraverso la sincresi, altri no” (Chion, 1994, p.63).

correia4

Ana Carvalho: L’oggetto all’interno del termine IAVO è soltanto virtuale (esiste come software o su una piattaforma online) o è anche fisico, e include dispositivi come il Reactable?

Nuno Correia: Gli IAVO possono essere degli oggetti-software o una combinazione di software e hardware. Certamente, sono stato influenzato da Reactable, dato che uno dei supervisori della mia tesi è stato Sergi Jordà, uno dei creatori di Reactable (http://www.reactable.com/). Reactable segue delle logiche modulari simili alle nozioni di IAVO. Ma su Reactable, la visualizzazione del suono esiste tra i moduli (nei collegamenti/linee/connessioni tra i moduli): “le linee che stabiliscono le connessioni tra gli oggetti, trasmettono le forme d’onda reali del flusso sonoro” (Jordà et al., 2007, p.142). I moduli Reactable sono principalmente elementi di interazione tangibile, incrementati con GUI, non sono delle unità di visualizzazione del suono. L’approccio su Reactable è concentrato sia sui moduli sia sulle connessioni tra i moduli, seguendo un paradigma di programmazione del flusso dati PureData/Max-MSP. Quindi, Reactable segue una logica leggermente diversa rispetto a IAVO. La logica di Reactable è meno concentrata sull’oggetto e più sull’ibrido oggetto/sistema, almeno questa è la mia interpretazione.

Ana Carvalho: Il contratto, come descritto da Chion, può essere esteso in modo da comprendere, in un senso più ampio, l’utente e l’opera presentata, trasformandola in una performance o in un’opera di net art. In questo senso, avvicinandoci alla definizione di contratto data da Peggy Phelan, l’utente accetta di condividere del tempo nel momento in cui vive l’esperienza. D’altra parte, secondo il mio punto di vista, i progetti su cui hai concentrato la tua ricerca si collocano tra due i modelli di pratica creativa che hai preso in considerazione: il modello “creator-centric”, che comprende lo sviluppo di contenuto e interfaccia, tra te e André Carrilho, da utilizzare nell’ambito delle performance, e il modello “experiencer-centric”, che apporta degli aspetti interattivi e trasforma una performance in un’esperienza di net art. I progetti della tua ricerca sembrano estendersi da un modello all’altro. È possibile definire il modello delle tue opere? Quali sono le particolarità/specificità?

Nuno Correia: Shamma & Shaw sostengono che i new media mettono in discussione i confini tra modello “creator-centric” ed “experience-centric”. Come esempio, indicano la “produzione di media destinati al riutilizzo attivo da parte di altri” (Shamma & Shaw, 2007, p. 277), che combina il ruolo di creatore e fruitore. Propongono di cercare nuovi modelli in cui l’utente di un’opera creativa “assuma un ruolo generativo, non solo un ruolo interpretativo o interattivo”. Credo che i miei progetti facciano parte di questi nuovi modelli, in particolar modo a partire da AVOL (AudioVisual OnLine, 2007), creato dal nulla per essere utilizzato e “remixato” da altri artisti. Ho provato a definire un modello per le mie creazioni, utilizzando il concetto di Interactive AudioVisual Objeccts (IAVO) di cui ho parlato precedentemente. È un modello object-oriented, che segue un’estetica object-oriented, per usare le parole di Gabriel Shalom. L’approccio IAVO favorisce la manipolazione e la reinterpretazione. Nei miei progetti, la tendenza è quella di dare all’utente più possibilità di intervento e appropriazione. Credo che questo sia ancora più chiaro quando si compara AVOL, per esempio, con AV Clash (2010). La quantità di moduli audiovisivi e opzioni di manipolazione (effetti, loop, sequenze, ecc…) è sicuramente maggiore in AV Clash.

correia1

Ana Carvalho: Nell’ultimo capitolo della tua tesi, dici che il contratto e i due approcci alla collaborazione possono anticipare gli sviluppi futuri di una comunità. In che modo può avvenire ciò?

Nuno Correia: Dopo AV Clash, l’ultimo progetto sviluppato per la mia tesi, ho lavorato su AVVX (AudioVisual Vectos eXchange, www.avvx.org). Lo scopo di AVVX è quello di consentire agli utenti non solo di integrare i loro video e suoni, ma anche contribuire ai video della community AVVX, con la possibilità di riutilizzare i video della community stessa. Inoltre, il progetto è open-source, quindi gli “utenti” possono anche modificare interamente il codice. Qui la parola “utente” non ha più senso, dato che ci si riferisce a dei “collaboratori”. Su www.avvx.org, è possibile trovare una libreria di video di base. Se tutto andrà per il verso giusto, nel prossimo futuro AVVX.org potrà diventare un vero e proprio database di video che possono essere scaricati in tempo reale da internet attraverso la app AVVX, con una API. Gli utenti/collaboratori di AVVX possono condividere i loro risultati sul sito. Per adesso, è possibile farlo sul gruppo Vimeo e sul gruppo Facebook di AVVX  (su www.avvx.org è possibile trovare i link). Finora ho curato tre workshop AVVX e ne sto preparando un quarto (a Riga). Sono felice di vedere che i membri delle community AVVX (che sono soprattutto partecipanti ai precedenti workshop) creano video musicali con AVVX e usano il software durante le loro performance, com’è possibile vedere anche sul gruppo Vimeo e sul gruppo Facebook di AVVX. Andando avanti in questo modo, i due modelli identificati da Shamma & Shaw diventano sempre meno distinguibili, dato che l’“utente” dà il suo contributo a un pool comune e riutilizza i contenuti creati dagli altri collaboratori. Così diventa più un modello peer-to-peer, con una piccola supervisione (da parte mia), più vicina all’etica hacker identificata da Pekka Himanen (Himanen, 2001).

Ana Carvalho: Nei tuoi progetti, e adesso sulla piattaforma, effimero e fisso vengono combinati. Nell’effimero, ogni performance è documentata e nel fisso, i documenti, cioè il database di file video e audio, possono essere riprodotti dagli artisti e dagli utenti. Questo è possibile all’interno della struttura del progetto che connette tra loro diversi media. L’effimero, la performance live, a questo punto è un’ambiente per la sperimentazione (un laboratorio?) com’era nelle prime fasi della ricerca?

Nuno Correia: Sì, credo che lo sia ancora. Sto provando ad avvicinare il più possibile l’effimero e il fisso, utilizzando diversi approcci. Credo che questo sia più un argomento da cross-media che da design dell’interazione. La performance è composta da tre parti: la preparazione (preparazione del contenuto audiovisivo e dei software/hardware); la performance stessa; la documentazione della performance, che consente di condividere e rivivere la performance in qualche modo. Nelle mie creazioni, provo ad aprire la parte della preparazione e della documentazione. Ma anche la parte della performance, in modo che ognuno possa diventare un performer con il mio software e con i miei materiali. In molti casi, una performance può essere un “audience of one”, come definito da Axel Stockburger, in cui “compositore, performer e pubblico convergono nel soggetto dell’esibizione” (Stockburger, 2009, p.122). A questo punto, vorrei approfondire queste tre parti.

Riguardo la preparazione della performance, sono convinto di dover mettere a disposizione i materiali che creo in modo che altri possano usarli nelle loro performance (“audience of one” o altri). E provo ad aiutare gli altri a fare lo stesso. Il web è una risorsa straordinaria per questo scopo. Su AV Clash, per esempio, come sorgente sonora uso Freesound.org. Ho caricato i miei loop audio su Freesound.org, e vi ho aggiunto il tag “avclash”, in modo da includere ogni suono da Freesound al progetto. Riguardo AVVX, ho creato una libreria online di video, avvx.org, in cui è possibile caricare i propri video e scaricare i video dalla community AVVX. Questa libreria è ancora in una fase embrionale. Riguardo il software, AVVX è disponibile come open-source (su avvx.org).

correia5

Nelle performance, il mio obiettivo è quello di abbattere i confini tra le performance audiovisive “tradizionali” e gli atri modi di presentazione. Per esempio, pubblico i miei progetti di performance come net art. Ho presentato Master and Margarita e AV Clash in una performance dal browser. Quindi non ci sono differenze importanti tra gli strumenti che uso nelle mie performance e gli strumenti a cui chiunque può accedere dal web, a parte la conoscenza dello strumento e lo stile personale. Le installazioni, per esempio, le come delle performance. Sono in qualche modo delle performance esplorative – l’utente usa lo strumento per la prima volta, scoprendone le possibilità e “intrattenendo” altre persone che si trovano nello spazio dedicato all’installazione. Mi piace un sacco quando diversi mezzi di presentazione vengono mescolati insieme. Per esempio, durante il Pluto Festival in Belgio, alla fine del 2012 (http://pluto-festival.be/#home), AV Clash è stato presentato come installazione e performance. Le persone che hanno visto l’installazione hanno potuto assistere anche alla mia performance (o viceversa). Mi recavo spesso allo spazio dell’installazione con qualche piccola demo. Ho distribuito degli adesivi con l’indirizzo web di AV Clash (www.avclash.com), così le persone potevano continuare a usarlo da casa.

Infine, riguardo la documentazione, provo a documentare il più possibile le mie performance, e distribuirle sul web. Cerco anche di aiutare gli altri a documentare e distribuire. Per esempio, sono stati creati dei gruppi AVVX su Facebook e Vimeo. Purtroppo, i miei progetti finora non hanno avuto il tasto “record”. Ma sia su AV Clash sia su AVVX, gli utenti hanno registrato le loro performance su schermo, e le hanno condivise su Facebook e/o Vimeo. AVVX è stato anche usato dai membri della community durante le loro performance (al di fuori dei workshop AVVX), e qualche materiale di documentazione è stato condiviso.

In conclusione, l’effimero è estremamente importante. Il flusso che ci investe durante una performance live e la componente sociale della condivisione di una performance con altre persone sono le ragioni per cui ho iniziato con delle performance come punto di partenza. Ma l’esperienza effimera può essere estesa al fisso: sia verso le fondamenta della performance, sia verso la registrazione della performance e la condivisione di questi materiali di documentazione. Tutti questi elementi possono essere rivisitati e ricreati dal pubblico.

 


Referimenti

– Chion, M., 1994. Audio-Vision: Sound on Screen, New York: Columbia University Press.

– Himanen, P., 2001. The Hacker Ethic: A Radical Approach to the Philosophy of Business, New York : Random House.

– Jordà, S. et al., 2007. The reacTable: Exploring the Synergy Between Live Music Performance and Tabletop Tangible Interfaces. In Proceedings of the 1st international conference on Tangible and Embedded Interaction. Baton Rouge, Louisiana: ACM, pp. 139–146.

– Kubovy, M. & Schutz, M., 2010. Audio-Visual Objects. Review of Philosophy and Psychology, 1(1), pp.41–61.

– Lipscomb, S.D., 2002. Modeling Multimedia Cognition: A Review of Nicholas Cook’s Analysing Musical Multimedia. Intégral, (16/17), p.225/236.

– PHELAN, Peggy (1996) – Unmarked: The Politics of Performance. London and New York: Routledge. ISBN 0-415-06822-3.

– Shalom, G., n.d., An Introduction to Hypercubism. Available at: http://www.gabrielshalom.com/theory/

– Shamma, D.A. & Shaw, R., 2007. Supporting creative acts beyond dissemination. In Proceedings of the 6th ACM SIGCHI Conference on Creativity & Cognition. C&C ’07. New York, NY, USA: ACM, pp. 276–277.

– Stockburger, A., 2009. An Audience of One – Sound Games as a Specific Form of Visual Music. In C. Lund & H. Lund, eds. Audio.Visual – On Visual Music and Related Media. Stuttgart: Arnoldsche Art Publishers, pp. 116–124.