Che cosa succede quando si guarda un video? Quali cambiamenti avvengono nel corpo e nell’emotività del partecipante quando prende parte ad un’installazione interattiva? Le reazioni fisiche e psichiche del fruitore sono una componente fondamentale della vita dell’opera d’arte e diventano addirittura necessarie per la riuscita di un pezzo che racchiuda in sé tecnologia, creatività ed interazione. Sull’indagine delle sensazioni, delle emozioni e della consapevolezza del corpo, che il pubblico sperimenta ed acquisisce entrando in relazione con l’opera, Tina Gonsalves (Sydney, 1972) ha basato una ricerca decennale, passando dall’uso dell’animazione, al video, fino all’interaction design.
Tina Gonsalves è una videoartista ed un’artista multimediale, che fin dall’inizio dell’attività artistica si interessa alla condizione umana, al rapporto tra creatività, spazio privato ed emotività. Le tappe del suo percorso si sono avviate quasi casualmente, per diventare sempre più strutturate e scientifiche. La Gonsalves, grazie all’ Australian Network for Art and Technology , in collaborazione con il Governo Australiano ed il Consiglio d’Australia per le Arti , è attualmente artist in residence del Wellcome Department di Neuroimaging della Brighton and Sussex Medical School , oltre ad essere visiting artist presso l’Affective Computing Group del Medialab del MIT.
Insieme a Tina ho ripercorso le tappe della sua carriera artistica, rintracciando l’origine dei suoi interessi ed i risultati che questa ricerca sta ottenendo a livello internazionale.
 |
.
Silvia Scaravaggi: In che modo sei arrivata al tuo interesse per le emozioni ed alla loro componente fisiologica?
Tina Gonsalves: Più di dieci anni fa, passando per l’Alfred Hospital di Melbourne, ho osservato le persone entrare ed uscire dall’edificio. Guardando indietro, mi sembra che questo ospedale sia un punto cruciale a livello emotivo: alcune persone sembravano tristi e spaventate; altre gioiose, incontrando nuove famiglie o la promessa della salute. Stetti seduta per un po’, testimoniando queste dimostrazioni emotive causate dalla vulnerabilità e dai disturbi del corpo umano. Entrai nell’ospedale, e scoprii il Dipartimento di Comunicazioni Visive, che fece nascere in me il fascino per l’immaginario medico e diagnostico. Ottenni l’autorizzazione per accedere all’archivio di immagini diagnostiche dell’ospedale; queste rappresentazioni erano estremamente private ed incredibilmente significative, una fredda evidenza della malattia o del trauma, della fine della vita. Mi immaginai la particolare reazione che i pazienti rappresentati potessero avere di fronte ad esse; alcune causando delle crisi, altre offrendo la speranza della cura. Ripensandoci, l’atto potente della lettura di queste immagini scatenò un’esplorazione artistica delle semiotiche “emozionali” dell’immaginario diagnostico, per ridare forma a tale immaginario dandogli un significato e restituendogli un contenuto affettivo.
Speravo che questo “richiamo emotivo” fosse rilevante per i medici che partecipavano alla creazione ed all’interpretazione del materiale originario. Ad un certo punto mi annoiai per l’apparente assenza di impatto psicologico sui corpi nelle immagini, ed iniziai a chiedermi quale “verità” potesse essere ad esse associata dalla lettura di queste rappresentazioni così tecnologicamente sofisticate da parte dei medici.
 |
.
Il mio lavoro subì un’evoluzione nei cinque anni successivi, passando all’esplorazione dei complessi paesaggi emozionali usando immagini in movimento e suono. I primissimi corti utilizzavano varie tecniche per trasferire i sentimenti in una forma artistica metaforica in movimento. L’intento era quello di catturare le emozioni, tradurle e poi dedicarsi agli aspetti di contagio emotivo dell’opera, cioè capire come esse si trasferissero dalle immagini all’uomo e da uomo a uomo, generare un forte dialogo a livello emotivo.
Le opere di ” Loss Series “, 12 video creati nel 2002, è il frutto di una sperimentazione di varie tecniche audio e video per trasferire le mie emozioni e le mie vulnerabilità. Attraverso le variazioni di tonalità, suono, colore, passo, guidati dai miei stati emotivi, ho cercato di creare un corpo di opere visceralmente potenti. Ho immaginato che ogni pezzo fosse per lo spettatore una guida attraverso cui riconoscere i propri stati interiori il tempo di ogni video lascia qualche minuto all’esperienza di auto-riflessione sulle proprie emozioni.
 |
.
Dopo “Loss Series”, ho iniziato ad esplorare il modo in cui la mia attività potesse coinvolgere il corpo emotivo del pubblico, utilizzando le emozioni per guidare la narratività dell’opera video. Volevo creare una “macchina diagnostica”, simile a quella da cui ero rimasta affascinata anni prima. Ho lavorato con Tom Donaldson , un ingegnere che si occupa di intelligenza artificiale, iniziando ad analizzare l’uso di sensori biometrici come dispositivi per video narrazioni emotive. Speravo di passare da opere monocanale ad installazioni video più immersive, così come ad opere più intime, indossabili.
Questa esplorazione ha portato a ” Medulla Intimata ” (2004), un prototipo di gioiello video digitale basato su un sensore, che monitorasse lo stato interno di chi lo indossava utilizzando il sistema della prosodia. Un videoritratto era trasmesso in tempo reale sullo schermo, incorporato nel stesso gioiello, attivato dal tono emotivo della voce dell’indossatore. L’immaginario visibile era un autoritratto emotivo, un’esplorazione nella vita segreta emotiva, fisica, spirituale e psichica di chi vestiva l’opera. Volevo evocare il senso di vista sotto la superficie della pelle: attraverso il video, si rivela di più di quello che si farebbe usualmente, i costrutti sociali si perdono, così come i codici di comportamento, lasciando spazio ad una comunicazione più intima ed autentica con gli altri. Nella fase di esposizione, è divenuta un’opera giocosa, una performance di delicato “intervento pubblico”, un mix di iterazione, performance, biometria, tecnologia ed immagine in movimento. Tom Donaldson e io abbiamo indossato il gioiello e la presenza dell’oggetto ha alterato il modo in cui i presenti interagivano con noi. Chi l’indossava poteva sentirsi più esposto e vulnerabile, ma al contempo, la conversazione diventava più creativa, intima e profonda.
 |
.
Silvia Scaravaggi: In che modo hai sviluppato la successiva “Feel_Series”? C’è qualcosa che ti ha portato a ricercare fondamenti empirici per la tua ricerca?
Tina Gonsalves: Completando “Medulla Intimata”, ho iniziato ad avvertire delle lacune nel progetto. Se volevo continuare ad usare i segnali del corpo per modificare il lavoro, era essenziale partire da basi empiriche, per lavorare in modo più intelligente con i dati emessi dal corpo emozionale. Ero anche interessata alle modalità con cui i paradigmi neuroscientifici informano le visualizzazioni emotive. Così ho iniziato a collaborare con il Dr. Hugo Critchley , neuroscienziato dell’affettività, i cui interessi si focalizzano sul cervello e sui meccanismi emotivi attraverso cui è controllato il comportamento umano sociale e motivazionale. Nel 2005, abbiamo ottenuto una borsa di studio (Arts and Humanities Research Council/Arts Council England Arts and Science Fellowship) per un’indagine dei meccanismi attraverso cui le emozioni si modificano e si formano. Così sono diventata Artist in Residence all’Institute of Cognitive Neuroscience and Wellcome Functional Imaging Laboratory dell’University College di Londra.
Le installazioni video “bio-sensibili” di ” Feel_Series ” sono un tentativo di rispondere agli stati emotivi del pubblico. Concettualmente queste opere seguono decenni di indagini creative che hanno provato a nascondere e svelare le emozioni all’interno della tematica “esternalizzazione dell’interno”. Questa serie enfatizza il modo in cui le esperienze artistiche permettono agli spettatori di esplorare la propria vulnerabilità, e così facendo, provare i propri stati d’animo. L’opera fa nettamente riferimento alle idee di Beuys sul ruolo della pratica artistica per generare vulnerabilità utile per connettersi agli altri e condividere/ispirare creatività. Credo che questo lavoro offra un modello più profondo di interattività, coinvolgendo direttamente il pubblico, entrando in profondità nella sua esperienza. I bio-data dello spettatore danno forma alle installazioni interattive finali e alimentano il contenuto artistico dell’opera, così come ogni lavoro cerca di utilizzare scenari, contenuti e generare circuiti empatici di interazione. Alcune installazioni esplorano i segni fisiologici identificativi degli stati emotivi utilizzando biosensori e software versatile per attivare il contenuto visivo. Tutti il lavori hanno narrative molto potenti al livello emozionale tale da causare cambiamenti emotivi nel corpo.
“Feel_Trace” , ad esempio, utilizza la variabilità del battito cardiaco per attivare un video empatico. A seconda della frequenza, si attiva un database di significativi stimoli visivi pre-filmati, così nel tempo le reazioni fisiologiche del visitatore causano modifiche nel video proiettato e nell’audio, ed al contempo il materiale video si allinea costantemente in risposta allo stato interno del partecipante, creando un dialogo basato su risposte biologiche, il biofeedback . Il contenuto video girato, editato e postprodotto da me stessa, è stato diviso in database a seconda dell’effetto sul sistema nervoso, e testato scientificamente usando dispositivi medici come l’fMRI, EEG, MEG. Il suoi effetti sui partecipanti sono notevoli, ma alla fine credo sai un lavoro troppo forte ed un poco alienante.
 |
.
Dopo “Feel_Trace”, ho iniziato a lavorare a ” Feel_Perspire “, un’installazione video pisco-fisiologicamente reattiva, che utilizza la risposta galvanica della pelle ( Galvanic Skin Response) , meccanismo che misura la conduttività elettrica della pelle attraverso il suo contenuto idrico, indicato dal sudore, per attivare il footage. Ho costruito un GRS interno a “Feel_Perspire” che consentisse una risposta immediata e continua, influenzando il controllo, e creando un loop del biofeedback per il partecipante. Le tecnologie biofeedback sono utilizzate per portare ad un livello di consapevolezza cognitiva le esperienze tipicamente subconscie del battito cardiaco, del respiro e dell’attività del sistema nervoso.
Così, attraverso la riflessione, il pubblico può imparare ad identificare, sentire e addirittura coordinare i comportamenti fisiologici monitorati, condizionando il materiale video da attivare. In “Feel_Perspire” la sudorazione è monitorata da un biosensore posizionato sul dito: in stato di quiete, immagini di nubi tendono all’astrazione, diventando indefinite e evocative come nei dipinti di Rothko ; se il partecipante si innervosisce, le nuvole crescono e diventano tempestose, coinvolgendo il soggetto in questa furia.
 |
.
L’installazione successiva, ” Feel_Insula “, è un autoritratto ricettivo, che vuole creare un circuito emotivo tra l’artista e l’audience. È un’installazione video intima e vulnerabile guidata dallo stato di quiete del pubblico. In uno spazio buoi,un video è proiettato su una parete; sono io in stato di ipnosi. In questa condizione sono portata a sperimentare nuovamente forti memorie emotive della mia vita. Nel momento in cui lo spettatore entra nello spazio, mi sveglio dall’ipnosi e solo dopo che il pubblico si è fatto completamente silenzioso il video riprende il racconto delle storie rivissute sotto ipnosi. “Feel_Insula” utilizza il concetto di quiete per generare un’interazione più poetica ed empatica. Per il contenuto, ho indagato l’uso di database Emotion expression, come “Karolinska” ed “Ekman”, comunemente usati come stimolo in esperimenti neuroscientifici affettivi. Per questo lavoro ero alla ricerca di materiale nuovo, “espressioni più autenticamente emotive”.
Ho collaborato con il Dr. David Oakley , Direttore dell’Unità di Ipnosi dell’UCL, facendomi ipnotizzare per poter riprovare momenti della mia vita potenti a livello emotivo. Attraverso varie sessioni, ho provato gli stadi della paura, della tristezza, della felicità e della tranquillità, in ognuno dei quali il mio volto è stato ripreso con 3 telecamera digitali e un microfono ed un registratore ipod. Questo materiale audio e video ha formato il contenuto creativo di “Feel_Insula.
 |
.
Silvia Scaravaggi: Che risultati hai ottenuto con “Feel_Series” in termini di estetica e contenuto?
Tina Gonsalves: “Feel_Trace” è stata testata per ben 5 volte, incluso il CynetArt Festival di Dresda, il Science Museum e la White Chapel Gallery di Londra, alcune parti sono riuscite, altre hanno avuto meno successo. In ogni occasione, ho fatto indossare dei sensori ai partecipanti ed ho chiesto loro di sedersi in una stanza buia guardando il video proiettato. Sebbene i sensori fossero piccoli ed estetici, risultavano comunque problematici ed instabili: ad ogni movimento si creava un’interruzione del segnale. I sensori non erano wireless e i visitatori dovevano restare collegati via cavo ad un computer, limitando lo scenario di interazione naturale che volevo. Inoltre, la vestizione e la preparazione dell’utente causava un innalzamento del battito cardiaco, questa fase preparatoria disturbava il risultato, sebbene rendesse la situazione più performativa per alcuni dei presenti. Il contenuto video che avevo creato era molto potente, in grado di generare variabilità nei partecipanti, ma in ogni caso troppo forte ed alienante. Talvolta ho preso appunti durante le esposizioni, riflettendo sul modo in cui i partecipanti reagivano all’opera. Ho utilizzando anche il video per fare delle interviste, alcuni hanno provato davvero la sensazione di poter controllare l’opera, integrandosi in modo significativo con il lavoro. Altri non hanno provato nulla, altri ancora sono tornati per testare più volte il pezzo, per scoprire come entrare in relazione con esso, per controllarlo.
“Feel_Insula” è stata installata nella New Greenham Arts Gallery di Newbury nel Regno Unito. Il progetto usa il movimento come modalità di interazione, chiedendo al visitatore di stare fermo per poter interagire. Questa modalità è risultata essere poetica, il video della mia ipnosi ispirava vulnerabilità: l’ho considerato un pezzo riuscito, e godibile nella sua semplicità. “Feel_Perspire” è stato proposto tre volte al Wellcome Department of Neuroimaging, invitando esperti di biofeedbacks e neuroscienziati a partecipare. Alcune parti dell’opera sono riuscite, nonostante alcuni problemi con la sensibilità del sistema GSR, che nuovamente hanno disturbato la naturalezza dello scenario, come nel caso di “Feel_Trace”. I partecipanti si sono però rispecchiati nel video, che si avvicinava al loro stato psicofisiologico. Con “Feel_Perspire” hanno potuto fare esperienza di un livello di controllo, che ha permesso un’esperienza più immersiva. In questo caso hanno potuto provare anche un grande senso di presenza nell’opera.
 |
.
Silvia Scaravaggi: Alla luce di questa panoramica sulle tue ultime videoinstallazioni, ritieni che esse siano dotate di caratteristiche che trascendono i modelli convenzionali di interattività?
Tina Gonsalves : Sebbene le emozioni pervadano la vita di tutti i giorni, non esistevano prima strumenti in grado di sentire, misurare e rispondere alle informazioni affettive. Oggi, le nostre reazioni affettive inconsce possono essere rivelate da tecnologie di monitoraggio fisico, ed attualmente la Computer Scientist Rosalind Picard conduce l’attività di ricerca in questo settore. Come Direttore dell’Affective Computing Group al MIT Media Lab, il suo gruppo di ricerca ha esplorato l’utilizzo di un numero crescente di sensori che possono catturare ed interpretare le diverse manifestazioni fisiche dell’emozione, attraverso modalità differenti, dalla registrazione delle espressioni facciali, all’analisi del tono della conversazione, alla tensione dei muscoli.
Nel mio lavoro spesso guardo a questi nuovi sistemi di monitoraggio con l’intento di leggere le componenti fisiologiche delle emozioni per attivare l’interazione con le immagini in movimento. In modo interessante, sono le chiavi emozionali inconsce a guidare le opere interattive, ma generalmente quando sono utilizzati questi elementi, mancano dati empirici per valutarne la validità. Per questo io voglio lavorare in connessione con la psicologia, la neuroscienza, l’interazione uomo-computer, per sviluppare forti basi empiriche per l’analisi dei dati emotivi trasmessi dal corpo. Con un background empirico, spero di ottimizzare l’efficacia dei metodi bio-sensibili per intraprendere esperienze interattive più profonde per un vasto pubblico. Una sfida concorrente è quella di monitorare questi segnali emotivi del corpo per costruire una progressione estetica, metodi bio-sensibili naturalistici e non invasivi. Spero di investire creativamente sugli sviluppi della neuroscienza affettiva, dell’affective computing e dei materiali intelligenti.
Silvia Scaravaggi: Vorrei riflettere un attimo su termini come interfaccia (incorporata e trasparente); “ambientazioni empatiche” e consapevolezza. Puoi definirne la posizione nel tuo lavoro ed il significato?
Tina Gonsalves: Una visione più intergrata ed olistica della relazione tra soggetti umani e tecnologia è importante in questa ricerca. Merleau-Ponty (1962) affronta la dicotomia soggetto-oggetto: non esiste dualità tra coscienza e corpo oppure tra corpo e mondo esterno. Le nuove tecnologie sensoriali affrontano nuove strade di comprensione dell’interazione uomo-computer in termini di “embodiment”, integrazione, incorporazione. Negli scenari di interaction design, per capire meglio il modo in cui i computer possono identificare, monitorare, rappresentare le risposte emotive nei partecipanti, è essenziale creare un’interfaccia più aderente, incorporata e naturalistica, che generi un senso di presenza e consapevolezza nell’utente. La natura reattiva dell’opera genera un’esperienza del sé, lentamente rivelata attraverso l’esplorazione di una serie di azioni e delle loro conseguenze. Soprattutto voglio far sì che il pubblico senta il proprio corpo, per essere più consapevole dei propri movimenti, del respiro e delle sensazioni fisiche. E per fare questo è necessario creare scenari interattivi più naturali. La maggior parte dei lavori interattivi si basano su metodi convenzionali di interazione “tasto-comando”. L’interazione è piuttosto diretta fai questo, fai quello, muovi così il braccio. Io cerco invece interfacce che si scoprano nel tempo che siano più “trasparenti” ed intime, situate tra le emozioni del corpo, il software del computer e l’esperienza artistica. In un’opera psicofisiologica questo è difficile da ottenere, perché molti sensori devono toccare il corpo per sentirlo. Sto cercando di trovare nuovi strumenti più piccoli, più robusto, più naturali. Gli strumenti GSR possono essere inseriti negli abiti? Nei gioielli? Nell’arredamento?
 |
.
Silvia Scaravaggi: Che relazione intercorre tra un’artista, uno psicologo ed un neuroscienziato? In che modo riuscite a collaborare?
Tina Gonsalves: La mia attuale Synapse Residency, sostenuta dall’Australian Network for Art and Technology, mi dà una fantastica opportunità di entrare nei centri di ricerca internazionali, promuovendo l’innovazione artistica e la sperimentazione, rafforzando i legami tra me, i centri di sperimentazione più avanzati e le compagnie più innovative al mondo per la bio sensorialità. Durante questa residenza, lavorerò come artista alla Brighton and Sussex Medical School, al Wellcome Department of Neuroimaging dell’University College di Londra e come visiting artist con l’Affective Computing Group del MIT. In queste collaborazioni, le mie ricerche arricchiscono le ricerche degli altri, è una comunicazione in due direzioni. Uno dei passaggi fondamentale per me è conoscere il linguaggio della neuroscienza e della computer science; capire a pieno i dati empirici, le metodologie scientifiche è un lavoro che richiede molto tempo ed una formazione continua. Per fare un esempio, nella collaborazione con Hugo Critchley, mentre creiamo le opera, diamo vita anche ad “esperimenti-in-azione” per informare la neuroscienza psicofisiologica e l’affective computing. Di solito gli esperimenti avvengono nei laboratori, luoghi che evocano un senso di scomodità nei partecipanti; creare potenti stimoli audiovisivi, può permettere di ottenere dati più efficaci per identificare le risposte emotive corporee in un ambiente naturale, fuori dai laboratori. Critchley ha detto in passato “ la Gonsalves ha contribuito in modo significativo in numerosi progetti di ricerca neuroscientifica, esplorando stati neuro-immaginifici avanzati indotti durante l’esperienza emotiva e la comunicazione ”. Per il Wellcome Department of Neuroimaging (WDIN), ho dimostrato l’importante ruolo che l’artista può avere nella formazione della conoscenza e dell’innovazione, garantendo nuove prospettive ed opportunità di collaborazione.
Silvia Scaravaggi: Puoi darmi qualche anticipazione del nuovi progetti che stai sviluppando?
Tina Gonsalves: Siamo all’inizio di un nuovo progetto ancor più ambizioso “Chameleon”. Per essere chiara, te lo descrivo com’è costruito, cioè in fasi, utilizzando una struttura ad immagini:
Fase 1. creazione di strumenti per la comprensione del contagio emotivo FOTO 8
Fase 2. creazione di un identificatore reale del contagio emotivo per analizzare le micro espressioni FOTO 9
Fase 3. test di algoritmi emozionali senza interazione umana FOTO 10
Fase 4. mappatura della propagazione del contagio emotivo, algoritmi emozionali per lavorare tra reti FOTO 11
Fase 5. introduzione di alter modalità di interazione, per esplorare l’interazione empatica FOTO 12
Fase 6. installazione finale, introduzione di algoritmi più complessi (personalità) con interazione umana multipla all’opera su multi schermi.
 |
.
Il progetto è guidato dall’espressione emotiva, permettendo ai partecipanti di provocare ed esplorare la comunicazione all’interno ed attraverso i gruppi sociali. L’opera indaga il fondamento dell’empatia e dell’intrattenimento emotivi, analizzando le loro basi scientifiche trasformandole in un’esperienza artistica. “Chameleon” è il prodotto della collaborazione con il neuroscienziato sociale Prof Chris Frith, il Prof Hugo Critchley, e le scienziate del MIT Medialab Dr Rosalind Picard e Dr Rana Kaliouby, a cura di SCAN con il contributo dell’ANAT, della Liminal Screen Residency al Banff New Media Institute, e del Large Art Award della Wellcome Trust. I partecipanti sono invitati in una galleria/spazio sociale. Le loro emozioni sono monitorate attraverso uno strumento d’analisi dell’emotività facciale molto discreto e sensibile con una tecnologia sviluppata dal MIT Media Lab. Ne risulta una selezione di risposte virtuali visive e sonore dell’espressione emotiva mostrate su monitor multipli collegati, che circondano il partecipante. Il contenuto video è composto da footage pre-registrato di mimiche prese da un gruppo selezionato di persone.
Ogni volto, presentato su ogni schermo, svilupperà il suo codice algoritmico emotivo visivo (personalità) basato su studi neuroscientifici affettivi e sociale condotti da Frith e Critchley. Tutti i visi sui monitor si adeguano costantemente alle risposte emotive del gruppo sociale virtuale così come allo stato effettivo del visitatore, tentando di costruire un circuito emotivo empatico tra di loro. Nel tempo le dinamiche sociali e le gerarchie del gruppo divengono chiare ed il gruppo virtuale capisce come adattarsi e rispondere appropriatamente al partecipante. In questo caso la mia ricerca amplifica il lavoro degli scienziati. Per il MIT Media Lab è un’importante area di ricerca, come sottolinea la Picard “ Tina in questo progetto ha l’opportunità di illuminare gli aspetti più umani della comunicazione, esplorando lo sviluppo di nuove tecnologie”. L’utilizzo del real time, ed i metodi di lettura sensoriale, permettono un sostanziale avanzamento dello “stato dell’arte”, offrendo importanti conoscenze sui modelli di comunicazione uomo-uomo, sulla visione computerizzate, sull’indicizzazione ed il processo multimediale.