Nel video creato per Kazu Makino, una combinazione di fotogrammetria, che Rhizomatiks ha sviluppato in diversi progetti passati, e di software e hardware innovativi viene utilizzata per raccogliere numerosi dati e realizzare un’opera omogenea di realtà mista su vasta scala. La tecnica per creare dati 3D di ballerini si basa sulla fotogrammetria. La fotogrammetria consente la creazione a partire da immagini fisse catturate da diverse angolazioni di dati 3D, che altrimenti possono essere ricostruiti partendo da dati 2D.
Rhizomatiks ha utilizzato per la prima volta la fotogrammetria per dei ballerini nel progetto con le Perfume del 2012, in cui l’algoritmo si basava su delle sagome. Non era abbastanza sofisticato da catturare nel dettaglio le espressioni delle superfici facciali, e la texture non era uniforme. La qualità però è migliorata a tal punto che Rhizomatiks ora utilizza questa tecnica in molti progetti. Oltre ai dati 3D che utilizzano la fotogrammetria, anche oggetti statici come la superficie terrestre vengono scansionati con scanner laser per ottenere dati 3D.
Sebbene questo metodo di sintesi di diversi dati 3D nello stesso spazio venga utilizzato dal 2012, come si può notare nella nostra collaborazione con le Perfume al SXSW nel 2015 o nei video musicali di Nosaj Thing e Chance the Rapper, era la prima volta che venivano gestiti così tanti ballerini e così tanti dati ambientali.
Il video musicale rappresenta una ripresa unica in cui il pubblico può ammirare una transizione omogenea fra il mondo reale e il mondo 3D utilizzando tecniche di elaborazione CGI, che includono dati di volo dei droni, analisi di immagini digitali provenienti da dati di scatto 2D, dati di fotogrammetria ricavati da modelli tridimensionali di CGI, e dati di scanner laser 3D che utilizzano emissioni laser per fornire dati di mappatura 3D della superficie di alta qualità. Per prima cosa, abbiamo ripreso i ballerini con 32 telecamere utilizzando le tecniche di fotogrammetria. I filmati delle 32 telecamere vengono allineati nella matrice per essere resi in 3D. I ballerini sono stati riprodotti interamente in CGI.
Inoltre, con l’utilizzo di FARO, uno scanner laser che consente la creazione di dati di mappatura 3D della superficie dell’area di alta qualità, Ponderosa Music & Art ha convertito lo spazio in dati 3D prendendo dall’ambiente un’ampia gamma di dati di nuvole di punti 3D e di dati di materiale testurizzato. Grazie a queste tecnologie, i ballerini e la superficie sono stati sintetizzati per coesistere nello stesso spazio 3D elaborando i dati 3D sia dei ballerini sia della superficie. Oltre a ciò, Ponderosa ha utilizzato droni ed effetti CGI per rendere il video più dinamico.
Per riprendere le scene negli spazi reali, Ponderosa ha affrontato con successo la sfida di riprodurre i diversi momenti del giorno, ovvero mattino, mezzogiorno e notte, utilizzando i droni. È stata migliorata la precisione della traiettoria di volo, dell’altitudine, della direzione della telecamera e del tempo di rotazione dei droni attraverso ripetuti test e utilizzando GPS e la programmazione di Litchi, una app di volo indipendente.
Gli effetti delle nuvole di punti di Kazu vengono generati su Houdini utilizzando le informazioni di colore dei punti o i dati di contorno provenienti da dati di visualizzazione 4D. L’effetto dell’ultima scena, un effetto scia, è generato con linee di particelle, e si compone di nuvole di punti all’interno del modello che segue il movimento basato su dati di visualizzazione 4D. Anche per l’effetto onda il modello 3D della superficie terrestre viene utilizzato con spostamento, in modo che l’onda scorra in modo uniforme disponendo la mappatura UV e i poligoni secondo gli strati della superficie terrestre.