Skyglass" utilizza il sensore LiDAR di iPhone per la produzione virtuale in tempo reale. Entriamo nel dettaglio di questa nuova prospettiva cinematografica.
NAB è così grande che a volte puoi scoprire aziende one-man-band che sono riuscite a ottenere uno stand quasi senza soldi proprio all'ultimo minuto, ea volte sono le più interessanti. Il problema principale è trovarli nelle sale cavernose di questo enorme evento.
Quest'anno, il primo NAB in tre anni, hanno partecipato più di 900 aziende, di cui circa 160 principianti. Se non sei mai stato al NAB, ci sono sale, come la North Hall, per esempio, che sono davvero enormi.
Aziende come Blackmagic Design e Adobe sono in questa sala, denominata Crea all'interno del nuovo modo di semplificare gli argomenti di NAB. Ci sono anche sale che sono classificate come Maiuscole , Connetti e Contenuti intelligenti .
Le cabine più grandi sono appesantite verso la parte anteriore della sala e non i parcheggi dietro. Ciò significa che camminando verso il retro, le cabine iniziano a diradarsi e iniziano a diventare molto più piccole. È qui che puoi scoprire alcune tecnologie eccitanti, anche se alle prime armi.
Skyglass di Ryan Burgoyne è uno di quelli. Ryan lavorava per Apple. Ha lavorato lì per sei anni come ingegnere senior nel team che ha creato Reality Composer, uno strumento per semplificare agli sviluppatori la creazione di app AR.
Ha fondato Skyglass nel novembre 2021 per rendere le tecniche di produzione virtuale accessibili a registi indipendenti e piccoli studi.
Cos'è Skyglass?
L'idea di Ryan era di sviluppare un'app e un servizio di rendering cloud che si rivolgesse ai creatori di contenuti che non potevano permettersi un set virtuale o telecamere costose e il loro monitoraggio. Voleva utilizzare il sensore LiDAR introdotto nell'iPhone da iPhone 12.
Descrive la sua visione,
La sua idea era quella di utilizzare LiDAR, che misura il viaggio della luce da e verso un oggetto e le posizioni che obiettano virtualmente. La sua app prendeva quindi i dati da LiDAR e li inviava al cloud, dove Unreal Engine li rendeva con la prospettiva della fotocamera consentita da LiDAR. Il rendering viene quindi trasmesso in streaming al telefono per la composizione in tempo reale con filmati dal vivo.
In effetti, Skyglass sta tracciando la posizione e l'orientamento della fotocamera del telefono e trasmettendola in streaming al cloud, dove viene creato e rispedito il rendering di un ambiente virtuale.
Di cosa hai bisogno?
Skyglass afferma che tutto ciò di cui hai bisogno per iniziare con gli effetti visivi in tempo reale è un iPhone con l'app Skyglass e una connessione Internet (si consiglia una velocità di download di almeno 10 Mbps). Skyglass richiede lo scanner LiDAR disponibile su iPhone 12 Pro, 12 Pro Max, 13 Pro o 13 Pro Max.
Skyglass include una libreria di ambienti virtuali tra cui scegliere per ampliare il servizio. Puoi persino creare il tuo ambiente virtuale creando un Asset Pack e caricandolo su Skyglass Cloud o Skyglass Server.
Skyglass ha il suo plug-in Unreal Engine chiamato Forge per creare un Asset Pack, oppure puoi importare modelli 3D che hai creato o utilizzare l'Unreal Asset Marketplace.
Se vuoi mettere a punto il tuo composito, puoi scaricare solo le lastre di sfondo da Skyglass Cloud o Skyglass Server e le tue riprese con schermo verde dal tuo iPhone e importarle in editor come Nuke, Fusion, After Effects, ecc.
Utilizzo di altre videocamere
Esistono modi per utilizzare fotocamere migliori rispetto agli iPhone lanciati di recente per Skyglass. Ma ciò comporta la calibrazione degli offset tra l'iPhone e i sensori delle telecamere cinematografiche, ad esempio tramite una rete NDI. Sembra piuttosto complicato, ma consente il rendering dei metadati di messa a fuoco, diaframma e zoom degli obiettivi nativi in modo che corrispondano alle riprese acquisite.
Speriamo di poter scoprire di più su Skyglass da Ryan e provare l'app da soli. Se sei al NAB, trovalo nella North Hall allo stand 1138 o controlla il suo sito Web all'indirizzo www.skyglass.com/.