Riprendiamo da dove ci eravamo interrotti! Questa volta mostreremo alcuni miglioramenti nell'integrazione 3D e completeremo il nostro video clip personalizzato.
Nel nostro precedente articolo di questa serie in 2 parti, abbiamo mostrato alcune eccellenti funzionalità di PFTrack. Questo software non solo risolve il movimento reale della telecamera, ma esegue anche il tracciamento di oggetti 3D.
Nella prima fase, abbiamo realizzato una breve clip di me stessa su uno schermo verde. In secondo luogo, abbiamo introdotto una maschera 3D che deve seguire il movimento della testa in modo più accurato. Fin qui tutto bene!
Riproducendo questa breve sequenza notiamo come abbiamo abbinato la maschera 3D alla rotazione della testa.
Tracciamento degli oggetti 3D in azione. La maschera segue la rotazione della testa per tutta la clip.
Tuttavia, c’è ancora del lavoro da fare sulla maschera perché i lacci, ad esempio, non hanno una forma adeguata attorno alla testa. Allo stesso modo, vogliamo preparare la clip per il render finale, ma la ripresa necessita di alcuni elementi aggiuntivi per un risultato efficace.
In poche parole, abbiamo ancora bisogno di ulteriori modifiche e integrazioni per produrre lavoro 3D di qualità. Quello che abbiamo appena visto è il risultato del tracciamento dell'oggetto.
Il risultato finale sarà qualcosa del genere:
Ci sono molte attività da intraprendere prima di arrivare a questo risultato finale.
Questa è la lista di controllo:
- Risolvere le posizioni dei lacci
- Creazione di geometrie opache
- Geometrie opache di ombreggiatura
- Costruire una rete di ombreggiatura per la maschera
- Illuminazione e rendering
- Rimozione dello schermo verde
- Compositing, correzione del colore ed esportazione finale
Entriamo nel software 3D e iniziamo il nostro viaggio!
Riproduzione della ripresa in un software 3D
Dopo l'esportazione da PFTrack, la ripresa viene riprodotta nel nostro software 3D preferito come previsto. Ciononostante, ci troviamo di fronte a due questioni principali e significative.
I lacci laterali non avvolgono adeguatamente la testa in alcuni fotogrammi. Ancora peggio, sono visibili attraverso il foro della maschera, poiché non c'è alcuna geometria 3D che mascheri il retro della scena.
Non appena riproduciamo la clip, emergono due problemi significativi. Dobbiamo sistemarli! Risolviamo questi problemi principali e troviamo una soluzione adeguata.
Risolvere la posizione dei lacci
Onestamente, questo passaggio potrebbe richiedere del tempo per ottenere un risultato decente. La maschera ha tre lacci:uno nella parte superiore e due ai lati. Devono corrispondere accuratamente al profilo della testa.
Generalmente non esiste uno strumento specifico da utilizzare, ma come regola generale è comune l’adozione di tecniche meno distruttive. Ricordati di ripetere ripetutamente la clip e di controllare che i lacci siano a posto per ogni fotogramma.
Se hai altre alternative, evita di usare la manipolazione diretta del vertice per rimodellare i lacci. Potrebbe funzionare in alcune occasioni, ad esempio spostando piccole porzioni della mesh, ma qui dobbiamo applicare grandi modifiche. A seconda del software utilizzato, dovresti sfruttare i modificatori che non provocano né effetti di allungamento né strane deformazioni complessive.
In Maya, ad esempio, ho trovato lo strumento Reticolo un'ottima soluzione. Crea semplicemente un numero personalizzabile di vertici di controllo, ovvero punti reticolari, attorno alla geometria, ognuno dei quali controlla una porzione specifica della mesh. Di conseguenza, si modifica la forma del pizzo spostando i punti del reticolo nello spazio 3D. In questo modo è facile manipolare il modello senza causare strane deformazioni.
Lo strumento Reticolo è una buona scelta. Se aggiungi alcuni punti del reticolo, puoi modificare la forma complessiva. Aumentando il numero di punti del reticolo, puoi lavorare meglio sui dettagli. 
Esaminando i lacci da diversi punti di vista. Devi essere il più preciso possibile.
Smussa la geometria applicando alcuni strumenti di scultura. Nonostante utilizzi un deformatore come un reticolo, potresti comunque introdurre alcuni piccoli effetti di allungamento. Per evitare ciò, Maya offre una serie di strumenti di scultura.
Per me, il liscio , rilassati e afferra gli strumenti fanno il loro lavoro!
Mascheramento di parti nascoste
Se pensi di renderizzare con la maschera e i lacci, stai preparando la scena in modo errato!
Se è vero che la maschera nasconde una porzione significativa della testa, purtroppo attraverso i fori vediamo ancora parte dei lacci. Quindi, come possiamo nascondere ciò che deve essere nascosto in base al punto di vista della telecamera?
La risposta è relativamente semplice. Dobbiamo aggiungere alcune mesh aggiuntive che funzionino come geometrie opache.
In poche parole, tutto ciò che sta dietro una geometria opaca, dalla prospettiva attuale, è invisibile e non renderizzato. Poiché i lacci appaiono attraverso i fori, duplica parte della geometria della maschera di Jason ma ricorda di riempire i piccoli fori. Successivamente, posizionalo appena dietro la maschera originale.
Se può sembrare un po’ complicato, rendiamo le cose più semplici attraverso immagini autoesplicative.
Mentre il personaggio ruota, i lacci non vengono renderizzati come previsto. In particolare, dalla vista laterale, osserviamo il laccio sul lato opposto:dovrebbe essere bloccato da una finta testa 3D.
Ora costruiamo una forma di testa 3D approssimativa che si comporti come una geometria opaca.
Ricorda di non dedicare molto tempo a perfezionare l'aspetto di quelle geometrie. L'unico requisito è approssimare la forma della testa nel miglior modo possibile.
Abbiamo quasi finito con l'impostazione, ma dobbiamo ancora assegnare uno shader corretto a quelle geometrie.
Come probabilmente avrai notato, utilizziamo ampiamente il termine "matte" quando parliamo di queste mesh.
Qui il termine viene comunemente chiamato maschera, da non confondere con la maschera di Jason, perché impedisce al software di riprodurre ciò che c'è dietro la maschera in base al fotogramma corrente.
Diamo una rapida occhiata alle proprietà dell'ombreggiatura.
Proprietà di ombreggiatura sulle geometrie aggiuntive
Non importa se usi Maya, 3ds Max o così via mentre lavori con l'ombreggiatura. Basta capire come applicare le impostazioni corrette.
Nel nostro caso, utilizziamo Arnold come renderer. Se sei più abituato a utilizzare un altro strumento, vai avanti!
Arnold offre uno shader di superficie multiuso chiamato "aiStandardSurface". Seleziona "Abilita Matte" nella sezione "Matte", dove hai anche due semplici opzioni:
- Colore opaco
- Opacità opaca
Il primo imposta un colore:il nero puro nel nostro caso. Quest'ultimo ha un impatto sul canale alfa .
Per riassumere, creiamo un mascheramento adeguato dal punto di vista della telecamera, ma senza oscurare il filmato originale.
Ad esempio, poiché il laccio posteriore appare attraverso la maschera di Jason in un fotogramma specifico, dobbiamo assegnare alle diverse geometrie un colore nero opaco e impostare Opacità opaca a 0. Il colore nero nasconderà il pizzo posteriore al momento del rendering, mentre il canale alfa farà riapparire gli occhi del filmato originale dove dovrebbero essere!
Vediamo un esempio visivo.
L'opacità opaca impostata su 0 crea un alfa in cui i buchi hanno un colore nero. Ciò garantisce che il filmato originale sarà visibile attraverso i fori.
Se avessimo impostato l'opacità opaca su 1, il canale alfa sarebbe stato completamente bianco, il che significa che sarebbe stato impossibile unire il filmato originale in post-produzione.
Pertanto, tieni presente la semplice configurazione precedente che funziona quasi sempre. Devi integrare modelli 3D con video clip.
Una semplice rete di ombreggiatura per la maschera di Jason
Al giorno d'oggi, quasi tutte le risorse 3D contengono un set adeguato di texture PBR .
Per rinfrescare le tue idee, PBR sta per “Physically Based Rendering”, una tendenza in CGI che mira a migliorare il modo in cui la luce interagisce con gli oggetti 3D. Ciò significa materiali migliori, ombreggiature accurate e così via.
Detto questo, la maschera di Jason ha una serie di texture PBR che sono:
- la mappa dell'Albedo che contiene solo le informazioni sul colore
- la mappa della rugosità indica dove la superficie presenta riflessi sfocati o netti
- la mappa della metallizzazione viene utilizzato per indicare le parti metalliche della mesh.
- la mappa normale memorizza le normali alla superficie per simulare falsi dettagli come dossi, fessure, asperità, ecc…
Lavorare con le texture precedenti significa adottare un flusso di lavoro metallo/rugosità.
La mappa dell'albedo è rappresentata da un po' di sporco. Abbiamo modificato i valori di rugosità per avere un riflesso sfocato e poco profondo. La metallità ha un impatto solo sui bottoni in metallo, mentre la mappa normale influisce principalmente sui lacci, e questo sarà visibile nel nostro rendering finale.
Ecco la rete di ombreggiatura in Maya con alcune semplici modifiche alla ruvidità, alla metallizzazione e al colore generale della maschera.
Una semplice rete di ombreggiatura in Arnold per un materiale PBR . Alcune considerazioni sull'illuminazione
Nel filmato originale, come menzionato nella prima parte di questa serie, ho utilizzato due softbox:uno da sinistra e uno da destra. Inoltre l'intenzione non era quella di aggiungere luci forti sull'argomento. I softbox fungevano invece da fonti di luce per lo schermo verde. Infatti, la rimozione dello sfondo nel compositing è molto più semplice se lo sfondo verde è illuminato uniformemente.
Detto questo, poiché il personaggio originale non ha una luce molto forte proveniente da una direzione precisa, abbiamo abbastanza spazio per personalizzare la nostra illuminazione Maya. Ho deciso di optare per uno schema di illuminazione a 2 punti.
Ho poi aggiunto un aspetto più drammatico alla maschera diminuendo l'intensità della luce dell'area sinistra.
Nel prossimo test di rendering, puoi vedere il senso di drammaticità dovuto al contrasto e ai colori scuri sul tessuto. Inoltre, il rapporto di illuminazione —tasto da riempire—è abbastanza alto da aumentare la tensione.
Un rapido test di rendering utilizzando uno schema di illuminazione a 2 punti. Abbiamo mantenuto la geometria opaca di proposito, solo per vedere come le geometrie opache coprivano le parti necessarie. Produrremo un rendering diverso nel nostro scatto finale, ma con questo esperimento volevo mostrarti come ottenere un aspetto drammatico con solo due luci e un po' di composizione.
In alternativa, ti invito a testare la tua scena Maya con un'immagine HDR e il tuo schema di illuminazione.
È ora di eseguire il rendering dell'animazione
Eseguiamo il rendering della maschera di Jason con l'aiuto delle nostre precedenti geometrie opache!
Di conseguenza, vorremmo che un livello indipendente in After Effects fosse composto sul metraggio originale.
Inoltre, abbiamo aggiunto un po' di nebbia dalla Libreria di Shutterstock.
Al momento, quello che vedi nel video qui sotto è il puro risultato del renderer Maya Arnold —finora non sono state apportate altre correzioni.
La maschera viene renderizzata con uno strato di nebbia aggiuntivo.
Dal rendering precedente possiamo testare l'opacità e la presenza di parti di rendering corrette mentre la maschera si muove. La nebbia, ad esempio, è visibile attraverso i fori della maschera e il rendering del pizzo funziona correttamente.
Fin qui tutto bene!
Ora, la seguente sequenza di immagini rappresenta la correzione del colore applicata alla maschera per abbinare il filmato principale con un'immagine di sfondo.
I seguenti effetti sono stati applicati per migliorare l'integrazione con l'ambiente di sfondo, ma è anche possibile considerare contemporaneamente la corrispondenza dei colori della maschera con il metraggio originale.
Un po' di contrasto aggiunto al rendering originale 
Effetto dei livelli 
Effetto grana e curve 
Effetto tinta 
Effetto sfocato 
Effetto livelli per renderlo un po' più scuro
Sebbene la correzione del colore sia un elemento della post-produzione, esistono molti modi per ottenere una buona integrazione.
Solitamente lavoro sui componenti RGB separatamente, lavorando su singoli canali. In alternativa, una soluzione economica e veloce consente di aggiungere un effetto tinta a uno strato target campionando i punti bianchi e neri da un altro.
Prova entrambe le soluzioni e valuta quale funziona meglio per te!
Aggiunta del metraggio originale ad After Effects
Prima di concentrarmi sul filmato principale, vorrei spendere qualche parola sulla rimozione dello schermo verde dal soggetto principale.
Come sai, il colore verde è il chroma key e può essere facilmente estratto da un plug-in in After Effects denominato Keylight —versione 1.2, nel mio caso.
Ha diverse opzioni, ma nel complesso è piuttosto semplice. Tuttavia, l’impostazione varia da caso a caso. Ecco un breve elenco dei principali passaggi essenziali da seguire.
- Prendi il colore dallo sfondo. Scegli l'area più pulita e uniforme dello schermo verde
- e regola il guadagno schermo e Bilanciamento schermo per perfezionare il risultato
- Nella Correzione colore bordi sezione, gioca con quasi tutti i parametri. Questa sezione è fondamentale quando si lavora su aree vicine ai bordi. Senza una corretta sintonizzazione, è probabile che il soggetto presenti un contorno evidente e artificiale
A volte la Soppressione del colore dei bordi la sottosezione potrebbe aiutare. Nel mio caso non l'ho utilizzato perché ne avevo già ottenuto uno bello e un ottimo con le opzioni precedenti.
Filmato originale 
Estrazione dello schermo verde 
Effetto tinta ma ancora nessuna corrispondenza di colore 
Effetto colore Lumetri 
Un po' di sfocatura gaussiana Dettaglio che mostra il bordo della giacca
Ho trovato Effetto colore Lumetri particolarmente utile. Permette di giocare con le luci, le ombre, i bianchi, i neri, e così via; mi ha aiutato a smorzare il riflesso speculare sulla mia giacca e allo stesso tempo a creare una corretta corrispondenza dei colori con lo sfondo.
Nell'ultima immagine puoi apprezzare la bella transizione della giacca verso lo sfondo.
Aggiungiamo di nuovo la maschera
Lo sfondo, la maschera e il filmato originale funzionano bene insieme. Se osservi nuovamente la composizione finale, noterai quanto sia importante dedicare tempo ai dettagli.
La pulizia dell'animazione della maschera è uno dei primi compiti da considerare durante le prime fasi dell'intero processo. Una volta che l'animazione è PFTrack, potresti incontrare alcuni fotogrammi da rifinire.
Nel mio caso, fortunatamente, non ho avuto problemi minimi o nulli poiché il tracciamento della geometria ha funzionato bene fin dall'inizio, ed è per questo che non ne abbiamo parlato.
Ricorda solo di controllare l'animazione fotogramma per fotogramma e, nel caso, di utilizzare un editor nel tuo software 3D per perfezionare il risultato.
Inoltre, considera di lavorare su dettagli come la posizione dei lacci, che deve corrispondere al movimento della testa durante la clip.
Ecco alcuni fotogrammi del video che mostrano la posizione dei lacci. Ho usato una LUT diversa per aggiungere più contrasto.
Vediamo una porzione molto piccola dell'orecchio che spunta fuori come dovrebbe essere 
Da una prospettiva diversa i 2 lacci avvolgono la testa Mentre la testa gira, i lacci superiori e laterali sembrano attaccati alla testa se noti che la posizione del pizzo necessita di essere modificata in pochi fotogrammi, puoi continuamente aggiungere in post-produzione un effetto benefico chiamato Mesh Warp. Crea una griglia in cui ogni punto controlla una particolare area del metraggio, simile al Lattice Deformer che abbiamo utilizzato nel software 3D.
Poiché si consiglia di applicarlo per piccole modifiche, assicurati un'animazione quasi perfetta e solida dal software 3D.
Un effetto di distorsione mesh applicato Considerazioni finali
Spero che tu abbia imparato molto da questa serie in due parti e che ora comprenda il flusso di lavoro che prevede l'integrazione di elementi in filmati personalizzati.
Ecco una nuova clip esportata con più contrasto e una LUT diversa.
Abbiamo utilizzato una maschera che copriva il viso, quindi i pennarelli neri originali sono quasi tutti coperti, anche se alcuni appaiono nella clip ma non distraggono affatto lo spettatore e funzionano bene nello scatto finale.
Se i marcatori fossero stati così visibili sulla pelle, non nel nostro caso, avresti potuto utilizzare il riempimento in base al contenuto in After Effects per rimuoverli dalla composizione originale.
Con pennarelli neri 
Senza pennarelli neri Con questa funzionalità, puoi tracciare una maschera attorno a ciascun pennarello nero e After Effects trova la migliore area di campionamento da sostituire.
Se trovi interessante l'articolo ti invito a seguirmi sulla mia pagina Linkedin per altre novità in arrivo.