Nel corso degli anni, i registi hanno sperimentato una miriade di idee e metodologie artistiche. Creare e infrangere regole crea nuovi percorsi attraverso il mezzo, cambiando e perfezionando il modo in cui i film sono assemblati.
Così come l'avvento delle nuove tecnologie.
All'inizio, i registi interessati all'idea del montaggio procedurale creavano complesse equazioni matematiche per determinare come le scene potevano essere tagliate per creare tensione o aggiungere dramma. Potrebbero anche tagliare per abbinare la lunghezza di un punteggio o per ottenere una congruenza matematica con un'altra variabile nel loro progetto.
L'introduzione delle stampanti ottiche ha consentito ai registi di riprendere strisce di pellicola, aprendo le porte alla creatività e agli effetti speciali.
In anni più recenti, hardware e software potenti, insieme ai linguaggi di programmazione, hanno consentito agli artisti di compiere ulteriori passi per far crescere il loro lavoro. Mentre gli approcci di editing procedurale soppiantano le idee di creatività e visione per la matematica e le scienze, in essi c'è un metodo. Se considerate come strumenti per comunicare una visione o dare sfogo alla creatività, la matematica e la scienza hanno molto da offrire al regista.
Un esempio di idea o concetto che è stato utilizzato, in una forma o nell'altra, per la parte migliore di un secolo è l'editing algoritmico.
Cos'è la modifica algoritmica?
Sebbene sembri complesso, l'editing algoritmico nella sua forma più semplice si riferisce al montaggio di filmati su uno schema o un piano.
Questo schema potrebbe essere semplice come "ogni quattro fotogrammi, passare dalla telecamera A alla telecamera B per due fotogrammi, quindi tornare alla telecamera A", o anche più semplice:"usare un fotogramma di metraggio da A e uno da B, e ripetere ."
Questa idea che le riprese seguiranno una tabella di marcia pre-pianificata o un approccio procedurale diretto è la base per l'editing algoritmico. In termini che possiamo capire, si riferisce a una tecnica per tagliare e rimontare filmati in base a uno schema, un contorno o un modello.
Prima di andare troppo oltre, un algoritmo stesso è, secondo la brava gente di Oxford, "un processo o un insieme di regole da seguire nei calcoli o in altre operazioni di risoluzione dei problemi, specialmente da un computer".
Questo è un modo perfetto per descrivere e introdurre l'editing algoritmico. I primi registi visionari come Dziga Vertov e Sergei Eisenstein hanno adottato un approccio matematico e schematico ai loro montaggi e scene all'interno dei loro film, creando complesse tabelle di montaggio per guidare i loro progetti.
Mentre la visione di Eisenstein permetteva al pubblico di vedere l'aspetto ideologico dei film che stavano guardando attraverso l'influenza emotiva e psicologica intrisa dal suo uso di questa tecnica, Vertov credeva in realtà che le sue tecniche matematiche ripulissero il processo e potessero portare al miglioramento dell'umanità a causa al metodo infallibile e assolutamente preciso che ha seguito.
Un paio di articoli incredibili del regista con sede a Winnepeg, Clint Enns, descrivono la storia e l'applicazione pratica del montaggio algoritmico in modo più dettagliato di quanto questo scrittore possa persino comprendere. Come supplemento a questo articolo, ti consigliamo vivamente di leggere i suoi lavori.
Mettilo in uso
Molti altri primi registi hanno utilizzato tecniche di montaggio algoritmico con grande efficacia, molti nella creazione di film esperienziali. Il concetto si presta sicuramente ad approcci più avanguardistici al cinema.
Prendi, ad esempio, l'idea di un film flicker di base. Usando due pezzi di metraggio, uno tutto nero, l'altro tutto bianco, modificando insieme un pezzo che prende un fotogramma da una clip e poi dall'altra, ripetendo fino alla fine delle clip. Questa tecnica produrrebbe un risultato davvero unico e probabilmente nauseante. Detto questo, è un approccio algoritmico molto puro.
La natura lineare di quel pezzo, tuttavia, non deve necessariamente essere la norma per i progetti modificati algoritmicamente. Molti algoritmi sviluppati nel software conterranno variabili casuali che potrebbero modificare una parte dell'equazione.
Quindi prendiamo lo stesso progetto, ma aggiungiamo una variabile casuale per gestire quanti fotogrammi scegliere solo dalla seconda clip, lasciando solo un singolo fotogramma dalla prima clip. Quello che avremmo ottenuto sarebbe un fotogramma dal clip uno, un numero casuale di fotogrammi dal clip due, un altro singolo fotogramma dal clip uno... ecc.
Cosa c'è di diverso?
Sebbene questo sia un approccio non ortodosso all'editing, probabilmente sembra anche quasi impossibile usare gli strumenti che la maggior parte di noi usa ogni giorno. Questo ci porta a capire come il montaggio algoritmico sia diverso dal nostro approccio filmico.
Quando modifichiamo clip in Premiere Pro, FCPX, Media Composer o qualsiasi altra piattaforma preferita, consideriamo il nostro filmato come un clip, qualcosa con un inizio, una parte centrale e una fine, che taglieremo via. È molto basato sulla sequenza temporale, e giustamente; le nostre piattaforme di montaggio si basano sul montaggio di film. Quando rilasciamo un clip nella nostra timeline, stiamo guardando l'equivalente digitale di un clip di film analogico.
Nell'editing algoritmico, l'approccio consiste nel considerare il metraggio in modo diverso:non lo stiamo accedendo allo stesso modo. Non stiamo guardando l'intera clip e non stiamo decidendo cosa tenere e cosa eliminare. Usando questa tecnica stiamo considerando l'accesso diretto a qualsiasi fotogramma di qualsiasi clip all'interno di una posizione. Quella posizione potrebbe essere un database o semplicemente una cartella sul tuo computer.
Questo non è per togliere le nostre piattaforme di editing—ci permettono sicuramente di accedere a ogni singolo fotogramma di ogni clip che importiamo—ma per mettere insieme una composizione anche usando uno schema semplice come "un fotogramma da A, un fotogramma da B , ripeti” sarebbe oneroso e dispendioso in termini di tempo.
Scrivere un frammento di codice per gestire lo stesso processo richiederebbe pochissimo tempo. Il codice accede al filmato non come un pezzo di film, ma come un contenitore pieno di dati, quindi una cartella o un database è come un gigantesco contenitore pieno di dati audio e video da ogni fotogramma in esso contenuto.
Quindi, se il codice può accedere direttamente a qualsiasi fotogramma di qualsiasi clip in un contenitore, allora dovrebbero esserci un sacco di possibilità per utilizzare l'editing algoritmico in modo creativo. È possibile utilizzare le variabili esistenti in un pezzo di metraggio, come la variazione dei pixel e le deviazioni dell'audio, per determinare in modo programmatico dove eseguire i tagli e come rimettere insieme un pezzo di metraggio.
In base a tale descrizione, il modello per i punti di modifica può anche essere una partitura musicale. Cory Arcangel ha fatto una manciata di esperimenti impressionanti usando la musica come driver di modifica. Un esempio del suo lavoro include un video su YouTube del Quinto Capriccio di Paganini, montato insieme da centinaia di video didattici per chitarra. Ciò è stato probabilmente ottenuto utilizzando il pezzo originale e scrivendo un algoritmo che ha analizzato il database dei video di YouTube alla ricerca di note che corrispondessero. Sebbene sia difficile da guardare, il risultato è un eccellente esempio di editing algoritmico al lavoro.
Chi lo sta facendo?
Un ottimo esempio di talento moderno che utilizza l'editing algoritmico e dimostra esattamente come lo fa è Devon Crawford, un giovane e brillante programmatore canadese che ha esplorato il software e l'ingegneria elettrica attraverso le sue ricerche e le ha documentate su YouTube.
Il canale di Devon copre un'ampia gamma di argomenti di interesse per la folla di sviluppo software favorevole alla tecnologia, come la recensione di un gioco che ha codificato al primo anno di università, il download dei tuoi dati privati di Google e la scoperta di cose pazze al riguardo:come è entrato codifica e così via.
Devon, a quanto pare, da allora è passato a progetti più grandi che non vengono documentati così da vicino online, ma uno dei suoi esperimenti più interessanti riguarda l'uso di algoritmi per modificare clip per lui in base al codice.
In questo video scrive un programma che monta un video per lui, in cui sperimenta un po' le variabili per diversi risultati. Quando arriva a perfezionare l'applicazione, utilizza il rilevamento del movimento (ricordate la variazione dei pixel?) per determinare i tagli al suo video, in pratica creando un video che utilizza porzioni dei suoi clip con la massima differenziazione.
Abbastanza interessante, vero? Negli ultimi anni ci sono state aziende che speravano di sfruttare questo tipo di tecnologia per modificare automaticamente i filmati delle action cam. Con cieli azzurri e wakeboard rosa acceso, un algoritmo come quello di Devon avrebbe probabilmente fatto un buon lavoro come un editor fisico.
Altre organizzazioni hanno sperimentato la modifica automatizzata o algoritmica. La Disney ha creato un algoritmo di editing multicamera che utilizza diverse variabili per determinare i punti di montaggio. Nel loro progetto, il software stima il movimento 3D di ciascuna telecamera, consentendole di bloccare ciò a cui le telecamere prestano maggiore attenzione. Ciò consente al software di determinare correttamente quando e dove eseguire un taglio su un'altra fotocamera. L'algoritmo della Disney può anche determinare quale fotocamera ha la visuale migliore del soggetto e passare ad essa, quindi il taglio non è solo tempestivo, ma anche intelligente.
Non proprio un editore umano, ma sicuramente sempre più vicino.
Cosa riserva il futuro...
Mentre molti di noi manterranno il nostro approccio cinematografico al montaggio, va notato che l'apprendimento automatico e l'applicazione di algoritmi sono già stati intorno a noi per un po' di tempo. Gli algoritmi determinano l'upscaling e l'ottimizzazione del rendering, l'interpolazione dei fotogrammi chiave e altri aspetti del nostro lavoro. Algoritmi più complessi continueranno a dare forma a tutto il nostro lavoro, poiché aziende come Adobe continuano a concentrarsi sull'apprendimento automatico con Adobe Sensei.
Non del tutto convinto? Dai un'occhiata alla funzione Content Aware Fill di After Effects. Esamina i pixel circostanti ed effettua una stima per colmare un vuoto in tempo reale.
Quindi, sia che scegliamo di avvicinarci al montaggio da un punto di vista programmatico o di attenerci al nostro approccio tradizionale, gli algoritmi sono in circolazione nel cinema da un secolo e continueranno ad essere sempre più intrinseci alle nostre funzioni di montaggio nel tempo. In futuro l'editing algoritmico diventerà "editing automatizzato"? Probabilmente in alcuni casi, ma probabilmente c'è un argomento a favore.
Quindi il futuro del cinema ha un uso per il montaggio algoritmico? Immagina uno scenario in cui un software taglia ed esegue automaticamente 25 tagli di massima di un film. Lo studio riunisce il pubblico di prova per guardare le bozze mentre telecamere, sensori e software aggiuntivo misurano le loro reazioni a ogni singolo fotogramma del video. Sulla base di questi dati, lo studio assembla un "taglio perfetto" finale.