Matchmoving

Match moving és un terme anglès utilitzat en la cinematografia que podríem traduir com a “igualació de moviment”. Consisteix en el càlcul 3D d'una escena per tal d'integrar-hi elements digitals i que aquests siguin percebuts com a reals dins de l'escena, poden ser inserits en tot tipus de seqüències respectant l'escala, la posició, el moviment i l'orientació dels altres elements de la presa. Això es fa mesurant la trajectòria de la càmera, els seus paràmetres interns i els objectes en moviment. Està relacionat amb la rotoscòpia i la Fotogrametria.

Algunes vegades és confós amb Captura de moviment, que és una tecnologia utilitzada per registrar el moviment dels objectes i dels actors en un espai controlat que utilitza cambres amb sensors de moviment. També és diferent de la tecnologia coneguda com a motion control photography, la qual utilitza un braç robòtic per reproduir múltiples i idèntics moviments de càmera. El matchmoving, en canvi, s'aplica després d'haver registrat el material de vídeo de forma normal en espais dels que no es té el control i amb una càmera convencional.

Es tracta d'una tècnica que es basa principalment en programari, per tant el match moving ha vist incrementada la seva aplicació alhora que el cost dels ordinadors ha disminuït, i actualment és una eina d'efectes visuals molt utilitzada.

Professionals involucrats

En el procés del matchmoving podem trobar principalment quatre professionals involucrats: el supervisor d’efectes especials, el director tècnic, el matchmover i l'animador.

El supervisor d'efectes especials és l'encarregat de mesurar les peces i distàncies clau de l'escena. També contempla els factors de la càmera (lent, distància focal…) i la posició de la llum. Aquestes dades són suficients perquè el director tècnic i l'animador comencin a crear l'escena.

Per altra banda el matchmover va marcant els punts 2D importants de l'espai, normalment aquells immòbils com ara les cantonades d'un edifici. A partir d'aquests punts el programari calcula el moviment de la càmera i es pot exportar l'escena a un programa d'animació 3D.

El matchmover afegeix la càmera animada a l'escena creada per l'animador y el director tècnic, que és físicament equivalent a la real i per tant es fusionarà perfectament donant una aparença real a la incorporació d'un element gràfic com un monstre, una explosió, un tatuatge... Els quals apareixeran amb la perspectiva i escala adequades en tot moment.

Procediment

Identificació de punts clau amb match moving

A partir del matchmoving es pot recrear un entorn 3D partint d'un espai 2D. Per això s'hauran d'analitzar desenes de punts que permetran al software crear un escenari virtual tridimensional equivalent a l'original, on s'hi podran aplicar mascares i objectes amb total precisió. El procés està compost per 4 fases:

Preparació: Una part important del matchmoving és la preparació. Aquesta consisteix en identificar els punts clau en l'escenari de gravació i identificar-los amb les anomenades “marques de tracking”. Aquestes facilitaran considerablement la tasca de fer la detecció del moviment de càmera, i tot i que després s'hagin d'eliminar en postproducció, això serà molt més fàcil que realitzar el matchmoving sense cap tipus de marca.

Rastreig: Consisteix en identificar característiques, punts específics de la imatge que l'algorisme del software pugui seguir a través dels diferents quadres. Aquests punts sovint són cantonades o punts estables d'un objecte real, i un cop rastrejats estableixen una sèrie de coordenades que serviran per calcular la informació 3D.

Calibratge i núvol de punts: El calibratge és el pas que consisteix a recrear el moviment de la càmera en un marc 3D. Les característiques de la càmera són utilitzades a la inversa que en el procés de gravació, es consideren paràmetres com la posició, l'orientació, la distància focal o la percepció de la llum per deduir la posició de cada element en l'espai real. Per fer coincidir correctament els punts amb el moviment, sovint es calibren els errors que pugui haver a ma, aquest pas és anomenat refinament.

Amb el calibratge es crea un conjunt de punts anomenat “núvol de punts” i és a partir d'aquest que podem convertir inversament la imatge 2D en un model virtual 3D.

Abans d'això però, s'ha de definir un pla terra: un pla on se situen la càmera i el núvol i que determina l'escala, l'orientació i l'origen de la projecció.

Reconstrucció: En aquesta fase és on es creen finalment els objectes tridimensionals sobre l'escena fotografiada. Aquesta tècnica està relacionada amb la fotogrametria. En aquest cas en particular, ens referim a utilitzar programari de transferència de coincidències per reconstruir una escena de material addicional.

Un programa de reconstrucció pot crear objectes tridimensionals que imiten els objectes reals de l'escena fotografiada. Usant dades del núvol de punts i l'estimació de l'usuari, el programa pot crear un objecte virtual i, a continuació, extreure una textura del material que es pot projectar a l'objecte virtual com una textura superficial.

2D vs 3D

L'aplicació del matchmoving varia molt depenent de les característiques de la seqüència.

Si la gravació original no té una gran variació en termes de perspectiva de càmera, es pot realitzar el treball a partir del pla bidimensional. En aquest cas el procés serà molt menys complex, ja que serà com editar una fotografia immòbil.

En canvi, si es tracta d'una seqüència amb moviments i canvis de perspectiva haurem d'utilitzar el model virtual 3D i tot el procediment que comporta.

Seguiment automàtic vs. interactiu

Hi ha dos mètodes pels quals la informació de moviment es pot extreure d'una imatge. El seguiment interactiu, de vegades anomenat "seguiment supervisat", depèn de l'usuari de seguir funcions a través d'una escena. El seguiment automàtic es basa en algoritmes informàtics per identificar i fer un seguiment de les funcions a través d'un tir. Els moviments de punts seguits s'utilitzen per calcular una "solució". Aquesta solució es compon de tota la informació de la càmera, com ara el moviment, la distància focal i la distorsió de la lent.

L'avantatge del seguiment automàtic és que l'ordinador pot crear molts punts més ràpid que els humans. Es pot analitzar una gran quantitat de punts amb estadístiques per determinar les dades més fiables. El desavantatge del seguiment automàtic és que, depenent de l'algoritme, l'ordinador es pot confondre fàcilment a mesura que prossegueix els objectes a través de l'escena. Els mètodes de seguiment automàtics són particularment ineficaços en captures que impliquen un moviment ràpid de la càmera com el que es veia amb el treball de càmera de mà i en tirs amb matèria repetitiva com rajoles o qualsevol tipus de patró habitual quan una àrea no sigui molt diferent. Aquest mètode de seguiment també pateix quan un tir conté una gran quantitat de desenfocament de moviment, fent els petits detalls que més difícilment distingir.

L'avantatge del seguiment interactiu és que un usuari humà pot seguir les funcions a través d'una escena completa i no es confondrà amb funcions que no siguin rígides. Un usuari humà també pot determinar on es troben les característiques en un tir que pateix un borrós de moviment; és molt difícil que un rastrejador automàtic trobi correctament les funcions amb altes quantitats de desenfocament de moviment. El desavantatge del seguiment interactiu és que l'usuari introduirà inevitablement petits errors a mesura que segueixen els objectes a través de l'escena, el que pot conduir al que s'anomena "deriva".

El seguiment de moviments a nivell professional s'aconsegueix normalment mitjançant una combinació de tècniques interactives i automàtiques. Un artista pot eliminar punts que són clarament anòmals i utilitzen "mates de seguiment" per bloquejar la informació confusa del procés de seguiment automàtic. També es fan servir mates de seguiment per cobrir les àrees del tir que contenen elements mòbils com ara un actor o un ventilador de teixit.

Tracking mattes

Un matte de rastreig és similar en conceptes a un mat d'escombraries que s'utilitza en la composició matte itinerant. Tanmateix, el propòsit d'un matte de seguiment és evitar que els algorismes de seguiment utilitzin punts de seguiment poc fiables, irrellevants o no rígids. Per exemple, en una escena on un actor avança davant d'un fons, l'artista de seguiment voleu utilitzar només el fons per fer un seguiment de la càmera a través de l'escena, sabent que el moviment de l'actor sortirà dels càlculs. En aquest cas, l'artista construeix un matte de seguiment per seguir l'actor a través de l'escena, bloquejant aquesta informació del procés de seguiment.

Història de la tècnica

Els inicis del matchmoving es remunten a la creació del sistema de tracking en 2D.

Curiosament aquest va ser desenvolupat pel departament de defensa dels EUA, que ho va utilitzar per fer un seguiment de míssils. El primer cop que va ser utilitzat en efectes visuals va ser l'any 1985 per part del New York Institute of Technology (NYIT), on Tom Brigham i J.P. Lewis van implementar una técnica utilitzada a anuncis de televisió de National Geographic. En aquests anuncis apareixia una moneda d'or que viatjava en un Arc, i el tracking va permetre sincronitzar el moviment de la moneda amb les imatges.

Tom Brigham i Douglas Smythe van rebre un premi de l'acadèmia d'assoliment tècnic l'any 1993 per l'invenció del “morphing”, el mètode de convertir progressivament un element real en una altra imatge.

Més endavant Discreet va portar el tracking i tota una sèrie d'innovacions al món dels efectes visuals amb l'anomenat sistema Flame, que ja va ser utilitzat a algunes produccions com Super Mario Brothers (1993).

El tracking va anar prosperant, i a inicis dels 90 ja es començava a utilitzar en 3D. Al principi un matchmover professional podia treballar fins a uns 50 fotogrames per dia i s'havien d'utilitzar diverses tècniques de control de moviment en el rodatge. Era un procés manual i per tant molt lent i imperfecte, però amb l'evolució dels ordinadors i la seva capacitat de fer càlculs complexes el match moving també va avançar.

Una de les primeres produccions cinematogràfiques que va utilitzar el match moving va ser Jurassik Park (1993), on la incorporació d'efectes especials era tot un repte, sobretot en escenes de moviment.

Steve Sullivan i Eric Schafer van desenvolupar el primer software de matchmoving, MARS7, el qual va rebre un premi de la acadèmia.

Actualment la tecnologia informàtica ha evolucionat notablement i així també ho ha fet el sistema de matchmoving, que compta amb numerables softwares cada cop més avançats per tal que els directors puguin treballar més lliurement en relació als moviments de càmera.

Actualitat

Avui en dia gairebé totes les produccions audiovisuals (anuncis, sèries, pel·lícules, videoclips…) presenten una realitat modificada amb elements gràfics generats per ordinador (CGI), i això és gràcies a les facilitats que sistemes com el match moving estan aportant a aquest món.

Actualment el match moving ja està present en el set de rodatge, fet que permet visualitzar els elements gràfics que s'incorporaran a la producció mentres aquesta s'està gravant. Això beneficia tant a directors com a actors, ja que mentres es grava l'escena el director ja té la certesa de com quedarà el muntatge final, i l'actor no ha de posar-se a actuar davant d'una pantalla verda i pot interactuar molt millor amb els personatges o objectes no reals.

Temps real

El seguiment en temps real de càmeres s'està fent més extens en la producció de pel·lícules per permetre que els elements que s'insereixen a la postproducció es visualitzaran en directe. Això té el benefici d'ajudar el director i els actors a millorar les interpretacions realment veient extensions conjuntes o caràcters CGI mentre (o poc després) prenen una decisió. Ja no necessiten dur a terme les pantalles verdes / blaves i no tenen comentaris sobre el resultat final. Les referències a la línia d'ulls, el posicionament de l'actor i la interacció CGI es poden fer ara en directe, donant a tots la confiança que el tir és correcte i que va a treballar en el composite final.

Per aconseguir-ho, cal combinar diversos components del maquinari amb el programari. El programari recopila tot el moviment de 6 graus de llibertat de la càmera, així com metadades com ara zoom, focus, iris i elements de l'obturador de molts tipus diferents de dispositius de maquinari, que van des dels sistemes de captura de moviment com el sistema basat en marcador LED actiu de PhaseSpace, sistemes passius com Motion Analysis o Vicon, a encoders rotatius que s'adapten a grues i dollies de càmera com Technocranes i Fisher Dollies, o sensors d'inèrcia i giroscòpia muntats directament a la càmera. També hi ha sistemes de seguiment basats en làser que es poden connectar a qualsevol cosa, incloent Steadicams, per rastrejar càmeres fora de la pluja a distàncies de fins a 30 metres.

Les càmeres de control de moviment també es poden utilitzar com a font o destinació per a dades de càmeres 3D. Els moviments de la càmera es poden visualitzar prèviament i després convertir-los en dades de control de moviment que condueixen a una grua de la càmera al llarg de la mateixa ruta que la càmera 3D. Els codificadors de la grua també es poden utilitzar en temps real per configurar-lo per invertir aquest procés per generar càmeres 3D en directe. Les dades es poden enviar a qualsevol nombre d'aplicacions 3D diferents, cosa que permet als artistes 3D modificar els seus elements CGI en directe. L'avantatge principal és que els problemes de disseny que serien qüestions costoses i costosos, després es pot resoldre la línia durant el procés de tir, assegurant que els actors "encaixin" dins de cada entorn per a cada tret mentre realitzen les seves actuacions.

Els sistemes de captura de moviment en temps real també es poden barrejar dins de la transmissió de dades de la càmera permetent que els personatges virtuals s'insereixin en imatges en directe. Això millora dràsticament la interacció entre personatges reals i no reals de MoCap, ja que tant les interpretacions de plat i CG es poden coreografiar junts.

Programes

Avui dia podem trobar moltíssims programes de match moving. Alguns dels més rellevants són: Take4D, Blender, Voodoo, VooCAT, Icarius, SynthEyes, 3DEqualizer, Acts, Boujou, NukeX, CamaraTracker i VideoTrace.

Pàgines externes

https://www.youtube.com/watch?v=8zEBTzeuDmM