Ús de fotogrametria per crear models: 9 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:12

Qui sóc?

Sóc Samuel Conklin i sóc estudiant de segon any a E. L. Escola secundària Meyers. He experimentat amb la fotogrametria durant els darrers dos mesos i espero ajudar-vos si decidiu recrear aquest producte. M’interessa veure com altres persones poden utilitzar aquesta nova tecnologia en constant evolució.

Què és la realitat virtual i SteamVR?

La realitat virtual és una nova forma d’expressió i experiència artística. Encara és una nova frontera tecnològica, ja que innombrables empreses i persones treballen per millorar el mitjà. Us feu un gran mal si mai no heu provat la RV, ja que encapsula totalment el sentit de la vista i el so dels usuaris. Una de les principals plataformes per a la realitat virtual és SteamVR de Valve. SteamVR permet als usuaris compartir lliurement entorns i fixar peces sense cost. És majoritàriament de codi obert i permet una infinitat d’auriculars. Aquests inclouen, entre d'altres, les sèries HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR és la plataforma que estem utilitzant per crear el nostre entorn.

Què és la fotogrametria i com es pot utilitzar?

La fotogrametria és el procés de fer fotos o vídeos i convertir les imatges en un model 3D. L’exemple més famós de l’ús d’aquesta tecnologia és Google Earth. Google utilitza imatges de satèl·lit i vistes al carrer per reconstruir paisatges i edificis. Mirant Google Earth, és evident que tenien poques imatges per treballar, de manera que alguns edificis semblaran malformats. Quan s’utilitza correctament, la fotogrametria és una manera extremadament convincent de crear models 3D. Aquest projecte utilitza aquesta tecnologia per preservar les fites històriques. L'erosió i l'exposició als elements significa que les fites històriques acabaran caient en mal estat i la gent s'oblidarà d'elles. Mitjançant la fotogrametria, podem conservar-ho tot digitalment, de manera que les futures generacions podran experimentar i apreciar aquestes estructures. Això també significa que més persones a tot el món podrien experimentar altres cultures sense el cost ni el risc de viatjar.

Quins subministraments necessito?

Per a aquest projecte, he utilitzat Reality Capture, SteamVR i Krita. Hi ha programes Autodesk, Agisoft i Zephyr que es poden utilitzar en lloc de Reality Capture si no teniu la GPU Nvidia necessària per executar-la. Es pot utilitzar Photoshop o altres programes d’edició de fotografies en lloc de Krita, però com que és gratuït i públic, he optat per utilitzar-lo per a aquest projecte. També necessitareu uns auriculars VR d’escriptori que es puguin connectar directament a l’ordinador. Finalment, cal una càmera d'alta qualitat. Una càmera mòbil és decent, però he utilitzat una Nikon D7000, ja que Reality Capture pot detectar automàticament l’obertura de la càmera, cosa que condueix a models de més qualitat.

Pas 1: fer fotos

Aquesta és la part més important d’aquest projecte, ja que cal fer-lo correcte en un sol cop. Si no ho feu, haureu de tornar a la ubicació i reprendre-ho tot.

En primer lloc, haureu de trobar una ubicació i una estructura adequades. L'estructura ha de ser gran i fàcilment identificable. Això significa que el programari de fotogrametria serà capaç de detectar les diferències entre l'estructura i el fons.

Normalment, fer fotos en un dia cobert és la millor manera d’anar. Això es deu al fet que un dia assolellat té la possibilitat de sobreexposar algunes fotos i subexposar-ne d’altres. També podria crear ombres no desitjades. Un model amb poca o cap ombra facilitarà la il·luminació a la secció de desenvolupament de nivells. A més, el programari necessita que el balanç de color es mantingui igual amb totes les fotografies, ja que utilitza colors per calcular la mida de l’objecte. La presa de fotos en un dia ennuvolat, però, millorarà la qualitat de l’estructura. Els núvols del cel actuaran com a difusors naturals de la càmera. Distribuirà la llum de manera més uniforme i significa que el model serà precís durant el procés de renderització.

L’últim consell és fer tantes fotos com sigui possible. La majoria de programes escolliran i escolliran les fotos que utilitzarà per al producte final. Fent més fotos, tot serà més exacte i donarà al respir una mica de respiració. Tenia aproximadament 150-300 fotos per a cada model.

Pas 2: Introducció al programari de fotogrametria

Ara, importarem les fotos al programari. Tingueu en compte que Reality Capture requereix una targeta gràfica Nvidia. No es pot superar la secció Alinea imatges sense ella.

Si teniu una carpeta amb totes les imatges que vulgueu utilitzar, trieu l'opció Carpeta a l'extrem superior esquerre. Això us portarà al Gestor de fitxers i podreu triar la carpeta. Les entrades us permetran triar fotos individuals amb File Manager.

A continuació, començarem el procés de construcció del model. A la part superior de la pantalla, a Workflow, hi ha una secció Process. Volem prémer el botó d'inici més gran. Això començarà a alinear les imatges. La quarta foto mostra breument què està passant durant aquest procés. Reconeixerà l’ull esquerre del cérvol i compararà la distància amb altres fotos. Continuarà comparant diferents fotos fins que hagi passat per totes les combinacions possibles. Aquest pas es completa si podeu veure petits punts que s’assemblen a l’estructura.

Pas 3: calcular i simplificar

El següent pas és calcular el model. Per fer-ho, fem clic a la secció Procés Calcula el model. Això traduirà directament tot el que trobi a les fotos en forma 3D. Els resultats són relativament propers al que volem que sembli el model, però hi ha tres problemes amb aquesta versió del model. En primer lloc, hi ha forats al model que no són a l’estructura de la vida real. En segon lloc, la superfície és massa accidentada. Com que el programa s'aproxima als seus càlculs, farà que algunes superfícies llises siguin accidentades de manera errònia. En tercer lloc, hi ha massa triangles. Tots els models de Reality Capture es creen amb petits triangles. Cada triangle representa una petita superfície del model. Volem el mínim de triangles possible per optimitzar el model. Si hi ha massa triangles, pot causar problemes de rendiment.

Aquests problemes es poden resoldre amb l'eina Simplifica. Tots els models tindran 3, 000, 000 triangles després de l'etapa Calcula el model, i podem optar per fer que aquest nombre sigui superior o inferior. Per a tots els models com els que es troben en aquest projecte, he reduït el recompte de triangles a 1, 000, 000. El resultat es pot trobar a la segona imatge, on totes les superfícies accidentades són més llises i hi ha menys forats. A més, amb menys triangles per representar, el rendiment serà millor quan entrem a la realitat virtual.

Pas 4: color i textura

Ara el model necessitarà color i textura per fer-lo encara més real. Aquestes dues parts són similars pel que aconsegueixen, però són diferents en la seva forma de treballar. Amb el color, que es troba a la secció Procés, el programa acolorirà el model. L'eina prendrà les imatges que va utilitzar per crear el model i embolcallarà les seves imatges al voltant de les diferents superfícies del model. La textura, en canvi, acolorirà les parts simplificades del model. Mirant la primera imatge, es veu clarament com el programa embolicava les imatges al voltant del model, però a la segona imatge després del procés de textura, els costats nítids de les imatges ara es suavitzen.

Pas 5: exportació i SteamVR

A Reality Capture, transferirem els models a SteamVR. A la part superior de la pantalla, a Exporta, seleccioneu Malla, que es troba al costat de la secció Procés. Hauríeu de veure aquesta finestra emergent que us permet canviar la configuració i els paràmetres del model. El millor és mantenir tots els paràmetres predeterminats, excepte canviar el format de textura JPEG. Ara el programa exportarà un fitxer en format OBJ, que és el fitxer mesh, i un JPEG, que és el fitxer de textura del model. A efectes de referència, el JPEG hauria de ser la segona imatge d’aquest pas.

Ara, hem d’importar els nostres models a SteamVR. Primer, obriu SteamVR i, a continuació, aneu a Crea / modifica un entorn, que es troba a la pestanya Taller. Les eines SteamVR Workshop s’obriran ara. Trieu Crea un complement buit i feu clic a Eines de llançament.

Ara el navegador d’actius s’obrirà amb diferents materials i models ja inclosos. A la part superior esquerra, hi ha una icona amb el símbol Hammer. Es tracta de l’editor SteamVR Hammer integrat, que us permet crear mapes. Els mapes són l’entorn que habitarà l’usuari de VR durant el joc.

Pas 6: Creació del vostre mapa SteamVR

Amb l’editor Hammer obert a SteamVR, ara podem crear un cub. Volem crear un cub per començar a construir l’entorn. El programa us permet canviar la mida del cub abans de fixar-lo al lloc. Ara mateix, només són visibles les superfícies exteriors del cub. Prement CTRL + F, totes les superfícies s’invertiran i convertiran el cub en una habitació. A més, haureu d'afegir un objecte anomenat info_player_start, que indicarà a Hammer on ha de generar l'usuari en carregar el programa.

Per fer la sala més realista, també hem d’afegir textures. Podem afegir algunes imatges personalitzades a través de l’Editor de materials. Aquesta és la icona circular a la dreta del botó Hammer del navegador d’elements. Si seleccioneu l’Editor de materials, accedireu a una nova finestra que us permetrà importar una imatge per fer-la a una textura. Podeu utilitzar les vostres pròpies imatges o obtenir imatges de llocs web de textura d’estoc com textures.com. Feu clic al botó Fitxer a sota de la selecció de color per seleccionar la imatge que vulgueu utilitzar. Després de seleccionar la imatge, assegureu-vos de desar-la prement la icona del disquet a la part superior esquerra de la finestra de l’editor de materials. Ara, tanqueu l’Editor de materials i torneu al navegador d’elements. Aquí cerqueu el fitxer de textura que vulgueu utilitzar i feu clic i arrossegueu-lo a l’editor Hammer. En aquesta finestra, podeu aplicar la vostra textura a les diferents cares del cub.

També hem d’afegir il·luminació a la sala. Per fer-ho, posem un light_omni o un light_spot al nostre mapa, que es troba a la secció Entity a l'esquerra de la vista del mapa. Un light_omni brillarà una llum en totes les direccions mentre que un light_spot brilla llum en una direcció específica. Per a aquest projecte, he utilitzat almenys dos light_spots per a cada objecte i un light_omni per ajudar a il·luminar l’habitació.

Pas 7: afegir els nostres objectes al mapa

Ara és el moment de començar a moure els nostres objectes al nostre mapa. Al navegador d’actius, a la dreta de la icona de l’editor de materials hi ha l’editor de models que s’assembla a una icona humanoide. En obrir l’Editor de models, obtindreu l’opció de navegar o crear un VDML nou, que és la versió d’un fitxer OBJ de l’editor Hammer. Seleccioneu l'opció per crear un VDML nou i us requerirà una carpeta. Aquesta carpeta emmagatzemarà el fitxer VDML. Assegureu-vos que estigui a la carpeta Afegeix i premeu continua.

Això us portarà a una pantalla amb el vostre model, que té una textura blanca. Per afegir la textura d’aquest model, seleccioneu Materials a la barra d’eines de l’esquerra. Això us portarà a l'Editor de materials i podeu seleccionar el format JPEG de l'exportació de Reality Capture. Assegureu-vos de desar la textura i el model fent clic a la icona de disquet. Torna a Hammer Editor.

A Hammer, podeu arrossegar i deixar anar el model des del navegador d’actius al mapa. El model probablement serà petit i haureu de canviar-ne la mida. Prement T al teclat, podeu canviar la seva posició al mapa. Si premeu E es canviaran les proporcions del model mentre que R el girarà.

Pas 8: elaboració de les etiquetes d'objectes

Les etiquetes d'objectes que es veuen al costat de cada punt de referència proporcionen context i història per millorar l'experiència de l'usuari. Per a les meves etiquetes d'objectes, simplement vaig fer fotos de les plaques informatives de cada lloc per registrar fàcilment la informació important que volia utilitzar més endavant. Després vaig utilitzar Krita, un programa gratuït d’edició de fotografies, per tal de crear les etiquetes d’objectes que incloguessin imatges i text addicionals.

Per al costat de Miner Park i Anchor de la sala, no hi va haver problemes en afegir etiquetes com a textures. Simplement afegiu-los al navegador d’actius mitjançant l’editor de materials i afegiu la imatge a un bloc que es pot crear a l’editor de martells. Els problemes van sorgir quan vaig crear taules per a l’altra banda de la sala. Tot el text i les imatges es retrocedien i no hi havia cap manera clara de revertir les textures de l’editor. Per solucionar-ho, vaig tornar cap a Krita i vaig revertir les taules del cérvol i l’ós i, per sort, això va solucionar el problema.

A més, vaig afegir imatges diverses de Wilkes-Barre, ja que volia crear una sala que tingués la sensació i l’ambient d’un museu boutique.

Pas 9: Conclusió

En conclusió, tant la realitat virtual com la fotogrametria tenen el poder de millorar enormement innombrables indústries, incloses, entre d’altres, els esports, les propietats immobiliàries i els forenses. Avui he utilitzat la fotogrametria per preservar algunes parts petites però importants de la història local de la meva ciutat natal. La realitat virtual i la fotogrametria són tecnologies experimentals que de vegades us poden desafiar. Malgrat algunes deficiències, la quantitat d'usos innovadors per a tots dos processos és emocionant i il·limitada. Us agraeixo la vostra lectura sobre aquest projecte i espero que això us inspirés a provar alguna cosa nova amb la realitat virtual.

L’enllaç de descàrrega del projecte es pot trobar aquí.