Models 3D a partir de drones de freestyle: 4 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:15

La videografia amb drons ha explotat realment en els darrers anys i hi ha un gran nombre de pilots amb talent que fan els vídeos més acrobàtics amb els seus quadcòpters i els seus auriculars en primera persona. El meu germà Johnny FPV és un d’aquests pilots, així que volia veure si era possible reconstruir els entorns en què vola a partir de les seves imatges d’estil lliure.

Les imatges fixes de drons bloquejades amb un punt d’interès constant poden produir un model 3D d’alta fidelitat, com es discuteix aquí, però què passa quan les imatges són tan frenètiques com aquesta?

Pas 1: preprocesseu el vostre vídeo

Un cop hàgiu obtingut algunes imatges aèries, és necessari un processament previ. Estic fent servir Adobe Media Encoder, però gairebé qualsevol programari d’edició de vídeo hauria de ser capaç d’encarregar-se d’això.

He seleccionat un clip curt (~ 11 segons), he canviat la velocitat de fotograma de 29,77 a 30 fps i he desat el vídeo nou a la carpeta desitjada.

A continuació, estic fent servir FFMPEG per exportar tots els altres fotogrames del vídeo com a jpg. Si no esteu familiaritzat, FFMPEG és un conjunt d'eines de línia d'ordres que permet processar i convertir gairebé qualsevol tipus d'àudio o vídeo que pugueu pensar. Hi ha programari de pagament que us permetrà fer moltes de les mateixes coses, però si esteu disposat a treballar una mica amb la línia d’ordres, pot ser una eina increïblement potent.

Aquí trobareu una bona guia per instal·lar FFMPEG.

Voldreu canviar el directori a la ubicació del fitxer d'imatge (CD) i, a continuació, utilitzar el següent script:

ffmpeg -i (nom del fitxer de vídeo) -vf fps = 15 exp% 03d.jpg

Canviar els fps canviarà naturalment el nombre d'imatges exportades per segon de vídeo. Això es remunta al motiu pel qual he canviat els fps del vídeo de 29,97 a 30; agafar 15 imatges per segon ara simplement agafarà tots els altres fotogrames del vídeo. Si volíeu cada sisè fotograma, l'establiríeu a 5 fps … etc.

"exp% 03d.jpg" farà que les imatges es desin com a exp000.jpg, on les imatges es numeren seqüencialment amb tres dígits; si teniu un videoclip més llarg i voleu exportar més de 999 imatges, escrivint% 04d seria el número totes les imatges de quatre dígits; podeu exportar fins a 9999.

(Nota: "ffmpeg -i (nom del fitxer de vídeo) -r (velocitat de fotograma) -f image2 exp% 03d.jpg" també funciona per extreure fotogrames del vídeo, però per qualsevol motiu obtinc millors núvols de punts de les imatges processades a l'antic mètode)

Pas 2: importeu fotos i creeu un núvol de punts

Un cop tingueu un conjunt d'imatges, podeu començar un flux de treball de fotogrametria normal. Estic fent servir Agisoft PhotoScanPro, però altres programes com Autodesk Remake probablement tindrien èxit (si no més).

Després d’importar les meves fotos, també vaig configurar el calibratge de la càmera a Fisheye, ja que originalment aquestes imatges provenien d’un GoPro. Al cap de pocs minuts de processament, i comença a sorgir informació en 3D. És possible que el núvol de punts no sembli gaire i només consti d’uns quants milers de punts, de manera que encara no n’hi ha prou per calcular una malla. A partir d’aquí vaig crear un núvol de punts dens i ara tinc uns 200.000 punts per treballar.

Pas 3: creeu una malla

Ara que tenim tots aquests punts per treballar, es pot calcular una malla. Estic fent servir un recompte de cares relativament alt i permeto la interpolació; això farà que la malla sigui una mica més "difusa", però al final hi haurà moltes menys superfícies i forats a la malla. Després d’uns minuts de processament, comencem a tenir un resultat semblant a l’arquitectura que volava el dron.

Pas 4: Textura i resultats finals

Photoscan també us permet crear una textura per a la malla a partir de les imatges d’entrada, cosa que dóna el toc final de detall per al model. Tinc sensacions diverses sobre els resultats d’aquest procés (hi ha maneres molt millors de produir un model precís), però en general crec que és increïble que qualsevol model pugui sortir d’aquestes imatges tan nocives.

Més indicacions que podria prendre aquest projecte podrien consistir a engrossir les superfícies en models estancs per a la impressió 3D o a formar part d’un paisatge de realitat virtual surrealista.