Processament d'imatges quantimètriques: 5 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:15

(La figura superior il·lustra la comparació del mètode de processament d'imatges existent amb el processament d'imatges quantimètriques. Tingueu en compte el resultat millorat. La imatge superior dreta mostra artefactes estranys que provenen del supòsit incorrecte que les imatges mesuren alguna cosa com la llum. La imatge inferior dreta mostra un resultat millor fent el mateix quantimètricament.)

En aquest instructiu aprendràs a millorar considerablement el rendiment dels sistemes d’imatge o de visió existents utilitzant un concepte molt senzill: la detecció d’imatges quantimètrica

El processament d'imatges quantimètriques millora considerablement qualsevol dels següents:

• Processament d'imatges existents, com ara desenfocament d'imatges;
• Aprenentatge automàtic, visió per computador i reconeixement de patrons;
• Reconeixedor facial usable (vegeu https://wearcam.org/vmp.pdf), visió basada en IA i HI, etc.

La idea bàsica és pre-processar i processar quantimètricament les imatges, de la següent manera:

1. Amplieu el rang dinàmic de la imatge o imatges;
2. Processar la imatge o imatges com ho faríeu normalment;
3. Comprimiu l'interval dinàmic de la imatge o de les imatges (és a dir, desfer el pas 1).

En Instructables anteriors, vaig ensenyar alguns aspectes de la detecció HDR (High Dynamic Range) i la detecció quantimètrica, per exemple. linealitat, superposició, etc.

Ara fem servir aquest coneixement.

Feu qualsevol procés existent que vulgueu utilitzar. L'exemple que mostraré és la difuminació d'imatges, però també podeu utilitzar-la per a qualsevol altra cosa.

Pas 1: amplieu el rang dinàmic de la vostra imatge o imatges

(Dades adaptades de "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, novembre del 2001)

El primer pas és ampliar el rang dinàmic de la imatge d’entrada.

Idealment, primer hauríeu de determinar la funció de resposta de la càmera, f, i després aplicar la resposta inversa, f inversa, a la imatge.

Les càmeres típiques comprimeixen el rang dinàmic, de manera que normalment volem aplicar una funció expansiva.

Si no coneixeu la funció de resposta, comenceu provant alguna cosa simple, com ara carregar la imatge en una matriu d'imatges, traslladar les variables a un tipus de dades com (flotant) o (doble) i elevar el valor de cada píxel a un exponent, com, per exemple, quadrar el valor de cada píxel.

Justificació:

Per què ho fem?

La resposta és que la majoria de càmeres comprimeixen el seu rang dinàmic. La raó per la qual ho fan és que la majoria de suports de visualització amplien el rang dinàmic. Això és casualitat: la quantitat de llum emesa per una pantalla de televisió de tub de raigs catòdics és aproximadament igual a la tensió elevada a l'exponent de 2,22, de manera que quan la tensió de vídeo d'entrada és aproximadament a la meitat del camí, la quantitat de llum emesa és molt gran. menys de la meitat.

Els suports fotogràfics també són expansius de rang dinàmic. Per exemple, una targeta gris "neutra" fotogràfica emet el 18% de la llum incident (no el 50% de la llum incident). Es considera que aquesta quantitat de llum (18%) es troba a la meitat de la resposta. Com podeu veure, si observem un gràfic de sortida en funció de l'entrada, els mitjans de visualització es comporten com si fossin pantalles lineals ideals que contenen un ampliador de rang dinàmic abans de la resposta lineal ideal.

A la figura superior, a sobre, podeu veure la pantalla amb una línia de punts, i equival a tenir un expansor abans de la visualització lineal ideal.

Com que les pantalles són intrínsecament expansives, cal dissenyar les càmeres perquè siguin compressives perquè les imatges tinguin un bon aspecte a les pantalles existents.

Antigament, quan hi havia milers de pantalles de receptors de televisió i només una o dues emissores (per exemple, només una o dues càmeres de televisió), era més fàcil posar una no linealitat compressiva a la càmera que recordar tots els televisors i poseu-ne un a cada receptor de televisió.

Per accident, això també va ajudar a reduir el soroll. En àudio l'anomenem "Dolby" ("companding") i li atorgem una patent. En vídeo va passar totalment per accident. Stockham va proposar que prenguéssim el logaritme de les imatges abans de processar-les i, després, prengués l’antilog. El que no es va adonar és que la majoria de càmeres i pantalles ja ho fan per casualitat. En canvi, el que vaig proposar és que fem exactament el contrari del que va proposar Stockham. (Vegeu "Processament intel·ligent d'imatges", sèrie John Wiley and Sons Interscience, pàgina 109-111.)

A la imatge inferior, veieu el processament d'imatges anti-homomorf (quantimètric) proposat, on hem afegit el pas d'expansió i compressió del rang dinàmic.

Pas 2: processeu les imatges o realitzeu la visió per computador, l'aprenentatge automàtic o similars

El segon pas, després de l'expansió del rang dinàmic, és processar les imatges.

En el meu cas, simplement vaig realitzar una desconvolució de la imatge, amb la funció de desenfocament, és a dir, desenfocament de la imatge, com se sol conèixer a la tècnica anterior.

Hi ha dues grans categories de detecció d'imatges quantimètriques:

• Ajudar la gent a veure;
• Màquines ajudants a veure.

Si intentem ajudar la gent a veure (que és l’exemple que mostro aquí), encara no hem acabat: hem de tornar el resultat processat a l’espai d’imatges.

Si ajudem les màquines a veure (per exemple, el reconeixement facial), ja hem acabat (no cal que passeu al pas 3).

Pas 3: torneu a comprimir el rang dinàmic del resultat

Quan treballem en un rang dinàmic ampliat, es diu que estem en "espai de llum" (espai d'imatge quantimètric).

Al final del pas 2, som a l'espai de llum i hem de tornar a l'espai d'imatges.

Per tant, aquest pas 3 consisteix a tornar a l’espai d’imatges.

Per realitzar el pas 3, simplement comprimeu l'interval dinàmic de la sortida del pas 2.

Si coneixeu la funció de resposta de la càmera, simplement apliqueu-la per obtenir el resultat, f (p (q)).

Si no coneixeu la funció de resposta de la càmera, simplement apliqueu una bona conjectura.

Si heu quadrat els píxels de la imatge al pas 1, ara és el moment d’agafar l’arrel quadrada de cada píxel de la imatge per tornar a la vostra suposició sobre l’espai d’imatges.

Pas 4: és possible que vulgueu provar algunes altres variacions

El desdibuixament és només un dels molts exemples possibles. Penseu, per exemple, en la combinació d’exposicions múltiples.

Feu dues imatges com les dues que tinc més amunt. Una es prenia durant el dia i l’altra a la nit.

Combineu-los per fer una imatge semblant al capvespre.

Si només els feu una mitjana conjunta, sembla una brossa. Proveu-ho vosaltres mateixos!

Però si primer amplieu l’interval dinàmic de cada imatge, les afegiu i després comprimeu l’interval dinàmic de la suma, queda molt bé.

Compareu el processament d'imatges (afegint les imatges) amb el processament d'imatges quantimètriques (expandint, afegint i després comprimint).

Podeu descarregar el meu codi i més material d'exemple aquí:

Pas 5: anar més enllà: proveu-ho ara amb HDR Image Composites

(A la imatge superior: el casc de soldadura HDR utilitza processament d'imatges quantimètric per a superposicions de realitat augmentada. Vegeu Slashgear, 12 de setembre de 2012).

En resum:

capturar una imatge i aplicar els passos següents:

1. amplieu el rang dinàmic de la imatge;
2. processar la imatge;
3. comprimeix el rang dinàmic del resultat.

I si voleu obtenir un resultat encara millor, proveu el següent:

capturar una pluralitat d’imatges exposades de manera diferent;

1. amplieu el rang dinàmic a l’espai de llum, segons el meu instructable anterior a HDR;
2. processar la imatge quantimètrica resultant, q, a l'espai de llum;
3. comprimeu el rang dinàmic mitjançant el mapatge de tons.

Diverteix-te i fes clic a "Ho he aconseguit" i publica els teus resultats. Estaré encantat de comentar-te o proporcionar-te ajuda constructiva.