Dron autònom amb càmera infraroja per ajudar els primers auxilis: 7 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:13

Segons un informe de l’Organització Mundial de la Salut, cada any els desastres naturals maten unes 90.000 persones i afecten prop de 160 milions de persones a tot el món. Els desastres naturals inclouen terratrèmols, tsunamis, erupcions volcàniques, esllavissades de terra, huracans, inundacions, incendis forestals, onades de calor i sequeres. El temps és essencial ja que la possibilitat de supervivència comença a baixar amb cada minut que passa. Els primers auxilis poden tenir problemes per localitzar supervivents en cases danyades i que posen en risc la seva vida mentre les busquen. Tenir un sistema que pugui localitzar persones de forma remota augmentaria molt la velocitat a la qual els socorristes podran evacuar-los dels edificis. Després d’investigar altres sistemes, vaig trobar que algunes empreses han creat robots basats en terra o han creat drons que poden rastrejar persones, però que només funcionen fora dels edificis. La combinació de càmeres de profunditat junt amb unes càmeres infraroges especials permeten un seguiment precís de la zona interior i la detecció de canvis de temperatura que representen el foc, les persones i els animals. Mitjançant la implementació de sensors amb un algoritme personalitzat en un vehicle aeri no tripulat (UAV), serà possible inspeccionar autònomament les cases i identificar la ubicació de persones i animals per rescatar-les el més ràpidament possible.

Si us plau, vota’m al concurs d’ Optptica.

Pas 1: requisits de disseny

Després d’investigar les tecnologies disponibles, vaig discutir possibles solucions amb experts en visió artificial i un primer equip d’assistència per trobar el millor mètode per detectar supervivents en zones perilloses. La informació següent mostra les funcions més importants necessàries i els elements de disseny del sistema.

• Processament de visió: el sistema ha de proporcionar una velocitat de processament ràpida per a la informació intercanviada entre els sensors i la resposta d’intel·ligència artificial (IA). Per exemple, el sistema ha de ser capaç de detectar murs i obstacles per evitar-los i, alhora, trobar persones en perill.
• Autònom: el sistema ha de poder funcionar sense l'entrada d'un usuari o d'un operador. El personal amb una experiència mínima en tecnologia UAV hauria de poder prémer un o uns quants botons perquè el sistema comenci a escanejar-se per si mateix.
• Abast: l'abast és la distància entre el sistema i tots els altres objectes de proximitat. El sistema hauria de ser capaç de detectar passadissos i entrades a almenys 5 metres de distància. El rang mínim ideal és de 0,25 m perquè es puguin detectar objectes propers. Com més gran sigui el rang de detecció, menor serà el temps de detecció dels supervivents.
• Precisió de la navegació i la detecció: el sistema hauria de ser capaç de trobar amb precisió totes les entrades i de no colpejar cap objecte, mentre que també detectaria l'aparició sobtada d'objectes. El sistema ha de ser capaç de trobar la diferència entre persones i objectes no vius mitjançant diversos sensors.
• Durada de l'operació: el sistema hauria de poder durar deu minuts o més segons el nombre d'habitacions que hagi d'escanejar.
• Velocitat: hauria de ser capaç d’escanejar tot l’edifici en menys de 10 minuts.

Pas 2: Selecció d'equips: mètode de mobilitat

El quadcopter es va triar sobre un cotxe de control remot perquè, tot i que el quadcopter és fràgil, és més fàcil de controlar i canviar d’alçada per evitar obstacles. El quadcòpter pot contenir tots els sensors i estabilitzar-los de manera que siguin més precisos mentre es desplacen a diferents habitacions. Les hèlixs estan fabricades amb fibra de carboni resistent a la calor. Els sensors s’allunyen de les parets per evitar accidents.

• Vehicle terrestre de control remot

  • Pros: es pot moure ràpidament sense caure i no es veu afectat per la temperatura
  • Contres negatius: el vehicle posaria els sensors al terra i cobriria menys àrea alhora i es podrien bloquejar per obstacles

• Quadcopter

  • Avantatges: fa pujar els sensors a l’aire per obtenir una visió 360 de l’entorn
  • Contres: si topa amb una paret, pot caure i no recuperar-se

Pas 3: Selecció d'equips: microcontroladors

Els dos requisits principals per als microcontroladors són la mida petita per reduir la càrrega útil del quadricòpter i la velocitat per processar la informació d’entrada ràpidament. La combinació del Rock64 i el DJI Naza és la combinació perfecta de microcontroladors, ja que el Rock64 té la potència de processament suficient per detectar ràpidament les persones i evitar que el quadcopter toqui parets i obstacles. El DJI Naza ho complementa bé fent tot l’estabilització i el control del motor que el Rock64 no pot fer. Els microcontroladors es comuniquen a través d’un port sèrie i permeten el control de l’usuari si és necessari. El Raspberry Pi hauria estat una bona alternativa, però com que el Rock64 tenia un millor processador i una millor connectivitat amb els sensors que apareixen a la taula següent, el Pi no es va seleccionar. Intel Edison i Pixhawk no es van seleccionar a causa de la manca de suport i connectivitat.

• Raspberry Pi

  • Avantatges: pot detectar parets i objectes fixos
  • Contres: lluita per mantenir-se al dia amb les dades de tots els sensors, de manera que no es poden veure les entrades prou ràpidament. No es poden emetre senyals del motor i no té cap sensor estabilitzador per al quadricòpter

• Rock64

  • Avantatges: és capaç de detectar parets i entrades amb poca latència.
  • Contres: també és capaç de guiar el sistema per tota la casa sense topar-se amb res mitjançant tots els sensors. No es poden enviar senyals amb la suficient rapidesa per controlar la velocitat del motor i no té cap sensor estabilitzador per al quadricòpter

• Intel Edison

  • Avantatges: és capaç de detectar murs i entrades amb cert retard
  • Contres: tecnologia més antiga, molts dels sensors necessitarien biblioteques noves que requereixen molt de temps per crear-les
• DJI Naza
  • Avantatges: té giroscopi, acceleròmetre i magnetòmetre integrats per permetre que el quadcòpter sigui estable a l’aire amb microajustos a la velocitat del motor
  • Contres: no es pot fer cap tipus de processament de la visió

• Pixhawk

  • Avantatges: Compacte i compatible amb els sensors utilitzats en el projecte mitjançant la sortida d'entrada d'ús general (GPIO)
  • Desavantatges: no es pot fer cap tipus de processament de la visió

Pas 4: Selecció d'equips: Sensors

S'utilitza una combinació de diversos sensors per obtenir tota la informació necessària per trobar persones en zones perilloses. Els dos sensors principals seleccionats inclouen la càmera d’infrarojos estèreo al costat del SOund Navigation And Ranging (SONAR). Després de fer algunes proves, he decidit utilitzar la càmera Realsense D435 perquè és petita i és capaç de rastrejar amb precisió distàncies de fins a 20 metres. Funciona a 90 fotogrames per segon, cosa que permet fer moltes mesures abans de prendre una decisió sobre on es troben els objectes i cap a quina direcció apuntar el quadricòpter. Els sensors SONAR es col·loquen a la part superior i inferior del sistema per permetre que el quadcòpter sàpiga quina és la seva altura o baixa abans d’entrar en contacte amb una superfície. També n’hi ha un situat cap endavant per permetre al sistema detectar objectes com el vidre que el sensor de càmera infraroja estèreo no pot detectar. Les persones i els animals es detecten mitjançant algorismes de reconeixement de moviments i objectes. La càmera FLIR s’implementarà per ajudar la càmera infraroja estèreo a rastrejar el que viu i el que no augmenta l’eficiència de l’escaneig en condicions adverses.

• Kinect V1

  • Avantatges: pot rastrejar objectes 3D fàcilment fins a 6 metres de distància
  • Contres: només disposa d'un sensor d'infrarojos i és massa pesat per a quadcòpters

• Realsense D435

  • Avantatges: té 2 càmeres d'infrarojos i una càmera vermella, verda, blava, de profunditat (RGB-D) per a la detecció d'objectes 3D d'alta precisió fins a 25 metres de distància. Té una amplada de 6 cm que permet un ajustament fàcil en quadcopter
  • Contres: es pot escalfar i pot necessitar un ventilador de refrigeració

• LIDAR

  • Avantatges: feix que pot rastrejar ubicacions de fins a 40 metres en la seva línia de visió
  • Contres: la calor de l’ambient pot afectar la precisió de la mesura

• SONAR

  • Avantatges: feix que pot rastrejar-se a 15 m de distància, però és capaç de detectar objectes transparents com el vidre i l’acrílic
  • Contres: només apunta en una línia de visió, però pot ser mogut pel quadcòpter per explorar l'àrea

• Ultrasons

  • Avantatges: té un abast de fins a 3 m i és molt econòmic
  • Contres: només apunta en una línia de visió i pot estar fora del rang de la detecció de distància molt fàcilment

• Càmera FLIR

  • Avantatges: és capaç de fer fotografies de profunditat a través del fum sense interferències i pot detectar persones vives mitjançant signatures de calor
  • Contres: si alguna cosa interfereix amb els sensors, els càlculs de la distància es poden calcular incorrectament

• Sensor PIR

  • Avantatges: és capaç de detectar canvis de temperatura
  • Contres: no es pot identificar on es troba la diferència de temperatura

Pas 5: Selecció d'equips: programari

He utilitzat l’SDK de Realsense al costat del sistema operatiu robot (ROS) per crear una integració perfecta entre tots els sensors amb el microcontrolador. L'SDK proporcionava un flux constant de dades del núvol de punts, que era ideal per rastrejar tots els objectes i els límits del quadcopter. ROS em va ajudar a enviar totes les dades del sensor al programa que vaig crear que implementa la Intel·ligència Artificial. L’IA consisteix en algorismes de detecció d’objectes i algorismes de detecció de moviment que permeten al quadricòpter trobar moviment al seu entorn. El controlador utilitza la modulació d’amplada de pols (PWM) per controlar la posició del quadricòpter.

• Freenect

  • Avantatges: té un nivell d’accés inferior per controlar tot
  • Contres: només admet Kinect V1

• SDK de Realsense

  • Avantatges: es poden crear fàcilment les dades del núvol de punts a partir del flux d'informació de la càmera Realsense
  • Contres: només admet la càmera Realsense D435

• Controlador FLIR Linux

  • Pros: pot recuperar el flux de dades de la càmera FLIR
  • Contres: la documentació és molt limitada

• Sistema operatiu de robots (ROS)

  • Avantatges: sistema operatiu ideal per programar funcions de càmera
  • Desavantatges: cal instal·lar-se en una targeta SD ràpida per a una recopilació eficient de dades

Pas 6: desenvolupament del sistema

Els “ulls” del dispositiu són el sensor d’infraroig estèreo Realsense D435, que és un sensor d’ús bàsic que s’utilitza principalment per a aplicacions robòtiques com el mapatge 3D (Figura 1). Quan aquest sensor s’instal·la al quadcòpter, la càmera d’infrarojos pot guiar i permetre que el quadcòpter es mogui de forma autònoma. Les dades generades per la càmera s’anomenen núvol de punts que consisteix en una sèrie de punts en un espai que tenen informació sobre la posició d’un determinat objecte en la visió de la càmera. Aquest núvol de punts es pot convertir en un mapa de profunditat que mostra els colors com a diferents profunditats (Figura 2). El vermell està més lluny, mentre que el blau és a uns metres.

Per garantir que aquest sistema sigui perfecte, es va utilitzar un sistema operatiu de codi obert anomenat ROS, que normalment s’utilitza en robots. Permet realitzar un control de dispositiu de baix nivell i accedir a tots els sensors i compilar dades que seran utilitzats per altres programes. ROS es comunicarà amb l'SDK de Realsense, que permet activar i apagar diferents càmeres per rastrejar la distància dels objectes del sistema. L’enllaç entre ambdós em permet accedir al flux de dades des de la càmera que crea un núvol de punts. La informació del núvol de punts pot determinar on hi ha límits i objectes a menys de 30 metres i una precisió de 2 cm. La resta de sensors com els sensors SONAR i els sensors incrustats al controlador DJI Naza permeten un posicionament més precís del quadcòpter. El meu programari utilitza algoritmes d’intel·ligència artificial per accedir al núvol de punts i, mitjançant la localització, crear un mapa de tot l’espai que envolta el dispositiu. Un cop el sistema s’iniciï i comenci a escanejar-se, viatjarà pels passadissos i trobarà entrades a altres habitacions on podrà fer un escombrat de la sala buscant específicament persones. El sistema repeteix aquest procés fins que s’han escanejat totes les habitacions. Actualment, el quadcòpter pot volar durant uns 10 minuts, el que és suficient per fer un escombrat complet, però es pot millorar amb diferents disposicions de la bateria. Els primers que rebran notificacions rebran notificacions quan es vegi la gent perquè puguin centrar els seus esforços en determinats edificis.

Pas 7: debat i conclusió

Després de moltes proves, havia creat un prototip de treball que complia els requisits de la taula 1. Mitjançant l'ús de la càmera infraroja estèreo Realsense D435 amb l'SDK de Realsense, es va crear un mapa de profunditat d'alta resolució de la part frontal del quadcopter. Al principi vaig tenir alguns problemes amb la càmera infraroja que no podia detectar determinats objectes com el vidre. En afegir un sensor SONAR, vaig poder superar aquest problema. La combinació del Rock64 i el DJI Naza va tenir èxit ja que el sistema va poder estabilitzar el quadcopter mentre era capaç de detectar objectes i parets mitjançant algorismes de visió per ordinador creats a mida mitjançant OpenCV. Tot i que el sistema actual és funcional i compleix els requisits, es podria beneficiar d’alguns prototips futurs.

Aquest sistema es podria millorar utilitzant càmeres de més qualitat per poder detectar amb més precisió les persones. Algunes de les càmeres FLIR més cares tenen la capacitat de detectar signatures de calor que poden permetre una detecció més precisa. El sistema també podria funcionar en diferents entorns, com ara habitacions amb pols i fum. Amb la nova tecnologia i la protecció contra incendis, aquest sistema es podria enviar a cases que cremen i detecten ràpidament on es troben les persones perquè els socorristes puguin recuperar els supervivents del perill.

Gràcies per llegir! No us oblideu de votar-me al concurs d’ Optptica!