Reconeixedor de moviment manual: 5 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:12

Visió general

En aquest projecte, farem un guant que pugui reconèixer alguns moviments bàsics de la mà, mitjançant un MicroBit i uns quants sensors. Utilitzarem les funcions Bluetooth del MicroBit, juntament amb una aplicació per a Android i un servidor web per formar un model d’aprenentatge automàtic per identificar els moviments de les mans.

Començant

La majoria de l’esforç que suposa aquest projecte és del costat del programari i tot el codi necessari per executar aquest projecte està disponible a GitHub. La base de codi inclou tres components, el codi per generar un fitxer HEX per a MicroBit, la base de codis de l’Android, que es basa en gran mesura en l’aplicació MicroBit Blue de MicroBit Foundation, amb modificacions fetes per a aquest cas d’ús específic, i un servidor web amb codi per a entrenar un model basat en Tensorflow per identificar els moviments de les mans.

A continuació, veurem com construir el guant i enganxar-lo amb l'aplicació i el servidor web.

Subministraments

• 1 Microbit de la BBC
• 1 porta-bateries amb 2 piles AAA
• 1 guant
• Un joc de cables de pont, clips de cocodril
• Un sensor de flexió
• Un sensor de força
• Velcro
• Cinta elèctrica
• Un telèfon Android
• Un PC / portàtil

Pas 1: Pas 1: Configuració del MicroBit i de la bateria

• Comenceu fixant el suport de la bateria a un tros de velcro tal com es mostra a la primera imatge. Feu servir cinta elèctrica per fixar fermament el suport de la bateria a la corretja de velcro.
• A continuació, feu un bucle amb cinta elèctrica de manera que quedi enganxós pels dos costats i enganxeu-lo a la part superior de la bateria.
• Enganxeu el MicroBit al bucle de cinta per fixar-lo fermament al suport de la bateria, tal com es mostra a la segona imatge.

Pas 2: connecteu els sensors

• Seguiu el diagrama de circuits que es mostra a la imatge per connectar el sensor de flexió al pin 1 del MicroBit i el sensor de força al pin 0 del MicroBit.
• Assegureu els sensors del guant amb cinta elèctrica tal com es mostra a les imatges.

Pas 3: Acabar el maquinari

• Utilitzeu els extrems de les corretges de velcro per formar un bucle i feu lliscar el bucle pels dits del guant, tal com es mostra a la imatge.
• Podeu utilitzar llaços per assegurar els cables del guant per evitar que es moguin massa.

A la següent secció veurem com configurar el programari.

Pas 4: Configuració del programari

Vinculació del telèfon amb el vostre MicroBit

1. Per vincular el telèfon, primer assegureu-vos que el Bluetooth estigui activat al vostre telèfon.
2. Engegueu el MicroBit i manteniu premuts els botons A i B. Al mateix temps, premeu i deixeu anar el botó de restabliment mentre manteniu premuts els botons A i B. Ara el microbit hauria d’entrar en mode de sincronització.
3. Al telèfon, cerqueu el vostre MicroBit a la llista de dispositius bluetooth on normalment afegiu un dispositiu Bluetooth nou i comenceu a emparellar-lo. Al vostre MicroBit veureu una fletxa que apunta al botó A. Quan premeu això, el MicroBit mostrarà una sèrie de números que és el codi de sincronització que heu d'introduir al telèfon. Un cop introduïu el codi al telèfon i seleccioneu parell, s'hauria de mostrar una marca al MicroBit.
4. Premeu el botó de restabliment del vostre MicroBit.

Configuració del programari

Seguiu les guies ReadMe de cada subcarpeta del dipòsit de GitHub per configurar el projecte de l'aplicació Android a Android Studio, per crear i fer flaixar el fitxer HEX al vostre MicroBit i executar el servidor web per executar els models d'aprenentatge automàtic.

Pas 5: Ús

Servidor web

Obriu un terminal al directori de projectes del servidor web i executeu `python server.py` per iniciar el servidor després de seguir les instruccions del ReadMe per instal·lar dependències

Aplicació per a Android

1. Creeu i feu un APK per a l'aplicació Android des d'Android Studio. Executeu l'aplicació després d'associar el telèfon amb el MicroBit (vegeu el pas anterior).
2. A la pàgina de l’acceleròmetre, podeu configurar l’URL del servidor web mitjançant el menú de configuració de l’extrem superior dret. Assegureu-vos de canviar-ho per la IP del servidor web.
3. Espereu fins que les lectures de l’acceleròmetre comencin a poblar-se des del MicroBit. Veureu que les lectures canvien amb una freqüència diferent. Per canviar la freqüència, premeu B al MicroBit. Idealment podeu utilitzar un valor de freqüència de 10 (que mostra mostres cada 10 ms)
4. Un cop completades les lectures, anomeneu el vostre gest amb el quadre de text anomenat "Gest:" i premeu el botó d'enregistrament. Tan bon punt premeu el botó de gravació, feu que la mà es mogui repetidament fins que el botó es torne a activar.
5. Repetiu el pas 3 per enregistrar diversos gestos.
6. Premeu el botó del tren per iniciar la formació del model al servidor. Un cop acabat l'entrenament (uns 15 segons), podeu procedir a fer prediccions.
7. Premeu el botó de predicció i feu el vostre moviment / gest. L'aplicació intentarà fer-la coincidir amb un dels moviments entrenats el millor possible.