IoT: controleu l’HoloLens mitjançant les celles (EMG): 5 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:13

Aquest projecte formava part del projecte NASA SUITS de la Universitat de Colorado Boulder que es va presentar i provar a la NASA JSC l'abril del 2019. Per al projecte d'aquell any, jo era el líder del desenvolupament de maquinari i aquesta va ser una de les meves contribucions. Llegiu més informació sobre el desafiament SUITS de la NASA aquí.

Amb aquest projecte, volia permetre a qualsevol (en aquest cas, els astronautes EVA) interactuar amb un Heads-Up-Display (HUD) desplegat al Microsoft HoloLens sense utilitzar els gestos de les mans o les entrades de veu incorporades. Vaig abordar aquest objectiu des del punt de vista de l’accessibilitat, volia desenvolupar un dispositiu perifèric / usable que permetés als astronautes EVA interactuar amb la seva pantalla sense ocupar comunicacions amb control de terra i, a causa dels seus guants altament pressuritzats, la interfície de gestos no és raonable. Tot i que aquest és un domini que desconec, també puc veure que aquest perifèric és útil per a persones amb discapacitat, ja que els permet utilitzar l’HoloLens o altres dispositius AR / VR i renunciar a les entrades d’interfície exclusives o descoratjadores.

Tot i que la llista d’elements d’aquest projecte és exclusiva (el HoloLens és molt car!), El perifèric es pot utilitzar amb altres dispositius AR / VR.

Si teniu alguna pregunta, voleu estar al dia amb la meva feina o simplement llançar idees, feu-ho al meu Twitter: @ 4Eyes6Senses.

Subministraments

Microsoft HoloLens (o un altre dispositiu AR / VR)

Fotó de partícules

Sensor muscular MyoWare: el sensor MyoWare es pot substituir per altres plaques de ruptura EMG. Si no esteu segur de què és EMG, us suggereixo que en llegiu més informació aquí

Coixinets de sensors biomèdics

Unity (gratuït)

Alguna experiència amb la creació de projectes en Unity

Filferro

Pas 1: connectar MyoWare amb el fotó de partícules

Connectar el fotó de partícules al tauler MyoWare és bastant senzill. Per a aquest pas, haureu de soldar les connexions entre el Particle Photon i la placa MyoWare. Assegureu-vos que tingueu connexions fortes de manera que els cables no es trenquin mentre porteu el dispositiu. Per evitar trencaments, recomano trenar els cables abans de soldar-los al fotó.

- Soldeu un cable al port "+" de la placa MyoWare i, a continuació, soldeu l'altre extrem del cable al pin "3v3" del fotó.

- Soldeu un cable al port "-" de la placa MyoWare i, a continuació, soldeu l'altre extrem del cable al pin "GND" del fotó.

- Soldeu un cable al port "SIG" de la placa MyoWare i, a continuació, soldeu l'altre extrem del cable al pin "A0" del fotó.

Pas 2: càrrega de codi al fotó de partícules

Feu servir el fitxer.ino mitjançant l'IDE del fotó de partícules. Col·loqueu el tauler MyoWare sobre un grup muscular i comproveu els valors per assegurar-vos que el dispositiu funciona. Quan mireu el codi, notareu que ja hi ha una variable "llindar" establerta; aquesta variable és el valor mínim que llegeix MyoWare del múscul quan aixeco la cella completament. També he establert la variable a "600" perquè em va permetre mantenir converses normals mentre portava MyoWare sense crear falsos positius (desencadenament accidental). És possible que vulgueu jugar amb els valors fins que trobeu el llindar desitjat per als vostres usos.

Pas 3: col·locació de MyoWare

Per al nostre projecte NASA SUITS, vaig seleccionar col·locar el tauler MyoWare per sobre de la cella. Em va inspirar a col·locar-hi MyoWare després de mirar el projecte "'Sup Brows" realitzat per Adafruit. Després de fer algunes proves, va quedar clar que les celles són un lloc ideal per a aquest projecte específic. És una ubicació fantàstica perquè els sensors no es veurien afectats pels moviments musculars constants a través dels braços, les cames i el tors que fan els astronautes EVA durant les passejades espacials.

Pas 4: Connectar MyoWare amb Unity

Ara és hora del pas final, connectem MyoWare amb Unity. Inclou en aquest instructiu l’escript que haureu d’incloure al vostre projecte Unity. Però primer, haureu de canviar algunes coses del codi. En primer lloc, haureu d’afegir el connector JSON Object Unity al vostre projecte. A continuació, haureu d'afegir el vostre propi identificador de dispositiu i el vostre testimoni d'accés a la línia 19: particleURI = "https://api.particle.io/v1/devices/[Insert your device id] / Next? Access_token = [Inseriu el vostre fitxa d'accés]". Podeu obtenir l’identificador del vostre dispositiu des del Particle IDE, seguint la figura 2, fer clic a la pestanya Dispositius (quadre vermell) i mirar sota el nom del dispositiu per trobar el vostre identificador (quadre blau). A continuació, per trobar el vostre testimoni d'accés, feu clic a la pestanya de configuració de l'IDE.

Pas 5: Fet

Després d’acabar el vostre projecte Unity, tindreu un HoloLens controlat per EMG.

Si teniu alguna pregunta en profunditat, voleu aprendre sobre l’augment humà, voleu estar al dia amb la meva feina o simplement llançar idees, feu-ho al meu Twitter:

@ 4Eyes6Senses

Si esteu interessats en treballar amb el nostre equip per al repte de la NASA SUITS 2019-2020, envieu-me un correu electrònic a:

Un agraïment especial al model de la primera imatge, Darren, que també va provar el disseny a la NASA. Un altre agraïment al meu soci de programació pel projecte AJ, que ho va fer molt possible.