Guant de conversió de gest a veu / text: 5 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:12

La idea / empenta darrere de la implementació d’aquest projecte era ajudar a les persones que tenen dificultats per comunicar-se mitjançant la parla i comunicar-se mitjançant gestos de mans o més conegut popularment com a llengua de signes americana (ASL). Aquest projecte pot ser un pas per oferir a aquestes persones l’oportunitat de treballar amb altres persones que no entenen la llengua de signes en un entorn col·laboratiu. A més, aquest projecte els permetrà pronunciar discursos públics sense l’ús d’un traductor humà real. Com a principi, només intentava detectar alguns dels gestos més fàcils, com ara els alfabets A, B, I, etc.

Pas 1: Muntatge del circuit

Pas 2: detalls del projecte

Aquest projecte inclou un guant portable amb 4 sensors flex inclosos / incrustats al guant: un per a petits, mitjans, índexs i polze. El sensor Flex no es va utilitzar per al dit anular a causa de les limitacions en la disponibilitat de pins d'entrada analògica a l'Arduino Uno R3 i, en general, a causa de la manca de moviment independent que mostra el dit en llenguatges de signes. També s’utilitza un acceleròmetre MMA8452Q que s’enganxa a la part posterior del palmell per mesurar l’orientació de la mà. L’entrada d’aquests sensors s’analitza i s’utilitza per detectar el gest. Un cop detectat el gest, el caràcter / missatge corresponent es desa en una variable. Aquests caràcters i missatges continuen concatenant-se fins que es fa un gest determinat que indica la finalització de la frase. Un cop detectat aquest gest especial, Arduino envia la cadena de frases guardada al Raspberry Pi mitjançant un cable USB. Després, Raspberry Pi envia la cadena rebuda al servei Amazon Cloud, anomenat Polly, per convertir la frase rebuda en format de text a format de veu i, a continuació, transmet la veu rebuda a l’altaveu connectat al Raspberry Pi mitjançant el cable AUX.

Aquest projecte era només una prova del concepte, amb millors equipaments i planificació i millor calibrat per detectar molts altres gestos i moviments de les mans. Actualment, només hi ha programades funcions limitades en aquest projecte, com ara per a la detecció bàsica de gestos i la sortida de text a veu.

Pas 3: Codi

Pas 4: passos

1. Connecteu els sensors de flexió i l'acceleròmetre MMA8452Q a l'Arduino segons el diagrama del circuit proporcionat.

2. Bolqueu el programa Final_Project.ino (que es troba al fitxer Arduino_code.zip) a Arduino.

3. Connecteu Arduino al Raspberry Pi mitjançant un cable USB. (Cable tipus A / B).

4. Engegueu el Raspberry Pi, copieu el fitxer Raspberry_pi_code.zip al Raspberry Pi i extreu-lo. Connecteu l’altaveu al Raspberry Pi.

5. Copieu les credencials del compte AWS, és a dir, aws_access_key_id, aws_secret_access_key i aws_session_token al fitxer ~ /.aws / credentials. Aquest pas és necessari per comunicar-se amb el núvol d'AWS i utilitzar els serveis d'AWS.

6. Executeu el programa seria_test.py que es troba a la carpeta extreta al pas 4.

7. Ara fes els gestos per formar una frase i fes el gest especial (Mantén els dits i el palmell rectes i en línia amb el palmell cap amunt, i gira el canell donant-li un gir cap avall de manera que ara el palmell està mirant cap a tu i la punta dels dits apunta cap avall cap als peus.) per indicar que la frase es completa.

8. Seguiu revisant el terminal per obtenir informació útil.

9. I escolteu la transmissió del disc convertit a l’altaveu.

Pas 5: referències

1.

2.

3.

4.