Entrenador personal d'anglès - Assistent de veu d'AI: 15 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:14

Aquest projecte ajudarà els estudiants que es preparen per a qualsevol examen lingüístic, on poden formar-se interactuant amb Snips AI.

Pas 1: història

Per què hem construït això?

Per la meva experiència personal, he vist molta gent preparant-se per a les diferents proves lingüístiques com GRE, TOEFL, IELTS. Necessiten una persona que els ajudi a memoritzar i comprendre les paraules. En general, quan una persona es prepara per a aquests exàmens, necessita que una persona comprovi i corregeixi si comet un error. Amb aquesta solució, podem reduir la mà d’obra mitjançant l’assistència de veu.

Pas 2: construcció de maquinari

En primer lloc, voldria donar les gràcies a SNIPS i SEEED per donar suport a aquest projecte amb l’increïble Kit de desenvolupament d’interaccions de veu Snips (Kit base), em vaig sentir molt informatiu mitjançant aquest tauler i vaig poder aconseguir alguns dels complexos projectes integrats dins d’un PCB.

Podeu adquirir el kit base d’interacció de veu Snips per 115 dòlars i el kit per satèl·lit d’interacció de veu Snips per 85 dòlars

Pas 3: Introducció a SNIPS

Abans de començar, revisem el que necessiteu.

• Raspberry Pi 3B / B + (recomanat) o Pi 2 model B (compatible).
• Cable micro-USB i adaptador d'alimentació micro-USB per a Raspberry Pi.
• Targeta Micro SD (mínim 8 GB): es necessita un sistema operatiu per començar. Podeu descarregar Raspbian Stretch i utilitzar les guies per a Mac OS, Linux i Windows al lloc web de Raspberry Pi.
• Un teclat i un ratolí USB i un monitor HDMI extern: també us recomanem que tingueu a mà un ratolí i un teclat USB, així com un monitor HDMI.
• Connexió a Internet (Ethernet o WiFi)

Kit base d'interacció de veu

Els kits de desenvolupament d’interaccions de veu Snips permeten als usuaris iniciar ràpidament el seu desenvolupament d’interfícies de veu i integrar fàcilment la plataforma de veu Snips AI amb el maquinari. Els fragments s’executen al dispositiu, cosa que significa que totes les vostres ordres de veu i dades es processen localment en lloc d’enviar-se al núvol. Aquest processament al dispositiu dóna lloc a un assistent de veu fora de línia completament segur que manté les vostres dades personals privades, com hauria de ser.

El kit de base d’interacció de veu us permet executar tota la plataforma de veu Snips AI. Amb el Raspberry Pi 3 Model B + i el ReSpeaker 2-Mics Pi HAT, és capaç d’actuar com el vostre altaveu intel·ligent domèstic. Juntament amb el kit, hi ha un altaveu, un sensor Grove - Temperatura i Humitat (SHT31), un Grove - Relay i un tauler de clavilles per penjar-lo a la paret o crear un estupend suport.

Però això no és tot! El kit de satèl·lit d’interacció de veu ampliarà l’estació base per arribar a cada habitació de casa i us permetrà interactuar amb el maquinari en funció d’on emeteu les vostres ordres.

Aquest kit conté una placa Raspberry Pi3 B +, ReSpeaker 2-Mics Pi HAT, Grove - Relé, Grove - Sensor de temperatura i humitat (SHT31), Altaveu 6 Ohm 2W, Targeta MicroSD, Adaptador d’alimentació amb connector Micro USB, Cable Grove x 2, Base acrílica panell.

Passos de muntatge: (contingut de SNIPS) La imatge següent és una visió general de les parts de muntatge.

Aquí es munten les peces de muntatge al tauler base.

Després, totes les parts electròniques es munten al tauler.

Després, munteu la coberta protectora acrílica a la part superior del Grove -Relay.

Aquestes 2 parts s’utilitzen per convertir el kit en un suport de taula.

Finalment, ja podeu jugar amb Snips.

El kit proporciona dues formes de col·locació. Es pot col·locar sobre una superfície horitzontal com un suport o es pot penjar a una paret mitjançant fils o fils. Tingueu cura amb el relé quan el kit estigui engegat, ja que el voltatge de treball serà elevat.

NOTA: També tenim un kit de satèl·lit d’interacció de veu Snips que té un zero de Raspberry Pi en lloc de Raspberry Pi 3B +

Pas 4: Interfície amb Snips AI (Projecte bàsic)

• Alimenteu el kit mitjançant l'adaptador d'alimentació predeterminat del kit o utilitzeu un adaptador de corrent continu de 5V-2A amb un connector Micro USB.
• El següent pas és instal·lar l’assistent de Snips al Raspberry Pi. Per estalviar temps de configuració, la targeta MicroSD del kit ha estat intermitent amb la imatge del sistema funcional, cosa que significa que l’assistent Snips està preparat per a les vostres paraules activadores.
• Us recomanem que estudieu la guia d’instal·lació pas a pas visitant: https://docs.snips.ai/getting-started/quick-start… i que aprengueu l’eina sam a la línia d’ordres.
• Activeu l'assistent dient "Hey-snips" i seguiu l'ordre:

A continuació, podeu trobar el vídeo de l’exemple preinstal·lat al kit base d’interacció de veu Snips.

Pas 5: Interfície amb Snips AI (Projecte AI)

Així és com funciona. En primer lloc, fem servir la paraula clau per iniciar el reconeixement de Snips. Comprèn la frase mitjançant Snips NLU i determina la intenció. A continuació, amb la intenció, extreu les ranures respectivament. Amb el codi d'acció, programem la resposta d'AI respectiva a les ranures.

Pas 6: creació d'aplicacions i intents

• Creeu un assistent. En el meu cas, havia creat un assistent amb el nom de JARVIS i amb una paraula clau JARVIS.
• Creeu una aplicació personalitzada o per a principiants, utilitzeu l'aplicació de la biblioteca.
• Havia creat una aplicació amb el nom Words
• Creeu una intenció i comenceu a entrenar la IA. Això té un paper important a l’hora de fer que la vostra IA sigui robusta. Entreneu-lo amb totes les entrades possibles.
• Crea una ranura per identificar les paraules. Col·loqueu la ranura a la frase esperada de la frase. Per al meu exemple, givenword és el nom de la ranura i es ressalta amb blau.
• Un cop fet, el vostre ASR personalitzat estarà llest. Proveu-ho amb les entrades. Podem trobar la resposta a la vostra dreta, a sota de l’assistent. Això us permetrà extreure el valor en brut, el nom de la intenció i la ranura.
• Definiu ranures amb més exemples com es mostra a continuació
• Finalment, desplegueu el vostre assistent per experimentar la vostra IA personalitzada.

Pas 7: Grabeu Raspbian a la targeta SD

Raspbian és la distribució preferida de Linux que s’executa al Raspberry Pi. En aquesta guia, farem servir la versió Lite, però també es pot utilitzar la versió d'escriptori (que inclou un entorn gràfic).

• Descarregueu Etcher i instal·leu-lo.
• Connecteu un lector de targetes SD amb la targeta SD que hi ha a dins.
• Obriu Etcher i seleccioneu del disc dur el fitxer.img o.zip de Raspberry Pi que vulgueu escriure a la targeta SD
• Seleccioneu la targeta SD a la qual voleu escriure la imatge.
• Reviseu les seleccions i feu clic a "Flash". per començar a escriure dades a la targeta SD

Connecteu el dispositiu a la vostra xarxa

• Activeu l'accés SSH afegint un fitxer ssh buit, situat de nou a l'arrel del volum d'arrencada de la vostra targeta SD.
• Inseriu la targeta SD al Raspberry Pi. S’arrencarà en aproximadament 20 segons. Ara hauríeu de tenir accés SSH al vostre Raspberry Pi. Per defecte, el seu nom d'amfitrió serà raspberrypi.local. A l’ordinador, obriu una finestra de terminal i escriviu el següent:

ssh [email protected]

La contrasenya per defecte és raspberry

Pas 8: instal·leu la plataforma Snips

Si encara no ho heu fet, instal·leu la interfície de línia d’ordres Sam al vostre ordinador. Obriu una finestra de terminal i introduïu:

sudo npm install -g snips-samor npm install -g snips-sam // Windows

Cerqueu el vostre Raspberry Pi a la xarxa executant:

dispositius sam

A continuació, estableix una connexió amb el dispositiu. Se us demanarà el nom d’usuari i la contrasenya del dispositiu (per defecte, pi i raspberry, respectivament):

sam connect

Ara estem preparats per instal·lar la plataforma Snips al Raspberry Pi. Introduïu l'ordre:

sam init

Pas 9: configureu el maquinari

Sam proporciona algunes ordres per configurar i configurar fàcilment components de maquinari. En aquesta secció, configurarem un altaveu i un micròfon. En funció de la configuració, cal fer algunes configuracions personalitzades.

àudio de configuració de sam

Posa a prova l’altaveu

Per comprovar que l’altaveu funciona, executeu

altaveu de prova sam

Si tot funciona bé, hauríeu d’escoltar al vostre altaveu una veu que digués algunes paraules. Configuració del micròfon Podeu comprovar que el vostre micròfon funciona:

sam micròfon de prova

Suposant que teniu un altaveu, si podeu escoltar clarament el que acabeu de dir, podeu continuar sense cap configuració de micròfon addicional.

Quan estigueu satisfets que la configuració del maquinari funciona, ja podeu passar al següent pas, on desplegareu el vostre primer assistent.

Pas 10: importació del model d'IA des de la consola

Un cop hàgiu creat l'assistent a partir dels passos anteriors, inicieu sessió a la consola des de la finestra del terminal executant:

sam login

Se us demanarà que introduïu les vostres credencials de la consola Snips.

A continuació, instal·leu l'assistent:

sam assistent d'instal·lació

Si heu creat diversos assistents a la consola, se us demanarà que trieu quin instal·leu d'una llista.

Pas 11: controlador i codi d'acció

Per tal que el Raspberry Pi respongui, haurem d’escriure algun codi de controlador. Es tracta d’un codi que s’executa quan passa un cert esdeveniment a la plataforma Snips, com ara quan s’ha detectat una intenció.

Teniu diversos mètodes per crear Handler en funció del funcionament.

Creeu una carpeta a l'ordinador on vulgueu emmagatzemar el vostre codi de control. Des de la finestra del terminal, canvieu a aquest directori i introduïu:

npm init

Això crearà un fitxer anomenat package.json que conté la descripció del projecte, les dependències i molt més. A continuació, afegiu la dependència del paquet mqtt:

npm install mqtt --save

Ara, creeu un fitxer anomenat index.js i enganxeu el codi següent substituint la variable nom d’amfitrió pel nom de l’amfitrió del vostre Raspberry Pi (si és diferent del raspberrypi per defecte):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (nom d'amfitrió); client.on ('connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + host name); client.subscribe ('hermes / #');}); client.on ('missatge', funció (tema, missatge) {if (topic === "hermes / asr / startListening") {onListeningStateChanged (true);} else if (topic === "hermes / asr / stopListening") {onListeningStateChanged (false);} else if (topic.match (/ hermes / / hotword / /.+ / / detectat / g)! == null) {onHotwordDetected ()} else if (topic.match (/ hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (missatge));}}); function onIntentDetected (intent) {console.log ("[Registre de retalls] Intent detectat:" + JSON.stringify (intent)); } function onHotwordDetected () {console.log ("[Registre de fragments] Hotword detectada"); } function onListeningStateChanged (listening) {console.log ("[Registre de retalls]" + (escoltar? "Start": "Aturar") + "escoltar"); }

Executeu aquest codi amb Node:

node index.js

Hauríeu de veure un missatge d'una connexió correcta amb l'agent Snips MQTT. Com abans, realitzeu una interacció de veu amb el vostre Raspberry Pi:

Hola Snips, quin temps fa a Chennai

Hauríeu de veure els registres actualitzant-se:

[Registre de retalls] Connectat al broker MQTT mqtt: //raspberrypi.local

[Registre de retalls] Hotword detectat [Registre de retalls] Comenceu a escoltar [Registre de retalls] Deixa d’escoltar [Registre de retalls] Intenció detectada: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" predeterminat "," input ":" quin temps fa a chennai "," intent ": {" intentName ":" searchWeatherForecast "," probabilitat ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Personalitzat "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "previsió_localitat"}]}

Pas 12: resolució de problemes

Suprimiu l'assistent anterior si n'hi ha cap

$ sudo rm -rf / usr / share / snips / assistant /

Per canviar el directori a l'Assistent

cd / var / lib / snips / skills /

Per clonar el contingut de la reposició a local

git clon

Per executar l'script setup.sh

./setup.sh

Activeu l'entorn virtual

font venv / bin / activate

Executeu el codi d'acció

./action-.py

Per donar permís a Python Script

chmod + x action-.py

Pas 13: recinte

• Havia utilitzat un recinte amb classificació IP per a aquest projecte
• Primer, he fet els forats necessaris per muntar els circuits i les ranures per al cable d'alimentació i el cable HDMI.
• Llavors vaig col·locar tot el Raspberry Pi dins del recinte i el vaig cargolar fermament.
• Vaig fer una petita obertura per a l’altaveu i el micròfon i la vaig tapar amb un petit tros de xapa d’acrílic.
• Connecteu ferm l’altaveu al barret ReSpeaker.
• Finalment, tots els cargols estan muntats fermament i el cable d'alimentació s'insereix mitjançant una ranura.
• Així es veu finalment la IA: D

Pas 14: Funcionament de la IA

Podeu trobar les dades que es controlen mitjançant Snips-watch

Ara és hora d’espectacle. Vaig començar a fer amb salutacions simples IA. Feu un cop d'ull al seu funcionament.

L'AI Trainer s'ha programat per a paraules limitades. Això es pot ampliar amb petites modificacions. Això ajuda els estudiants a memoritzar el significat més ràpid que el mètode tradicional.

Atenció amable: aquest projecte està format per 25 paraules aproximadament. Es pot ampliar encara més fent petits ajustaments al codi d’acció.

Podeu trobar els scripts Action al meu dipòsit Github adjunt.

Reposició del projecte per a Greetings AI -

Project Repo per a entrenador AI -

Enllaç a la meva sol·licitud:

Tota la configuració costa uns 115 dòlars que es poden comprar a SNIPS i aquesta solució és molt barata i eficaç en comparació amb els mètodes tradicionals. Es van fer aproximadament més de 100.000 proves a l'Índia i aquest producte serà el millor suplement per als receptors de GRE.

Doneu un cop de polze si realment us ha ajudat i seguiu el meu canal per a projectes interessants.:) Comparteix aquest vídeo si vols. Feliç d’haver-vos subscrit: https://console.snips.ai/store/en/skill_xBKlxnE5K … Gràcies per llegir!