AI amb Grove Zero i Codecraft (Scratch 3.0): 5 passos (amb imatges)

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:12

En aquest article anem a construir tres projectes que utilitzen les funcions d’intel·ligència artificial de Codecraft, un entorn de programació gràfic basat en Scratch 3.0. Codecraft està desenvolupat i mantingut per l'educació de TinkerGen i és d'ús gratuït.

La IA i el seu subconjunt, l’aprenentatge automàtic, s’ha convertit en una part integral de les nostres vides en els darrers deu anys. Els currículums escolars de molts països inclouen coneixements d’IA i aprenentatge automàtic, però pot ser difícil per a un professor mitjà crear materials de lliçons per ensenyar aquest tema sense eines adequades. L’ús de biblioteques d’aprenentatge automàtic, fins i tot les més fàcils d’utilitzar, com Keras, per crear una aplicació amb què els estudiants puguin interactuar, pot ser una tasca que requereix temps i és descoratjadora. Aquí és on Codecraft pot ajudar: té un ric conjunt d'aplicacions alimentades per l'aprenentatge automàtic que el professor pot utilitzar per explicar i demostrar conceptes relacionats amb la intel·ligència artificial. Vegem-los!

Pas 1: Visió general de les extensions d'IA

Obriu l’editor en línia de Codecraft a

Feu clic al mode Etapa i, a continuació, a Afegeix un botó d'extensió a la part inferior de la pestanya de navegació de blocs.

Veureu que hi ha tres extensions AI disponibles:

- Serveis cognitius --- models d’aprenentatge automàtic per processar so i transmissió de vídeo en directe

- Màquina d'aprenentatge --- es pot utilitzar per entrenar un model de classificació amb fotografies preses amb la càmera

- Translate --- utilitza l'aprenentatge automàtic per a la traducció

En aquest article ens centrarem en els serveis cognitius i en utilitzar aquestes funcions per controlar el maquinari de Grove Zero. La comunicació sense fils entre l'ordinador i Grove Zero encara està en procés i actualitzaré l'article tan aviat com estigui disponible. De moment utilitzarem la connexió per cable per passar els missatges entre el mòdul Grove Zero i l'ordinador.

Pas 2: Juga a Space Invaders amb el nas

Per a la primera tasca utilitzarem només el mode d’escenari sense cap maquinari. Codecraft té molts exemples per començar a programar; un d’aquests exemples és programar un joc clàssic de Space Invaders en mode Codecraft Stage. Ampliarem aquest exemple i afegirem la possibilitat de controlar el combatent del joc amb el nas mitjançant els serveis cognitius.

Feu clic al botó Exemples. Exemple d’Open SpaceInvaders. Només hem de canviar la part rellevant per al moviment. Per a això obtindrem la posició x del nas a la cara detectada en el canal de vídeo en directe, guardeu-la en pos variable. Aleshores, si el valor de pos és superior a 50, desplacem el nostre combatent espacial cap a la dreta, si és inferior a -50, aleshores ens desplacem cap a l'esquerra. Això és tot. Intenta-ho! Si creieu que la velocitat de moviment del lluitador és massa ràpida, podeu canviar de x per … bloquejar a un nombre més petit.

A continuació, ampliarem aquesta funcionalitat per controlar el cotxe Grove Zero i fer-lo avançar / retrocedir / esquerra / dreta.

Pas 3: Controleu el cotxe Grove Zero amb Codecraft AI

Comencem escrivint codi en mode escenari: aquesta és la part que s’encarrega d’analitzar el canal de vídeo i enviar ordres a Grove Zero.

1) Executem el codi a la primera captura de pantalla fins que es prem el botó d'espai. Després d’això, enviem l’ordre stop.

2) Dins de la repetició interior fins que el bloc comprovem les posicions x i les posicions del nas d'una cara detectada i les guardem a les variables corresponents.

3) Si el valor absolut de la posició x és inferior a 21 (és a dir, està entre -20 i 20, de manera que és a prop del centre de la imatge), passem a comprovar la posició y per determinar si el cotxe ha d’anar endavant o enrere

4) En cas contrari, comprovem si el cotxe ha d’anar a l’esquerra o a la dreta

Ara anem a la pestanya Dispositiu i escrivim un codi curt per al cotxe Grove Zero. Utilitzarem el bloc Quan rebo, que s’encarrega de rebre ordres de difusió internes. No s’ha de confondre amb Quan la ràdio rep, que s’utilitza per a la comunicació Bluetooth. Consulteu la captura de pantalla per obtenir més informació, el codi és bastant senzill.

Connecteu el cotxe Grove Zero muntat a l'ordinador i premeu el botó Connecta de Codecraft. Canvieu al mode de depuració en línia, que permetrà a la placa base Grove rebre ordres de difusió per cable. A continuació, aneu al mode escenari i premeu la bandera. El cotxe hauria de moure's ara, proveu de controlar-lo amb el nas:)

Pas 4: seguiment de línia amb control de veu

Hi ha un mapa al kit de cotxes Grove Zero, que originalment serveix per jugar al mini-joc Collect the Coins. Podem reutilitzar-lo per utilitzar el reconeixement de veu a Codecraft per donar ordres al cotxe en quin camí girar a la cruïlla.

La part del mode d'escenari aquí és menys complicada que en l'exemple anterior. El que fem és:

1) En rebre el missatge de difusió choose_direction, reconegueu el fragment de veu i deseu-lo a la variable de resultat.

2) Seguiu reconeixent fins que el resultat NO sigui desconegut.

3) Compareu el resultat amb dues cadenes: "esquerra" i "dreta". Emet el missatge corresponent al cotxe Grove Zero.

El codi que s’executa al cotxe Grove Zero és una vegada més complicat, però bàsicament segueix aquesta lògica:

1) Quan comenceu, emetre el missatge de reenviament

2) En rebre el missatge de reenviament, comenceu a seguir la línia. Si es perd la línia, atureu els motors i emetreu

direcció_elecció. Aquí s'executa el codi en mode Etapa.

3) Si el missatge que heu rebut, comenceu a girar a l'esquerra i torneu a la manera següent.

Si heu rebut el missatge dret, comenceu a girar a la dreta i torneu al mode següent de línia.

Pas 5: darrere de les escenes

Els models de xarxes neuronals que s’utilitzen a l’aplicació anterior s’executen localment al vostre navegador, cosa que presenta alguns avantatges diferents en comparació amb l’enviament de dades al núvol per al seu processament: menor latència i millor privacitat. Hi ha diverses xarxes neuronals que s’utilitzen en serveis cognitius: classificació de so per a ordres de veu (, Face Landmark Detection, Face Expression Recognition i Age estimation).

En aquest article hem explorat la funcionalitat bàsica d'una de les extensions de Codecraft AI: els serveis cognitius. Hi ha diverses maneres de basar-vos en aquests exemples per fer aplicacions encara més divertides i emocionants.

Si decidiu provar-ho, sigui amb Grove Zero o simplement utilitzant el mode Etapa, comparteix els comentaris següents. Per obtenir més informació sobre la sèrie Grove Zero, Codecraft i altres elements de maquinari per a fabricants i educadors STEM, visiteu el nostre lloc web, TinkerGen ha creat una campanya Kickstarter per a MARK (Make A Robot Kit), un kit de robot per ensenyar codificació, robòtica i IA.