Introducció a la càmera M5StickV AI + IOT: 6 passos (amb imatges)

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:13

Breu visió general

La M5StickV és una càmera AI + IOT petita de la mida del diàmetre de 2 monedes, el preu és d’uns 27,00 dòlars, que per a alguns poden semblar cars per a una càmera tan petita, però inclou algunes especificacions dignes. La càmera funciona amb un xip AI d’aprenentatge automàtic increïblement potent, Kendryte K210, un sistema informàtic de punta sobre xip amb CPU RISC-V de 64 bits de doble nucli i processador de xarxa neuronal d’última generació, que la fa perfecta i preparada utilitzar per:

• Reconeixement / detecció de cares
• Detecció / classificació d'objectes
• S’obté la mida i les coordenades de l’objectiu en temps real
• Obtenció d’un tipus d’objectiu detectat en temps real
• Reconeixement de formes
• Simulador de jocs

El M5StickV ve en un bon paquet que conté el mateix M5StickV i un cable USB-A a USB-C.

Funcions de maquinari

SoC: processador dual-core RISC-V de 64 bits Kendryte K210 a 400 MHz amb FPU de doble precisió independent independent, SRAM on-chip de 8 MB, processador de xarxes neuronals (KPU) @ 0,8 cims, matriu d’IOO programable al camp (FPIOA) i més

• Emmagatzematge: 16 MB de flaix, ranura per a targetes microSD
• Pantalla: pantalla SPI de 1,14 ″ amb resolució de 240 × 135 (controlador ST7789)
• Càmera: càmera VGA (640 × 480) mitjançant sensor OV7740
• Àudio: amplificador d'àudio mono MAX98357, altaveu
• Sensor: giroscopi de 3 eixos MPU6886, acceleròmetre de 3 eixos
• USB: 1 port USB-C per alimentar i programar
• Altres: botons frontals i laterals (A / B), botó d’encesa, LED RGBW
• Expansió: port "CONNEXT" de 4 pins
• Font d'alimentació
• Bateria de 200 mAh
• AXP192 PMIC

Es pot trobar una especificació més detallada al lloc web oficial de M5Stack. Primer de tot, hem de descarregar la versió més recent del firmware.

Pas 1: Com gravar el microprogramari a M5StickV

• Connecteu l'M5StickV a l'ordinador mitjançant el cable tipus C.
• Descarregueu el darrer firmware per a M5StickV des d’aquest enllaç.

Per a Windows:

Hi ha 3 mètodes per gravar firmware per al sistema operatiu Windows:

Utilitzant l'eina EasyLoader

1. Seleccioneu el port COM adequat
2. Premeu Grava
3. Després d'actualitzar el firmware, veureu que s'ha cremat correctament.

Utilitzant la interfície gràfica d’usuari de Kflash

1. Obriu el firmware descarregat mitjançant el botó Obre fitxer
2. Seleccioneu el tauler com a M5StickV
3. Feu clic a Baixa

S’utilitza l’indicador d’ordres

• Comproveu el port COM del vostre M5StickV al Gestor de dispositius de Windows.
• Al Windows, heu de tenir Python3 amb pip3 instal·lat i el paquet pyserial també. Podeu descarregar la versió més recent de Python des del lloc web oficial.
• Obriu l'indicador d'ordres com a administrador i escriviu l'ordre següent

pip3 instal·la kflash

Després d'acabar la instal·lació, executeu l'ordre següent

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Per a Linux:

• Utilitzant la interfície gràfica d’usuari de Kflash
• Utilitzant el terminal

Executeu l'ordre següent al terminal:

sudo pip3 instal·la kflash

Utilitzant la imatge de firmware de Kflash burn

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Per a MacOS:

Obriu el terminal i executeu l'ordre següent

sudo pip3 instal·la kflash

Si rebeu un error després de la instal·lació, proveu l'ordre següent:

sudo python -m pip instal·la kflash

sudo python3 -m pip install kflash sudo pip install kflash sudo pip2 install kflash

Introduïu l'ordre següent

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Pas 2: Arrencar el M5stickV per primera vegada

Per a MacOS i Linux:

1. Obriu el terminal Instal·leu la utilitat de pantalla per a MacOS i Linux.
2. Es pot instal·lar mitjançant l'ordre següent:

sudo apt-get install screen

Mitjançant la utilitat de pantalla connecteu-vos a M5stickV mitjançant comunicació en sèrie

sudo screen / dev / ttyUSB0 115200

Imprimirà:

[MAIXPY] Pll0: freq: 832000000 [MAIXPY] Pll1: freq: 398666666 [MAIXPY] Pll2: freq: 45066666 [MAIXPY] cpu: freq: 416000000 [MAIXPY] kpu: freq: 398666666 [MAIXPY] Flash: 0xc core … gc heap = 0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | / / | / / | _ _ | / \ / / | _ / \ / / / | / / | / / | | / V / | | _) | / \ _ / / | | / / | | / / / \ | | > <| _ / / / | | | | / _ / _ | | _ /. / | | | | | _ | | _ | / _ / / _ / | _ | / _ / / _ / | _ | | _ | M5StickV per M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Cooperativa per Sipeed: https://m5stack.com/ [MAIXPY]: result = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: mostreig = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: mida de dades = 158760 init i2c2 [MAIXPY]: troba ov7740

Quan estigui connectat, entrarà automàticament a la interfície d’usuari de Maixpy. Ara el dispositiu està executant el codi de programa per defecte, el podeu acabar amb Ctrl + C

Per a Windows

1. Descarregueu PuTTY: un client SSH i telnet gratuït per a Windows
2. Instal·leu i obriu PuTTY
3. Seleccioneu el port COM i la velocitat de transmissió
4. Feu clic al botó Obre i obtindreu la mateixa sortida de pantalla que l'anterior.
5. Acabeu-lo amb Ctrl + C.

Pas 3: imprimiu un exemple de Hello World a la pantalla de M5StickV

Introduïu les ordres següents al terminal de MacOS i Linux. Per a Windows utilitzeu PuTTY

import lcdlcd.init () lcd.draw_string (100, 100, "hola world", lcd. RED, lcd. BLACK)

Pas 4: MaixPy IDE

El MaixPY IDE és una versió clonada de l'OpenMV IDE. M5StickV admet els entorns de desenvolupament OpenMV i MicroPython.

• Descarregueu MaixPy IDE des d’aquí.
• Instal·leu MaixPy IDE
• Inicieu el MaixPy IDE
• Seleccioneu el model de la placa de desenvolupament - Eines-> Selecciona placa-> M5StickV.
• Feu clic al botó verd de l'enllaç Connecta a l'extrem inferior esquerre i seleccioneu el port de connexió sèrie USB i feu clic a D'acord.
• Quan el botó de connexió passa de verd a vermell, s'ha connectat correctament.
• Feu clic al botó Executa a l'extrem inferior esquerre per executar el codi i verificar-lo.
• Feu clic a la pestanya del terminal sèrie a continuació.
• Finalment, veureu la sortida a la finestra MaxPy.

Pas 5: Detecció de cares mitjançant M5StickV

• Per defecte, el model i el codi del programa de detecció de cares ja estaven preinstal·lats. Així és com funciona.
• L'exemple de detecció de cares funciona força bé.
• Per poder utilitzar els altres models, hem de gravar-lo a la memòria flash del M5StickV mitjançant kflash_gui. Es poden descarregar altres models des d’aquí. Hi ha un model pre-entrenat, el mobilenet, que està pre-entrenat per reconèixer 1000 objectes. Pot detectar molts objectes quotidians amb facilitat.
• Copieu el codi següent a MaixPy IDE.

import sensor import import KPU as kpu sensor.reset () sensor.set_pixformat (sensor. RGB565) sensor.set_framesize (sensor. QVGA) sensor.run (1) task = kpu.load (0x300000) anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2 (tasca, 0,5, 0,3, 5, ancoratge) mentre que (True): img = sensor.snapshot () code = kpu.run_yolo2 (tasca, img) if code: for i in code: print (i) a = img.draw_rectangle (i.rect ()) a = kpu.deinit (tasca)

• Premeu el botó Executa i el tauler mostra el vídeo en directe des de la càmera fins al MaixPyIDE.
• La precisió és força bona tenint en compte que l’executem en un tauler de 27 dòlars. Això és realment impressionant i revolucionari.

Pas 6: Conclusió

Aquesta placa no és ideal, però, no té entrades analògiques, micròfon, WiFi i Bluetooth. Tot i això, és una càmera fantàstica amb capacitats d’intel·ligència artificial que es pot utilitzar per al reconeixement de cares, la detecció d’objectes o formes i moltes altres activitats de detecció. A més, aquest és un fantàstic kit de desenvolupament per començar amb el nucli Kendryte K210 RISC-V.

Espero que us hagi estat útil aquesta guia i gràcies per llegir-la. Si teniu cap pregunta o comentari? Deixa un comentari a continuació. Estigueu atents!