Visualització de dades de Magicbit a AWS: 5 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:10

Les dades recopilades de sensors connectats a Magicbit es publicaran al nucli AWS IOT mitjançant MQTT per visualitzar-les gràficament en temps real. Estem utilitzant Magicbit com a tauler de desenvolupament d’aquest projecte basat en ESP32. Per tant, qualsevol placa de desenvolupament ESP32 es pot utilitzar en aquest projecte.

Subministraments:

Magicbit

Pas 1: història

Aquest projecte tracta de connectar el dispositiu Magicbit a l’AWS Cloud mitjançant MQTT. Les dades enviades a través de MQTT s’analitzen i es visualitzen al núvol mitjançant els serveis AWS. Comencem doncs

Primer heu d’anar a la consola AWS i iniciar la sessió. A efectes d’aprenentatge, podeu utilitzar l’opció de nivell gratuït que ofereix AWS. N’hi haurà prou amb aquest projecte.

Per fer-ho més senzill, dividiré el projecte en dues seccions.

Aquesta serà la primera etapa del nostre projecte. Al final de la primera etapa, les dades s’emmagatzemaran als dipòsits S3.

Els serveis AWS que s’utilitzaran a la primera secció,

• Kinesis Firehose
• AWS Glue
• AWS S3

Aneu primer al servei AWS Kinesis.

Trieu Kinesis Data Firehose com es mostra a continuació i feu clic a Crea

A continuació, se us dirigirà al pas 1 per crear un servei Firehose. Introduïu un nom de flux de lliurament i trieu Put directe o altres fonts. Feu clic a Següent.

A la finestra del pas 2, deixeu-ho tot per defecte i feu clic a Següent. Després de crear l'AWS Glue Service, tornarem a editar aquest pas.

Al pas 3, trieu un dipòsit S3 si l'heu creat abans. En cas contrari, feu clic a crear i crear un dipòsit. A la secció del prefix S3 utilitzeu dest / i en el prefix d'error introduïu error /. Podeu introduir qualsevol nom per als dos anteriors. Però, per facilitat, continuarem amb un nom comú. Assegureu-vos de crear una carpeta anomenada dest dins del dipòsit que heu triat. Feu clic a Següent.

Al pas 4, trieu la mida mínima de la memòria intermèdia i l'interval de memòria intermèdia per a la transferència de dades en temps real. A la secció de permisos, trieu Crea o actualitza el rol IAM KinesisFirehoseServiceRole. Mantingueu-ho tot per defecte. Feu clic a Següent.

A la secció següent es mostrarà una revisió dels canvis que heu fet. Feu clic a D'acord. Llavors tindreu un Kinesis Firehose en funcionament.

Si heu creat el servei Firehose amb èxit, obtindreu alguna cosa així.

Pas 2: proveu la mànega de foc i el cub S3

Per provar que la mànega de foc i el compartiment S3 funcionin correctament, seleccioneu el nucli IOT a la consola. Se us dirigirà a una pàgina com aquesta. Trieu Regla i creeu una regla.

Què és la regla AWS IOT?

S'utilitza per reenviar totes les dades rebudes de MQTT a un servei concret. En aquest exemple, el reenviarem a Kinesis Firehose.

Trieu un nom per a la regla. Deixeu la declaració de regla i consulta tal com està. Això ens indica que tot el que es publiqui al tema iot / topic es reenviarà a kinesis Firehose mitjançant aquesta regla.

A la secció Establir una o més accions, feu clic a Afegeix una acció. Trieu Enviar un missatge a Amazon Kinesis Firehose Stream. Trieu configurar. A continuació, seleccioneu el nom del flux de mànega de foc creat anteriorment. A continuació, feu clic a Crea un rol i creeu un rol. Ara heu creat amb èxit un rol a AWS.

Qualsevol missatge que publiqueu es reenviarà a la galleda S3 de Kinesis Firehose.

Tingueu en compte que Firehose envia dades quan s’omple la memòria intermèdia o quan s’arriba a l’interval de memòria intermèdia. L'interval mínim de memòria intermèdia és de 60 segons.

Ara podem passar a la segona part del projecte. Aquest serà el nostre diagrama de flux de dades.

Pas 3: Configuració de AWS Glue

Per què necessitem AWS Glue i AWS Athena?

Les dades emmagatzemades als dipòsits S3 no es poden utilitzar directament com a entrada a AWS Quicksight. Primer hem d’organitzar les dades en forma de taules. Per a això fem servir els dos serveis anteriors.

Aneu a AWS Glue. Seleccioneu Rastrejador a la barra d'eines lateral. A continuació, seleccioneu Afegeix rastrejador.

Al primer pas, introduïu un nom per al vostre rastrejador. Feu clic a Següent. Al pas següent, deixeu-lo per defecte. Al tercer pas, introduïu el camí cap al dipòsit S3 escollit. Deixeu la finestra següent per defecte. A la cinquena finestra introduïu qualsevol rol IAM. En el següent pas, va triar la freqüència d'execució del servei.

És recomanable seleccionar personalitzat al quadre desplegable i triar un temps mínim.

Al següent pas, feu clic a Afegeix base de dades i, a continuació, al següent. Feu clic a Finalitza.

Ara hauríem d’integrar el nostre Kinesis Firehose amb l’AWS Glue que vam crear.

Aneu a la mànega de foc AWS Kinesis que hem creat i feu clic a Edita.

Desplaceu-vos cap avall fins a la secció Converteix el format de registre i trieu Habilitat.

Tria el format de sortida com Apache Parquet. Per a la resta de detalls, empleneu els detalls de la base de dades Glue que heu creat. S'hauria de crear una taula a la base de dades i afegir el nom a aquesta secció. Feu clic a Desa.

Pas 4: Configuració d'AWS Athena

Trieu la base de dades i la taula de dades que heu creat. A la secció de consulta s'hauria d'afegir aquest codi.

El nom de la taula s'ha de substituir pel nom real de la taula de cola que heu creat.

Feu clic a Executa consulta. Si funciona, les dades emmagatzemades al dipòsit AWS S3 s'han de mostrar com una taula de dades.

Ara estem preparats per visualitzar les dades que obtenim.

Pas 5: Configuració de QuickSight

Aneu a AWS Quicksight

Feu clic a Anàlisi nou a l'extrem superior dret i, a continuació, feu clic a Conjunt de dades nou.

Trieu Athena a la llista. Introduïu qualsevol nom de font de dades a la targeta emergent.

Seleccioneu la base de dades de cola al quadre desplegable i a la taula corresponent. Això us portarà a aquesta pàgina.

Arrossegueu i deixeu anar qualsevol camp de la llista de camps i seleccioneu qualsevol tipus de visualització.

Ara podeu visualitzar les dades enviades des del vostre MagicBit mitjançant els serveis AWS.

Recordeu que heu de permetre l'accés a la vista ràpida dels dipòsits S3 respectius per tal de visualitzar-ne les dades.