PiTextReader: un lector de documents fàcil d'utilitzar per a visions amb discapacitat: 8 passos (amb imatges)

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:14

Visió general

Actualització: demostració de vídeo breu:

PiTextReader permet a algú amb problemes de visió "llegir" text de sobres, cartes i altres articles. Captura una imatge de l’ítem, es converteix en text sense format mitjançant l’OCR (reconeixement òptic de caràcters) i, a continuació, pronuncia el text mitjançant la conversió de text a veu.

El lector està dissenyat per ser el més senzill d’utilitzar possible. No cal Internet, ni interfície gràfica, només un botó. Simplement col·loqueu l’element que voleu llegir al suport i premeu un botó. Al cap d’uns instants, el text se’ls tornarà a llegir.

Ho he dissenyat per a un pare gran amb problemes de visió ocular com la degeneració macular, però es pot utilitzar de manera més àmplia per a qualsevol persona que vulgui text imprès traduït a veu sonora.

Hi ha molts lectors disponibles, però la majoria costa milers de dòlars o és per a algú amb coneixements tècnics que requereixi connectivitat a Internet i l’ús d’un telèfon intel·ligent. Aquest lector està dissenyat per ser completament independent, sense Internet ni interfície que no sigui un polsador gran.

Pros

• Un botó per controlar
• No cal connexió a Internet
• No hi ha cap interfície gràfica d'usuari per navegar
• Cost total inferior a 100 dòlars
• Sempre a punt

Contres

• L'OCR es pot limitar a causa de tipus de lletra, colors, mida del text, etc.
• El discurs sona com Stephen Hawking
• Funciona millor per a petites seccions de text negre sobre paper blanc.

Pas 1: maquinari

• Raspberry Pi 3 (necessita potència!)
• Targeta micro SD de 8 GB +
• Alimentació de corrent continu de 5v 2A per a gerds
• Càmera Raspberry Pi (Regular o NoIR)
• Cable de la càmera Raspberry Pi de 24”https://www.adafruit.com/product/1731
• Muntatge o funda de la càmera https://www.adafruit.com/product/3253 o
• Eina d’ajust de la lent (per enfocar la càmera)
• Altaveu mono alimentat per USB (es prefereix una mida petita)
• Polsador gran: momentani amb LEDhttps://www.adafruit.com/product/1440
• Resistència de 330 ohm per al LED del botó superior
• Caixa de fusta de 8 "x8" x2 "de Michaels o d'altres grans botigues de subministraments d'art.
• Fusta de ferralla per a la construcció de suport per a càmeres:
• Franja plana de 8 "Lx1" Wx1 / 2 "T.
• Franja plana de 5 "Lx1" Wx1 / 4 "T.
• Espiga quadrada de 6”Lx1 / 2” x1 / 2”per a una guia de col·locació
• Cargols, cola, filferro, soldadura, etc.

Pas 2: construcció de maquinari

Amb el quadre de 8 "x8":

1. Feu un forat a la part posterior del cable d'alimentació.

2. Feu un forat a la cantonada dreta dreta del botó momentani3. Forat (s) per a l’altaveu. (vegeu el pas 12 d'àudio a continuació)

4. He utilitzat una peça de tira d'alumini de 2 "x1 / 4" x13 "per al muntatge de la càmera, però les tires de fusta també funcionen.

a. Munteu la tira de fusta plana de 8 a la part posterior de la TAPA de la caixa. (assegureu-vos que estigui connectat a la TAPA i no a la part inferior de la caixa, en cas contrari no el podreu obrir!)

b. Munteu la tira de fusta plana de 5 "a la part superior de la vertical de 8" amb cargols i cola. Tingueu en compte que l’alçada de la càmera determina la mida del document i el focus necessari. És possible que vulgueu pujar per als documents de superfície més gran.

5. Talla una escletxa d'1 "x1 / 16" a la part superior de la caixa, a prop de la vertical de 8 "perquè el cable de la càmera passi.

NOTA: Per a l'electrònica, recomano NO muntar els components de manera permanent, de manera que pugueu fer ajustaments fàcilment.

6. Connecteu el cable de la càmera de 24 polzades a la càmera. NO CONNECTEU A LA FRASSA encara.

Pas 3: contenció de maquinari …

7. Munteu la càmera cap avall des de l'extrem de la tira de fusta de 5 . Us suggereixo esperar abans de col·locar la càmera a la seva funda perquè pugueu enfocar l'objectiu més fàcilment un cop s'executi.

Per a un enfocament inicial, utilitzeu l’eina d’ajust i gireu l’objectiu en sentit antihorari 1/4. girar.

8. Feu passar el cable de la càmera cap avall per la ranura i connecteu-lo al Pi. (Assegureu-vos que Pi està DESACTIVAT!)

9. Instal·leu el botó momentani i connecteu els cables entre ell i els pins GPIO Pi 24 i GND. I connecteu el LED del botó a través d’una resistència de 220 ohm als pins GPIO 18 i GND de Pi.

10. Introduïu la font d'alimentació a la caixa i connecteu-la al Pi. Per tapar el forat de la caixa, heu d’utilitzar un alleujament de la tensió, com ara cola de fusió en calent o similar, perquè el cable no es pugui estirar.

Pas 4: Instal·lació del maquinari d'àudio …

11. Per a l’àudio, he utilitzat un altaveu mono que utilitza l’alimentació USB i l’àudio mini jack. Vaig treure l’electrònica i l’altaveu de la caixa de plàstic original i vaig connectar l’endoll d’àudio a la presa d’àudio Pi i el cable USB a Pi USB. També vaig substituir el petit altaveu original per un de més gran de 3 polzades per obtenir una qualitat de so molt millor.

Com que vaig muntar l’altaveu sota la tapa de la caixa, vaig perforar diversos petits forats en forma de graella d’altaveu.

12. Finalment, comproveu les connexions, especialment el cable de la càmera i les connexions GPIO.

NO ENCENDEU EL PI. Primer, continueu amb la configuració del programari …

No hi ha cap commutador On / Off, ja que se suposa que el Pi hauria de funcionar tot el temps, de manera que estigui a punt per llegir alguna cosa immediatament. Només fa servir uns quants watts i pot funcionar 24/7 sense problemes.

És possible que la targeta SD es corrompi si es desconnecta o es produeix una fallada de corrent, però és rar. Encara no he tingut mai una targeta SD no arrencable. Però no el connecteu a una corrent que estigui apagada / engegada regularment.

Pas 5: Configuració i configuració del sistema operatiu

Formateu una targeta microSD de 8 GB o més amb Raspbian Jessie (o Stretch) Lite (sense GUI per a aquest projecte).

www.raspberrypi.org/downloads/raspbian/

Haureu d’accedir al Raspberry remotament mitjançant SSH. Al Windows, podeu utilitzar el programa terminal PUTTY SSH. A Mac, només cal que obriu una finestra del terminal d’ordres. Alternativament, podeu connectar temporalment un teclat i un monitor HDMI només perquè es construeixin, però SSH facilita el treball més endavant.

Si instal·leu Raspbian Jessie en una targeta SD mitjançant un PC amb Windows, podeu crear dos fitxers a la targeta per configurar l'accés WiFi i SSH abans d'arrencar-lo en un gerd?

Per a això, suposeu que la vostra targeta SD està muntada actualment com a K: al vostre PC:

1) Instal·leu la imatge més recent de Raspbian Jessie a la SD. Per a aquest projecte, Jessie Lite hauria de funcionar.

2) Amb el bloc de notes, creeu un fitxer anomenat només "ssh" i utilitzeu Desa com a "Tots els fitxers" a K: / ssh El fitxer pot contenir qualsevol cosa. És important el nom del fitxer. NO ha de ser "ssh.txt" !!!

3) Amb el bloc de notes, creeu un fitxer anomenat "wpa_supplicant.conf" amb el següent:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

xarxa = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Utilitzeu Desa com a "Tots els fitxers" a K: / wpa_supplicant.confAgain, no deixeu que el Bloc de notes el canviï a "wpa_supplicant.conf.txt".

Quan inicieu el Raspberry la primera vegada, Jessie els buscarà i es connectarà al vostre Wifi. Tot i així, haureu de buscar al vostre router l'adreça IP, ja que s'ha assignat automàticament mitjançant DHCP.

Ara llest per instal·lar al vostre Pi:

1. Introduïu la targeta microSD al Pi i endolleu-la ara.

2. Per iniciar la sessió de forma remota al vostre Raspberry Pi, haureu de trobar la seva adreça IP. Vostè pot intentar:

$ ssh [email protected]

O des de Putty, introduïu el nom de l'amfitrió: [email protected]

En cas contrari, haureu de veure si el vostre router mostrarà les adreces IP dels vostres dispositius locals.

Un cop hàgiu iniciat la sessió com a usuari de pi:

3. Actualitzeu el sistema operatiu Raspbian:

$ sudo apt actualització

$ sudo apt upgrade

4. Configureu el gerd i activeu la càmera:

$ sudo raspi-config

a. Canvia la contrasenya d’usuari

b. Opcions d'interfície -> Càmera -> Activa

c. Acabar

d. Reinicieu

Pas 6: Instal·lació del programari d'aplicacions

Ara torneu a iniciar sessió al vostre Pi i ja podeu instal·lar l'aplicació PiTextReader.

1. Instal·leu el programari inicial requerit: $ sudo apt install git –y

2. Descarregueu el programari:

$ cd / home / pi

$ git clone

$ cd PiTextReader

$ sh install.sh

Podeu tornar a executar l'instal·lació de manera segura diverses vegades, si cal.

3. Col·loqueu un document senzill per llegir-lo i executeu el programa de prova que defineix el volum, reprodueix àudio de text a veu i fa una foto.

$ sh test.sh

Si rebeu missatges d’error, consulteu Solució de problemes a continuació. Editeu el programa test.sh per ajustar el volum si cal.

4. El programa de prova desa una foto a "test.jpg". Haureu de copiar aquesta imatge a un PC per poder veure el focus i el camp de visió. Una manera ràpida i bruta de fer-ho és iniciar un petit servidor web al vostre Pi i utilitzar un navegador:

$ python -m SimpleHTTPServer 8080 &

A continuació, aneu a https:// {IPadreça}: 8080 /

Feu clic a la prova.jpg

Utilitzeu l'eina d'ajust de l'objectiu per enfocar la càmera.

Torneu a executar el programa test.sh amb la freqüència necessària.

NOTA: si heu d’ajustar la configuració de la càmera raspistill, també haureu d’editar el programa pitextreader.py amb la nova configuració.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. Reinicieu $ sudo

El Pi ha de sortir i funcionar automàticament, llest per al seu funcionament.

Pas 7: operació

En arrencar el Pi, sentireu un "OK Ready" i veureu que s'encén el LED del botó.

Sempre que s’encén el LED, la unitat ja està a punt.

Col·loqueu un text imprès sota la càmera, preferiblement només unes poques línies de text negre sobre paper blanc.

Tingueu en compte que la càmera no necessita molta llum, especialment la NoIR. La llum de l’ambient estava bé per a la meva. Massa llum provoca una il·luminació desigual i distorsiona l’OCR.

Prem el botó.

El LED s'hauria d'encendre i hauria de sonar un clic de la càmera, així com el so "Funcionament correcte".

Al cap d’uns segons, s’ha de llegir el text. Si el text està distorsionat, el tipus de lletra és massa fosc o massa clar, cap als costats o cap per avall, el resultat serà un discurs divertit.

La conversió i la lectura poden trigar entre 5 i 30 segons, així que tingueu paciència. Com més text, més temps triga.

Si heu de deixar de llegir, podeu prémer el botó mentre encara es reprodueix l'àudio (el LED està apagat).

Un cop finalitzat el discurs, al cap d'un parell de segons, el LED es torna a encendre i tornareu a sentir "OK Ready". Ja està a punt per fer una altra exploració.

Tingueu en compte que la distància de la càmera està configurada per a la càmera Raspi i només per a una part d’un document de 8x10. He trobat que és millor llegir parts d’un document alhora, ja que les pàgines completes poden ser difícils d’escoltar. Moltes de les coses que cal llegir són text més petit, de manera que si la càmera està massa lluny, no es pot resoldre.

Per solucionar problemes, consulteu a continuació, en particular la secció ESCÀNER I OCR

Si tot està bé, munteu permanentment tots els components per completar la construcció.

Pas 8: resolució de problemes

1. CÀMERA

Verifiqueu que la càmera estigui activada mitjançant

$ sudo raspi-config

Opcions d’interfície -> Càmera

Torneu a col·locar el cable de la cinta ja que és delicat i ha d’estar alineat exactament. Si cal, cerqueu "Resolució de problemes de càmera de raspberry pi" per buscar problemes similars. Google també el missatge d'error que s'obté quan s'executa el programa test.sh.

2. ÀUDIO

Teniu volum elevat?

$ sudo amixer -q sset PCM, 0 100%

Executa la prova d'àudio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Encara no teniu àudio? Força l’àudio a la presa:

$ sudo raspi-config Opcions avançades -> Àudio -> Força la presa dels auriculars

3. DISCURS

Si l'àudio anterior sona bé, proveu de fer el següent:

$ flite -t PROVA

Missatges d'error de Google, si n'hi ha.

Torneu a executar install.sh

Sí, el discurs sona una mica com Stephen Hawking.

4. ESCÀNER I OCR

Aquesta és l’àrea d’ajust necessària més gran. Perquè l’OCR funcioni correctament, la imatge de la càmera ha de ser de bona qualitat; el document ha d'estar il·luminat sense problemes, però no necessàriament amb molta intensitat.

El text ha de ser pla i clar. No tots els tipus de lletra són llegibles.

Per verificar la qualitat, examineu els dos fitxers:

/tmp/text.txt i /tmp/image.jpg

Podeu iniciar el petit servidor web i utilitzar un navegador:

$ cd / tmp $ python -m SimpleHTTPServer 8080 &

El text de la imatge ha de ser senzill i llegible. La imatge ha de ser cap amunt, amb bon contrast, enfocada. És possible que hagueu de capgirar el document si està cap per avall. (recordeu a l’usuari que, si escolta gobbly-gook, proveu de capgirar el document.) Si la imatge té un contrast deficient, haureu de millorar la il·luminació, perquè massa o poc pot causar problemes. La il·luminació irregular també farà que fallin parts del text. Per trobar més ajuda, consulteu “ajuda tesseract-ocr”

5. MONITOR / TECLAT HDMI

Sí, podeu connectar un teclat i un monitor al Pi, esp. si no podeu trobar l'adreça IP o no hi podeu accedir mitjançant SSH. No hi ha cap interfície GUI i això pot desactivar el so tret que el vostre monitor tingui un altaveu.

6. INTERNET / WIFI

Si el WIFI no funciona, només podeu connectar temporalment un cable Ethernet i utilitzar-lo.

Aquest projecte no necessita Internet ni WiFi un cop hàgiu completat la instal·lació i la configuració.