Configuració de Kafka: 4 passos

2024 Autora: John Day | [email protected]. Última modificació: 2024-01-30 08:13

Introducció:

Apache Kafka és un sistema de missatgeria de codi obert, escalable i d’alt rendiment, desenvolupat per l’Apache Software Foundation, escrit a Scala. Apache Kafka està dissenyat especialment per permetre que un únic clúster serveixi de troncal central de dades per a un entorn gran. Té un rendiment molt superior en comparació amb altres sistemes de corredors de missatges com ActiveMQ i RabbitMQ. És capaç de manejar de manera eficient grans volums de dades en temps real. Podeu desplegar Kafka en un servidor Apache únic o en un entorn distribuït en clúster.

Característiques:

Les característiques generals de Kafka són les següents:

Persisteix el missatge al disc que proporciona un rendiment en temps constant.

Alt rendiment amb estructures de disc que admeten centenars de milers de missatges per segon.

El sistema distribuït s’escala fàcilment sense temps d’inactivitat.

Admet múltiples subscriptors i equilibra automàticament els consumidors en cas d’error.

Aquest tutorial mostra com instal·lar i configurar Apache Kafka en un servidor Ubuntu 16.04.

Requisits

Un servidor Ubuntu 16.04.

Compte d'usuari no root amb privilegis de superusuari configurat al servidor.

Pas 1: Introducció i instal·lació de Java

1) Comencem a assegurar-nos que el servidor Ubuntu 16.04 estigui completament actualitzat

Podeu actualitzar el servidor executant les ordres següents: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Instal·lació de Java

Comproveu si el vostre equip té un Java que ja està instal·lat o té una versió per defecte de Java mitjançant l'ordre següent: -

java -versió

Fins i tot si teniu java però una versió inferior, l'haureu d'actualitzar.

Podeu instal·lar Java mitjançant: -

sudo apt-get install default-jdk

O

Podeu instal·lar Oracle JDK 8 mitjançant el dipòsit PPA de l'equip Webupd8.

Per afegir el dipòsit, executeu l'ordre següent: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Pas 2: instal·leu Zookeeper

Què és Zookeeper?

Zookeeper és un servei centralitzat per mantenir la informació de configuració, posar noms, proporcionar sincronització distribuïda i proporcionar serveis de grup. Tots aquests tipus de serveis s’utilitzen d’una forma o altra per aplicacions distribuïdes. Cada vegada que s’implementen hi ha molta feina per solucionar els errors i les condicions de la cursa que són inevitables. A causa de la dificultat per implementar aquest tipus de serveis, les aplicacions inicialment solen escatimar-les, cosa que les fa fràgils en presència de canvis i difícils de gestionar. Fins i tot quan es fan correctament, diferents implementacions d’aquests serveis comporten complexitat de gestió quan es desplegen les aplicacions.

Abans d’instal·lar Apache Kafka, haureu de tenir disponible el zookeeper i funcionar. ZooKeeper és un servei de codi obert per mantenir la informació de configuració, proporcionar sincronització distribuïda, nomenar i proporcionar serveis de grup.

1) Per defecte, el paquet Zookeeper està disponible al dipòsit predeterminat d'Ubuntu

Podeu instal·lar-lo executant l'ordre següent: -

sudo apt-get install zookeeperd

Un cop finalitzada la instal·lació, s'iniciarà automàticament com a dimoni. Per defecte, Zookeeper s'executarà al port 2181.

Podeu provar-ho executant l'ordre següent:

netstat -ant | grep: 2181

La sortida publicada us mostrarà que s’escolta el port 2181.

Pas 3: instal·leu i inicieu Kafka Server

Ara que s’instal·len Java i ZooKeeper, és hora de descarregar i extreure Kafka del lloc web d’Apache.

1) Podeu utilitzar curl o wget per descarregar Kafka: (versió 0.10.1.1 de Kafka)

Executeu l'ordre següent per descarregar la configuració de kafka: -

curl -O

O

wget

2) Creeu un directori per a Kafka

A continuació, creeu un directori per a la instal·lació de Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) Descomprimiu la carpeta descarregada

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Canvieu el nom d'usuari segons el vostre nom d'usuari

4) Inicieu el servidor kafka

El següent pas és iniciar el servidor Kafka, podeu iniciar-lo executant l'script kafka-server-start.sh situat al directori /opt/kafka/kafka_2.11-0.10.1.1/bin/ mitjançant l'ordre següent: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Comproveu si el servidor Kafka funciona bé

Ara teniu un servidor Kafka que s’executa i escolta al port 9092.

Ara podem comprovar els ports d’escolta:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Pas 4: proveu el servidor Kafka

Ara és hora de verificar que el servidor Kafka funciona correctament.

1) Creeu un tema nou

Per provar Kafka, creeu un exemple de tema amb el nom "testing" a Apache Kafka mitjançant l'ordre següent:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Comproveu si el tema s'ha creat correctament

Ara, demaneu a Zookeeper que enumeri els temes disponibles a Apache Kafka executant l'ordre següent:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publiqueu un missatge amb el tema que heu creat

ressò "hola món" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 - proves temàtiques

4) Rebeu el missatge sobre el tema creat

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 - proves de temes –des del principi

5) Per enviar un fitxer mitjançant kafka sobre un tema

kafka-console-producer.sh --broker-list localhost: 9092 –topic testing