Wie man

Installieren und konfigurieren Sie Apache Kafka mit CMAK auf CentOS 8

Installieren und konfigurieren Sie Apache Kafka mit CMAK auf CentOS 8

Wir leben in einer Welt, in der die meisten Dinge, die wir täglich benutzen und mit denen wir interagieren, von Computern ausgeführt werden, die irgendwo auf der Welt verteilt sind. Seien es Ihre sozialen Medien, Ihre Online-Zahlungen, Ihre mobilen Geldtransaktionen oder sogar die Sprachkommunikation, Computer machen all dies möglich. Vor diesem Hintergrund finden auf diesen Computern sehr wichtige Transaktionen statt, die die interessierten Parteien visualisieren und anschließend für ihre anderen Exploits verwenden müssen. Ein gutes Beispiel ist die Visualisierung und Verarbeitung von Finanztransaktionen, um mehr Möglichkeiten zu entdecken oder Probleme zu lösen. Wie also können wir solche Daten auch in Zukunft effizient und zuverlässig erfassen? Nun, es gibt technologische Lösungen, die dafür entwickelt wurden, und eine davon ist Apache Kafka.

Für Ubuntu: Installieren und konfigurieren Sie Apache Kafka unter Ubuntu

Apache Kafka ist eine Open-Source-Plattform für verteiltes Event-Streaming, die von Tausenden von Unternehmen für leistungsstarke Datenpipelines, Streaming-Analysen, Datenintegration und geschäftskritische Anwendungen verwendet wird.Quelle: Apache Kafka. Lassen Sie uns Schritt für Schritt aufschlüsseln, was das alles bedeutet. Ein Ereignis zeichnet die Tatsache auf, dass „etwas ist passiert” in der Welt oder in Ihrem Geschäft und wurde digital erfasst.

Ereignisstreaming ist die Praxis der Echtzeiterfassung von Daten aus Ereignisquellen (Produzenten) wie Datenbanken, Sensoren, Mobilgeräten, Cloud-Diensten und Softwareanwendungen in Form von Ereignisströmen; dauerhaftes Speichern dieser Ereignisströme zum späteren Abrufen; Manipulieren, Verarbeiten und Reagieren auf die Ereignisströme in Echtzeit sowie im Nachhinein; und Weiterleiten der Ereignisströme an verschiedene Zieltechnologien (Verbraucher) nach Bedarf. Quelle: Apache Kafka.

Der Produzent ist das Programm/die Anwendung oder Entität, die Daten an den Kafka-Cluster sendet. Der Konsument sitzt auf der anderen Seite und erhält Daten vom Kafka-Cluster. Der Kafka-Cluster kann aus einem oder mehreren Kafka-Brokern bestehen, die auf verschiedenen Servern sitzen.

„Das Leben ist wirklich einfach, aber wir bestehen darauf, es kompliziert zu machen.”
-Konfuzius(孔子)

Definition weiterer Begriffe

Apache Kafka-Anwendungsfälle

Im Folgenden sind einige der Anwendungen aufgeführt, die Sie von Apache Kafka nutzen können:

Kafka auf CentOS 8 . installieren

Apache Kafka benötigt Java zum Ausführen.

Schritt 1: Vorbereitung unseres Servers

Wir beginnen also damit, unseren CentOS-Server zu aktualisieren und Java zu installieren. Glücklicherweise enthalten die standardmäßigen CentOS 8-Repositorys die neuesten beiden Hauptversionen von Java 8 und Java 11 LTS.Dies ist unten dargestellt:

sudo dnf update sudo dnf install java-11-openjdk-devel wget git unzip -y

Schritt 2: Kafka auf CentOS 8 holen

Nachdem Java gut installiert ist, holen wir uns nun Kafka-Quellen. Gehen Sie zu Downloads und suchen Sie nach der neuesten Version und rufen Sie die Quellen unter Binär-Downloads ab. Klicken Sie auf die von Kafka empfohlene Seite und Sie werden auf eine Seite weitergeleitet, die einen Link enthält, über den Sie ihn abrufen können.

cd ~ wget https://downloads.Apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz sudo mkdir /usr/local/kafka-server && cd /usr/local/kafka-server sudo tar -xvzf ~/kafka_2.13-2.6.0.tgz --Streifen 1

Der Inhalt des Archivs wird extrahiert in /usr/local/kafka-server/ durch -Streifen 1 Flag gesetzt.

Schritt 3: Erstellen Sie Kafka- und Zookeeper-Systemd-Unit-Dateien

Systemd-Unit-Dateien für Kafka und Zookeeper helfen bei der Durchführung allgemeiner Serviceaktionen wie dem Starten, Stoppen und Neustarten von Kafka. Dadurch passt es sich an, wie andere Dienste gestartet, gestoppt und neu gestartet werden, was vorteilhaft und konsistent ist.

Beginnen wir mit dem Zookeeper-Service:
Übrigens verwaltet Zookeeper den Clusterstatus und die Konfigurationen von Kafka.

$ sudo vim /etc/systemd/system/zookeeper.service [Einheit] Description=Apache Zookeeper Server Requires=Netzwerk.Zielfernbedienung-fs.Ziel Nach=Netzwerk.Zielfernbedienung-fs.target [Service] Type=simple ExecStart=/usr/local/kafka-server/bin/zookeeper-server-start.sh /usr/local/kafka-server/config/zookeeper.Eigenschaften ExecStop=/usr/local/kafka-server/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.Ziel

Dann zum Kafka-Service

$ sudo vim /etc/systemd/system/kafka.service [Einheit] Description=Apache Kafka Server Documentation=http://kafka.Apache.Organisation/Dokumentation.html Requires=Zookeeper.service After=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk" ExecStart=/usr/local/kafka-server/bin/kafka-server-start.sh /usr/local/kafka-server/config/server.Eigenschaften ExecStop=/usr/local/kafka-server/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.Ziel

Nachdem Sie die Konfigurationen hinzugefügt haben, laden Sie den systemd-Daemon neu, um die Änderungen zu übernehmen, und starten Sie dann die Dienste.

sudo systemctl daemon-reload sudo systemctl enable --now zookeeper sudo systemctl enable --now kafka

Schritt 4: Installieren Sie Cluster Manager für Apache Kafka (CMAK) | Kafka-Manager

CMAK (früher bekannt als Kafka Manager) ist ein von Yahoo entwickeltes Open-Source-Tool zur Verwaltung von Apache Kafka-Clustern.

cd ~ git clone https://github.com/yahoo/CMAK.git

Schritt 5: CMAK . konfigurieren

Die Mindestkonfiguration sind die Zookeeper-Hosts, die für den CMAK-Status (pka kafka manager) verwendet werden sollen. Diese finden Sie in der Bewerbung.conf-Datei im conf-Verzeichnis. Veränderung cmak.zkhosts=”mein.Tierpfleger.Gastgeber.com:2181" Sie können auch mehrere Zookeeper-Hosts angeben, indem Sie sie durch Kommas trennen, etwa so: cmak.zkhosts=”mein.Tierpfleger.Gastgeber.com:2181, andere.Tierpfleger.Gastgeber.com:2181"

$ vim ~/CMAK/conf/application.conf cmak.zkhosts="localhost:2181

Nachdem Sie Ihre Zookeeper-Hosts hinzugefügt haben, erstellt der folgende Befehl eine ZIP-Datei, die zum Bereitstellen der Anwendung verwendet werden kann. Sie sollten beim Herunterladen von Dateien viel Ausgabe auf Ihrem Terminal sehen. Geben Sie ihm Zeit zum Beenden und Kompilieren.

CD ~/CMAK/ ./sbt clean dist

Wenn alles fertig ist, sollten Sie eine Meldung wie unten sehen:

[info] Ihr Paket ist fertig in /home/tech/CMAK/target/universal/cmak-3.0.0.5.Postleitzahl

Wechseln Sie in das Verzeichnis, in dem sich die Zip-Datei befindet und entpacken Sie diese:

$ cd ~/CMAK/target/universal $ unzip cmak-3.0.0.5.zip $ cd cmak-3.0.0.5

Schritt 5: Dienst starten und darauf zugreifen Access

Nach dem Extrahieren der produzierten ZIP-Datei und dem Ändern des Arbeitsverzeichnisses wie in Schritt 4, Sie können den Dienst wie folgt ausführen:

$ cd ~/CMAK/target/universal/cmak-3.0.0.5 $ bin/cmak

Standardmäßig wird Port 9000 ausgewählt, also öffnen Sie Ihren Lieblingsbrowser und zeigen Sie ihn an http://ip-oder-domain-name-des-servers:9000. Falls Ihre Firewall läuft, erlauben Sie bitte den Zugriff auf den Port port.

sudo Firewall-cmd --permanent --add-port=9000/tcp sudo Firewall-cmd --reload

Sie sollten eine Benutzeroberfläche wie unten gezeigt sehen, sobald alles in Ordnung ist:

Sie werden feststellen, dass kein Cluster verfügbar ist, wenn wir zum ersten Mal in die Oberfläche gelangen, wie oben gezeigt. Daher werden wir mit der Erstellung eines neuen Clusters fortfahren. Klick auf das "Cluster” Dropdown-Liste und klicken Sie dann auf “Cluster hinzufügen“.

Es wird ein Formular angezeigt, das Sie wie unten gezeigt ausfüllen müssen. Geben Sie Ihrem Cluster einen Namen, fügen Sie Zookeeper-Hosts hinzu, wenn Sie mehrere haben, fügen Sie sie durch ein Komma getrennt hinzu. Sie können die anderen Details je nach Ihren Bedürfnissen ausfüllen.

Nachdem alles zu Ihrer Zufriedenheit gefüllt ist, scrollen Sie nach unten und klicken Sie auf „speichern“.

Und Sie haben Ihren Cluster zum CMAK-Interface/Manager hinzugefügt.

Schritt 6: Beispielthema hinzufügen

Apache Kafka bietet mehrere Shell-Skripte zum Arbeiten. Lassen Sie uns zunächst ein Beispielthema mit dem Namen „ComputingForGeeksThema” mit einer einzelnen Partition mit einer einzelnen Replik. Öffnen Sie ein neues Terminal, während CMAK ausgeführt wird, und geben Sie den folgenden Befehl aus:

cd /usr/local/kafka-server bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ComputingForGeeksTopic Erstelltes Thema ComputingForGeeksTopic.

Bestätigen Sie, ob das Thema in der CMAK-Benutzeroberfläche aktualisiert wird: Klicken Sie unter Themen auf die Nummer.

Sie sollten das neue Thema, das wir hinzugefügt haben, wie folgt sehen können:

Klicken Sie darauf, um die anderen Details wie Partitionen usw. anzuzeigen.

Schritt 7: Thema in der CMAK-Benutzeroberfläche erstellen

Eine andere einfachere Möglichkeit, ein Thema zu erstellen, ist über die CMAK-Weboberfläche. Klicken Sie einfach auf „Thema” Dropdown-Liste und klicken Sie auf “Erstellen“. Dies ist unten dargestellt.

Sie müssen alle erforderlichen Details zum neuen Thema eingeben (Replikationsfaktor, Partitionen und andere). Füllen Sie das Formular aus und klicken Sie dann auf „Erstellen" darunter.

Fazit

Apache Kafka ist jetzt auf dem CentOS 8-Server installiert. Es ist zu beachten, dass es möglich ist, Kafka auf mehreren Servern zu installieren, um einen Cluster zu erstellen. Ansonsten vielen Dank für Ihren Besuch und bleiben Sie bis zum Ende dran. Wir wissen die Unterstützung zu schätzen, die Sie uns weiterhin geben.

Erfahren Sie mehr über Apache Kafka
Erfahren Sie mehr über Cluster Manager für Apache Kafka

Finden Sie unten weitere erstaunliche Anleitungen:

SQL von Grund auf neu: Wie man mit dem Erlernen von Datenbanken beginnt?

Installieren Sie Apache Spark unter Ubuntu und Debian

Bester Mediaplayer für macOS Elmedia Player
Elmedia ist der beste Videoplayer für Mac, der mit allen gängigen Audio- und Videoformaten kompatibel ist, einschließlich AVI, FLV, SWF, MP4, WMV, MOV...
Installieren Sie die CloudPanel-Systemsteuerung auf Ubuntu 20.04
In dieser Anleitung untersuchen wir die Installation und Konfiguration des CloudPanel Control Panels auf Ubuntu 20.04. CloudPanel ist ein Server Manag...
Beste Websites kostenlos erstellen - Mobirise Website Builder Software
Website-Builder sind Programme, mit denen Sie Ihre Website für Ihr Unternehmen ohne manuelle Programmierung und Bearbeitung erstellen können. Sie könn...