Wie man

Installieren und konfigurieren Sie Apache Kafka unter Ubuntu 20.04

Installieren und konfigurieren Sie Apache Kafka unter Ubuntu 20.04

In unserem vorherigen Handbuch haben wir gesehen, wie man Apache Kafka auf CentOS 8 installiert und auf der gleichen Spur bleibt. Wir werden sehen, wie man es auf Ubuntu 20 installiert.04 (Fokus-Fossa). Wir hatten viele Definitionen behandelt, aber lassen Sie uns sie hier noch einmal zur Verfügung stellen, nur um Ihre Zeit zu sparen und ein wenig Komfort zu bieten.

Apache Kafka ist eine Open-Source-Plattform für verteiltes Event-Streaming, die von Tausenden von Unternehmen für leistungsstarke Datenpipelines, Streaming-Analysen, Datenintegration und geschäftskritische Anwendungen verwendet wird.Quelle: Apache Kafka.

Lassen Sie uns Schritt für Schritt aufschlüsseln, was das alles bedeutet. Ein Ereignis zeichnet die Tatsache auf, dass „etwas ist passiert” in Ihrem Unternehmen und wurde digital erfasst.

Ereignisstreaming ist die Praxis der Echtzeiterfassung von Daten aus Ereignisquellen (Produzenten) wie Datenbanken, Sensoren, Mobilgeräten, Cloud-Diensten und Softwareanwendungen in Form von Ereignisströmen; dauerhaftes Speichern dieser Ereignisströme zum späteren Abrufen; Manipulieren, Verarbeiten und Reagieren auf die Ereignisströme in Echtzeit sowie im Nachhinein; und Weiterleiten der Ereignisströme an verschiedene Zieltechnologien (Verbraucher) nach Bedarf. Quelle: Apache Kafka.

Der Produzent ist das Programm/die Anwendung oder Entität, die Daten an den Kafka-Cluster sendet. Der Konsument sitzt auf der anderen Seite und erhält Daten vom Kafka-Cluster. Der Kafka-Cluster kann aus einem oder mehreren Kafka-Brokern bestehen, die auf verschiedenen Servern sitzen.

"Alles hat Schönheit, doch nicht jeder sieht sie.”
-Konfuzius(孔子)

Definition anderer Begriffe, auf die Sie stoßen werden

Apache Kafka-Anwendungsfälle

Im Folgenden sind einige der Anwendungen aufgeführt, bei denen Sie Apache Kafka nutzen können:

Installieren von Apache Kafka unter Ubuntu 20.04

Apache Kafka benötigt Java für die Ausführung, daher werden wir unseren Server vorbereiten und alle Voraussetzungen installieren and

Schritt 1: Vorbereiten Ihres Ubuntu-Servers

Aktualisieren Sie Ihr frisches Ubuntu 20.04-Server und installieren Sie Java wie unten gezeigt.

sudo apt update && sudo apt upgrade sudo apt install default-jre wget git unzip -y sudo apt install default-jdk -y

Schritt 2: Kafka auf Ubuntu 20 holen.04

Nachdem Java gut installiert ist, holen wir uns nun Kafka-Quellen. Gehen Sie zu Downloads und suchen Sie nach der neuesten Version und rufen Sie die Quellen unter Binär-Downloads ab. Klicken Sie auf die von Kafka empfohlene Seite und Sie werden auf eine Seite weitergeleitet, die einen Link enthält, über den Sie ihn abrufen können.

cd ~ wget https://downloads.Apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz sudo mkdir /usr/local/kafka-server && cd /usr/local/kafka-server sudo tar -xvzf ~/kafka_2.13-2.6.0.tgz --Streifen 1

Der Inhalt des Archivs wird extrahiert in /usr/local/kafka-server/ durch -Streifen 1 Flag gesetzt.

Schritt 3: Erstellen Sie Kafka- und Zookeeper-Systemd-Unit-Dateien

Systemd-Unit-Dateien für Kafka und Zookeeper helfen bei der Durchführung allgemeiner Serviceaktionen wie dem Starten, Stoppen und Neustarten von Kafka. Dadurch passt es sich an, wie andere Dienste gestartet, gestoppt und neu gestartet werden, was vorteilhaft und konsistent ist.

Beginnen wir mit dem Zookeeper-Service:

$ sudo vim /etc/systemd/system/zookeeper.service [Einheit] Description=Apache Zookeeper Server Requires=Netzwerk.Zielfernbedienung-fs.Ziel Nach=Netzwerk.Zielfernbedienung-fs.target [Service] Type=simple ExecStart=/usr/local/kafka-server/bin/zookeeper-server-start.sh /usr/local/kafka-server/config/zookeeper.Eigenschaften ExecStop=/usr/local/kafka-server/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.Ziel

Dann zum Kafka-Service. Stellen Sie sicher, dass Ihre JAVA_HOME configs sind gut eingegeben oder Kafka startet nicht.

$ sudo vim /etc/systemd/system/kafka.service [Einheit] Description=Apache Kafka Server Documentation=http://kafka.Apache.Organisation/Dokumentation.html Requires=Zookeeper.service After=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64" ExecStart=/usr/local/kafka-server/bin/kafka-server-start.sh /usr/local/kafka-server/config/server.Eigenschaften ExecStop=/usr/local/kafka-server/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.Ziel

Nachdem Sie die Konfigurationen hinzugefügt haben, laden Sie die systemd daemon um Änderungen zu übernehmen und dann die Dienste zu starten. Sie können auch ihren Status überprüfen.

sudo systemctl daemon-reload sudo systemctl enable --now zookeeper sudo systemctl enable --now kafka sudo systemctl status kafka zookeeper

Schritt 4: Installieren Sie Cluster Manager für Apache Kafka (CMAK) | Kafka-Manager

CMAK (früher bekannt als Kafka Manager) ist ein von Yahoo entwickeltes Open-Source-Tool zur Verwaltung von Apache Kafka-Clustern.

cd ~ git clone https://github.com/yahoo/CMAK.git

Schritt 5: CMAK unter Ubuntu 20 konfigurieren.04

Die Mindestkonfiguration sind die Zookeeper-Hosts, die für den CMAK-Status (pka kafka manager) verwendet werden sollen. Diese finden Sie in der Bewerbung.conf-Datei im conf-Verzeichnis. Veränderung cmak.zkhosts=”mein.Tierpfleger.Gastgeber.com:2181" Sie können auch mehrere Zookeeper-Hosts angeben, indem Sie sie durch Kommas trennen, etwa so: cmak.zkhosts=”mein.Tierpfleger.Gastgeber.com:2181, andere.Tierpfleger.Gastgeber.com:2181“. Die Hostnamen können sein IP-Adressen auch.

$ vim ~/CMAK/conf/application.conf cmak.zkhosts="localhost:2181

Nachdem Sie Ihre Zookeeper-Hosts hinzugefügt haben, erstellt der folgende Befehl eine ZIP-Datei, die zum Bereitstellen der Anwendung verwendet werden kann. Sie sollten viel Ausgabe auf Ihrem Terminal sehen, wenn Dateien heruntergeladen und kompiliert werden. Geben Sie ihm Zeit zum Beenden und Kompilieren, da es eine Weile dauert.

CD ~/CMAK/ ./sbt clean dist

Wenn alles fertig ist, sollten Sie eine Meldung wie unten sehen:

[info] Ihr Paket ist fertig in /home/tech/CMAK/target/universal/cmak-3.0.0.5.Postleitzahl

Wechseln Sie in das Verzeichnis, in dem sich die Zip-Datei befindet und entpacken Sie diese:

$ cd ~/CMAK/target/universal $ unzip cmak-3.0.0.5.zip $ cd cmak-3.0.0.5

Schritt 5: Dienst starten und darauf zugreifen Access

Nach dem Extrahieren der produzierten ZIP-Datei und dem Ändern des Arbeitsverzeichnisses wie in Schritt 4, Sie können den Dienst wie folgt ausführen:

$ cd ~/CMAK/target/universal/cmak-3.0.0.5 $ bin/cmak

Standardmäßig wird Port 9000 ausgewählt, also öffnen Sie Ihren Lieblingsbrowser und zeigen Sie ihn an http://ip-oder-domain-name-des-servers:9000. Falls Ihre Firewall läuft, erlauben Sie bitte den Zugriff von außen auf den Port port.

sudo ufw erlauben 9000

Sie sollten eine Benutzeroberfläche wie unten gezeigt sehen, sobald alles in Ordnung ist:

Sie werden sofort feststellen, dass kein Cluster verfügbar ist, wenn wir zum ersten Mal in die Oberfläche wie oben gezeigt einsteigen. Daher werden wir mit der Erstellung eines neuen Clusters fortfahren. Klick auf das "Cluster” Dropdown-Liste und wählen Sie dann “Cluster hinzufügen“.

Ihnen wird eine Seite wie unten gezeigt angezeigt. Füllen Sie das Formular mit den angeforderten Details aus (Clustername, Tierpfleger usw.). Falls Sie mehrere Zookeeper Hosts haben, fügen Sie diese durch ein Komma getrennt hinzu de. Sie können die anderen Details je nach Ihren Bedürfnissen ausfüllen.

Beispiel für ausgefüllte Felder

Nachdem alles zu Ihrer Zufriedenheit gefüllt ist, scrollen Sie nach unten und klicken Sie auf „speichern“.

Schritt 6: Beispielthema hinzufügen

Apache Kafka bietet mehrere Shell-Skripte zum Arbeiten. Lassen Sie uns zunächst ein Beispielthema mit dem Namen „ComputingForGeeksThema” mit einer einzelnen Partition mit einer einzelnen Replik. Öffnen Sie ein neues Terminal, während CMAK ausgeführt wird, und geben Sie den folgenden Befehl aus:

cd /usr/local/kafka-server bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ComputingForGeeksTopic Erstelltes Thema ComputingForGeeksTopic.

Bestätigen Sie, ob das Thema in der CMAK-Benutzeroberfläche aktualisiert wird. Klicken Sie dazu in Ihrem Cluster auf Thema>Liste

Schritt 7: Thema in der CMAK-Benutzeroberfläche erstellen

Eine andere einfachere Möglichkeit, ein Thema zu erstellen, ist über die CMAK-Weboberfläche. Klicken Sie einfach auf „Thema” Dropdown-Liste und klicken Sie auf “Erstellen“. Dies ist unten dargestellt. Sie müssen alle erforderlichen Details zum neuen Thema eingeben (Replikationsfaktor, Partitionen und andere). Füllen Sie das Formular aus und klicken Sie dann auf „Erstellen" darunter.

Sie müssen alle erforderlichen Details zum neuen Thema eingeben (Replikationsfaktor, Partitionen und andere). Füllen Sie das Formular aus und klicken Sie dann auf „Erstellen” unterhalb der Seite, die Ihnen wie unten dargestellt angezeigt wird:

Sie sehen eine Nachricht, dass Ihr Thema erstellt wurde, wie unten gezeigt. Ein Link zum Anzeigen wird ebenfalls verwendet. Klicken Sie darauf, um Ihr neues Thema anzuzeigen

Und da ist es:

Fazit

Apache Kafka ist jetzt auf Ubuntu 20 . installiert.04 Server. Es ist zu beachten, dass es möglich ist, Kafka auf mehreren Servern zu installieren, um einen Cluster zu erstellen. Ansonsten vielen Dank für Ihren Besuch und bleiben Sie bis zum Ende dran. Wir wissen die Unterstützung zu schätzen, die Sie uns weiterhin geben.
Erfahren Sie mehr über Apache Kafka
Erfahren Sie mehr über Cluster Manager für Apache Kafka

Finden Sie unten weitere erstaunliche Anleitungen:

Installieren und konfigurieren Sie Apache Kafka mit CMAK auf CentOS 8

Die 5 besten Produktivitäts-Apps für Mac[2021]
Überfordern Sie Ihre Arbeitsbelastung?? Fällt es Ihnen schwer, Ziele zu erreichen?  Hier ist, was Sie wissen müssen. Wenn Sie produktiv bleiben, könne...
Benötigen Sie verwaltetes VPS-Hosting für Ihre Site??
Die Auswahl eines Hosting-Typs für Ihre Website kann schwierig sein. Dies liegt daran, dass es eine Vielzahl von Hosting-Diensten gibt, die jeweils da...
So installieren Sie Canvas LMS auf Ubuntu 20.04|18.04
Willkommen zu unserer Anleitung zur Installation von Canvas LMS auf Ubuntu 20.04|18.04. Canvas ist ein modernes Open-Source-LMS (Learning Management S...