Wie man

Installieren Sie Apache Spark auf Ubuntu 20.18.04.04 & Debian 10/9

Installieren Sie Apache Spark auf Ubuntu 20.18.04.04 & Debian 10/9

Willkommen zu unserem Leitfaden zur Installation von Apache Spark unter Ubuntu 20.18.04.04 & Debian 9/8/10. Apache Spark ist ein verteiltes Open-Source-Allzweck-Cluster-Computing-Framework. Es ist eine schnelle vereinheitlichte Analyse-Engine, die für die Verarbeitung von Big Data und maschinellem Lernen verwendet wird.

Spark bietet High-Level-APIs in Java, Scala, Python und R sowie eine optimierte Engine, die allgemeine Ausführungsgraphen unterstützt. Es unterstützt auch eine Vielzahl von Tools auf höherer Ebene, darunter Spark SQL für SQL und strukturierte Datenverarbeitung, MLlib für maschinelles Lernen, GraphX für die Diagrammverarbeitung und Spark Streaming.

Installieren Sie Apache Spark auf Ubuntu 20.18.04.04 / Debian 9/8/10

Bevor wir Apache Spark unter Ubuntu / Debian installieren, aktualisieren wir unsere Systempakete.

sudo apt-Update
sudo apt -y upgrade

Ziehen Sie einen Systemneustart in Betracht, nachdem ein Upgrade erforderlich ist.

[ -f /var/run/reboot-rebooted ] && sudo reboot -f

Verwenden Sie nun die nebenstehenden Schritte, um Spark auf Ubuntu 18 . zu installieren.04 / Debian 9.

Schritt 1: Java installieren

Apache Spark benötigt Java zum Ausführen. Stellen wir sicher, dass Java auf unserem Ubuntu / Debian-System installiert ist.

Für das Standardsystem Java:

sudo apt install curl mlocate default-jdk -y

Überprüfen Sie die Java-Version mit dem Befehl:

$ java -version openjdk-Version "11.0.10" 2021-01-19 OpenJDK-Laufzeitumgebung (Build 11.0.10+9-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit-Server-VM (Build 11.0.10+9-Ubuntu-0ubuntu1.20.04, gemischter Modus, teilen)

Für Vermisste Add-apt-Repository Befehl, überprüfen Sie So installieren Sie add-apt-repository auf Debian / Ubuntu

Schritt 2: Apache Spark herunterladen

Laden Sie die neueste Version von Apache Spark von der Download-Seite herunter. Ab diesem Update ist dies 2.4.5.

curl -O https://archive.Apache.org/dist/spark/spark-3.1.1/Funke-3.1.1-bin-hadoop3.2.tgz

Extrahiere den Spark-Tarball.

tar xvf Funke-3.1.1-bin-hadoop3.2.tgz

Verschieben Sie den nach der Extraktion erstellten Spark-Ordner in das Verzeichnis /opt/.

sudo mv Funke-3.1.1-bin-hadoop3.2/ /opt/spark 

Spark-Umgebung einstellen

Öffnen Sie Ihre bashrc-Konfigurationsdatei.

vim ~/.bashrc

Hinzufügen:

export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Aktivieren Sie die Änderungen.

Quelle ~/.bashrc

Schritt 3: Starten Sie einen eigenständigen Masterserver

Sie können jetzt einen eigenständigen Master-Server mit dem Start-Meister.Sch Befehl.

$ start-master.sh starte org.Apache.Funke.bereitstellen.Meister.Master, Protokollierung bei /opt/spark/logs/spark-root-org.Apache.Funke.bereitstellen.Meister.Master-1-ubuntu.aus

Der Prozess lauscht auf TCP-Port 8080.

$ sudo ss -tunelp | grep 8080 tcp HÖREN 0 1 *:8080 *:* Benutzer:(("java",pid=8033,fd=238)) ino:41613 sk:5 v6only:0 <-> 

Die Web-Benutzeroberfläche sieht wie folgt aus.

Meine Spark-URL lautet Funke://ubuntu:7077.

Schritt 4: Starten des Spark-Worker-Prozesses

Der Startsklave.Der Befehl sh wird verwendet, um den Spark-Worker-Prozess zu starten.

$ Start-Sklave.sh Funke://ubuntu:7077 Startorganisation.Apache.Funke.bereitstellen.Arbeiter.Arbeiter, der sich bei /opt/spark/logs/spark-root-org anmeldet.Apache.Funke.bereitstellen.Arbeiter.Arbeiter-1-ubuntu.aus

Wenn Sie das Skript nicht in Ihrem $PFAD, du kannst es zuerst finden.

$ sudo aktualisiertb $ Start-Slave lokalisieren.Sch /opt/spark/sbin/start-slave.Sch

Sie können auch den absoluten Pfad verwenden, um das Skript auszuführen.

Schritt 5: Verwenden von Spark Shell

Verwenden Sie die Funkenschale Befehl zum Zugriff auf Spark Shell.

$ /opt/spark/bin/spark-shell 21.04.27 08:49:09 WARN Utils: Ihr Hostname, Ubuntu wird in eine Loopback-Adresse aufgelöst: 127.0.1.1; mit 10.10.10.2 stattdessen (auf Schnittstelle eth0) 21/04/27 08:49:09 WARN Utils: Setzen Sie SPARK_LOCAL_IP, wenn Sie an eine andere Adresse binden müssen WARNUNG: Ein illegaler reflektierender Zugriff ist aufgetreten WARNUNG: Illegaler reflektierender Zugriff durch org.Apache.Funke.unsicher.Plattform (Datei:/opt/spark/jars/spark-unsafe_2.12-3.1.1.jar) zum Konstruktor java.nio.DirectByteBuffer(long,int) WARNUNG: Bitte erwägen Sie, dies den Betreuern von org . zu melden.Apache.Funke.unsicher.Plattform-WARNUNG: Verwenden Sie --illegal-access=warn, um Warnungen vor weiteren illegalen reflektierenden Zugriffsvorgängen zu aktivieren WARNUNG: Alle illegalen Zugriffsvorgänge werden in einer zukünftigen Version verweigert 21/04/27 08:49:10 WARN NativeCodeLoader: NativeCodeLoader kann nicht geladen werden -hadoop-Bibliothek für Ihre Plattform… ggf. mit eingebauten Java-Klassen Verwenden des standardmäßigen log4j-Profils von Spark: org/apache/spark/log4j-defaults.Eigenschaften Standard-Log-Level auf "WARN" setzen. Um die Protokollierungsebene anzupassen, verwenden Sie sc.setLogLevel(newLevel). Verwenden Sie für SparkR setLogLevel(newLevel). Spark-Kontext-Web-UI verfügbar unter http://10.10.10.2:4040 Spark-Kontext verfügbar als 'sc' (Master = local[*], App-ID = local-1619513355938). Spark-Sitzung als "Spark" verfügbar. Willkommen zu ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ '/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ Version 3.1.1 /_/ Verwenden von Scala-Version 2.12.10 (OpenJDK 64-Bit-Server-VM, Java 11.0.10) Geben Sie Ausdrücke ein, um sie auszuwerten. Geben Sie :Hilfe ein, um weitere Informationen zu erhalten. Skala>

Wenn Sie eher ein Python-Typ sind, verwenden Sie pyspark.

$ /opt/spark/bin/pyspark Python 3.8.5 (Standard, 27. Januar 2021, 15:41:15) [GCC 9.3.0] unter Linux Geben Sie "help", "copyright", "credits" oder "license" ein, um weitere Informationen zu erhalten. 21.04.27 08:50:09 WARN Utils: Ihr Hostname, Ubuntu wird in eine Loopback-Adresse aufgelöst: 127.0.1.1; mit 10.10.10.2 stattdessen (auf Schnittstelle eth0) 21/04/27 08:50:09 WARN Utils: Setzen Sie SPARK_LOCAL_IP, wenn Sie an eine andere Adresse binden müssen WARNUNG: Ein illegaler reflektierender Zugriff ist aufgetreten WARNUNG: Illegaler reflektierender Zugriff durch org.Apache.Funke.unsicher.Plattform (Datei:/opt/spark/jars/spark-unsafe_2.12-3.1.1.jar) zum Konstruktor java.nio.DirectByteBuffer(long,int) WARNUNG: Bitte erwägen Sie, dies den Betreuern von org zu melden.Apache.Funke.unsicher.Plattform-WARNUNG: Verwenden Sie --illegal-access=warn, um Warnungen vor weiteren illegalen reflektierenden Zugriffsvorgängen zu aktivieren WARNUNG: Alle illegalen Zugriffsvorgänge werden in einer zukünftigen Version verweigert 21.04.27 08:50:09 WARN NativeCodeLoader: NativeCodeLoader kann nicht geladen werden -hadoop-Bibliothek für Ihre Plattform… ggf. mit eingebauten Java-Klassen Verwenden des standardmäßigen log4j-Profils von Spark: org/apache/spark/log4j-defaults.Eigenschaften Standard-Log-Level auf "WARN" setzen. Um die Protokollierungsebene anzupassen, verwenden Sie sc.setLogLevel(newLevel). Verwenden Sie für SparkR setLogLevel(newLevel). Willkommen zu ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ '/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ Version 3.1.1 /_/ Verwenden von Python-Version 3.8.5 (Standard, 27. Januar 2021 15:41:15) Spark-Kontext-Web-UI verfügbar unter http://10.10.10.2:4040 Spark-Kontext als 'sc' verfügbar (Master = local[*], App-ID = local-1619513411109). SparkSession als 'Spark' verfügbar. >>>

Beenden Sie die Master- und Slave-Spark-Prozesse einfach mit den folgenden Befehlen.

$ SPARK_HOME/sbin/stop-slave.Sch
$ SPARK_HOME/sbin/stop-master.Sch

Hier hast du es. Lesen Sie mehr in der Spark-Dokumentation.

So installieren Sie GNS3 auf Kali Linux 2020.x
Das GNS3-Team arbeitet Tag für Tag intelligenter und härter, um GNS3 zu einem unverzichtbaren Werkzeug beim Erlernen und Testen des Netzwerkimplementi...
Installieren Sie den VLC Media Player auf Kali Linux 2020.x
VLC ist der am häufigsten verwendete Media Player auf Windows-, Linux-, macOS-, Android- und iOS-Betriebssystemen. Die meisten Linux-Distributionen en...
So übertragen Sie alles von Ihrem alten Android auf ein neues Android
Der Wechsel Ihres alten Android-Handys auf ein neues Android-Handy ist für Sie angenehm. Es ist jedoch schmerzhaft, ein neues Telefon einzurichten und...