Empfohlen

So leiten Sie Protokolle mit Promtail an Grafana Loki weiter

So leiten Sie Protokolle mit Promtail an Grafana Loki weiter

Grafana Loki ist ein Tool, mit dem Sie die Protokolle Ihrer Systeme indizieren und auf einem Dashboard visualisieren können. Grafana Loki indiziert nicht den Inhalt der Logs, sondern indiziert nur die Labels der Logs. Dies reduziert den Aufwand für die Verarbeitung und Speicherung von Protokollen.

Promtail ist genau wie Prometheus ein Log-Sammler für Loki, der die Log-Labels zur Indexierung an Grafana Loki sendetki.

In diesem Beitrag werden wir Folgendes behandeln:

Lassen Sie uns schnell mit den Installationsschritten beginnen:

Schritt 1 – Grafana Monitoring Tool installieren

In diesem Abschnitt behandeln wir die Installation von Grafana unter Ubuntu. Verwenden Sie die folgenden Links, die Sie zur Installation von Grafana auf verschiedenen Systemen führen:

So installieren Sie Grafana 7 auf CentOS 7

So installieren Sie Grafana auf CentOS 8 / RHEL 8

Grafana auf Kubernetes für die Clusterüberwachung installieren

Aktualisieren Sie Ihr Ubuntu-System und starten Sie neu:

sudo apt-get update sudo apt-get upgrade sudo reboot

Fügen Sie den Grafana GPG-Schlüssel hinzu und installieren Sie dann das Grafana APT-Repository:

## gpg-Schlüssel hinzufügen sudo apt-get install -y gnupg2 curl curl https://packages.grafana.com/gpg.Schlüssel | sudo apt-key add - ## Grafana APT-Repository hinzufügen sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stabiles Haupt"

Grafana installieren

sudo apt-get update sudo apt-get -y install grafana

Grafana-Dienst starten

sudo systemctl grafana-server starten sudo systemctl grafana-server aktivieren

Grafana ist nun installiert und kann über die IP des Servers und Port 3000 . erreicht werden. (http://server_IP:3000)

Sie müssen Port 3000 durch die Firewall zulassen.

Für Ubuntu:

sudo ufw erlauben proto tcp von jedem zu jedem Port 3000

Sie können dann auf das Grafana-Web-Dashboard zugreifen,

Schritt 2 – Grafana Loki Log Aggregation System installieren

Wir fahren nun mit der Installation von Loki mit den folgenden Schritten fort:

  1. Gehe zu Lokis Release-Seite und wähle die neueste Version von Loki
  2. Navigieren Sie zu Vermögenswerte und laden Sie die Loki-Binär-Zip-Datei auf Ihren Server herunter. Während der Veröffentlichung dieses Artikels, v2.0.0 ist das neueste.
curl -s https://api.github.com/repos/grafana/loki/releases/latest | grep browser_download_url | cut -d '"' -f 4 | grep loki-linux-amd64.Reißverschluss | wget -i -

Installieren entpacken

# Ubuntu / Debian $ sudo apt install unzip # CentOS / Fedora / RHEL $ sudo yum -y install unzip

3. Entpacken Sie die Binärdatei in /usr/local/bin

entpacken loki-linux-amd64.zip sudo mv loki-linux-amd64 /usr/local/bin/loki

Bestätigen Sie die installierte Version:

$ loki --version loki, Version 2.0.0 (Zweig: HEAD, Revision: 6978ee5d) Build-Benutzer: [email protected] Build-Datum: 2020-10-26T15:54:56Z go version: go1.14.2-Plattform: Linux/amd64

4. Erstellen Sie eine YAML-Datei für Loki unter /usr/local/bin

Erforderliche Datenverzeichnisse erstellen:

sudo mkdir -p /data/loki

Neue Konfigurationsdatei erstellen.

sudo vim /etc/loki-local-config.jaml

Fügen Sie der Datei die folgende Konfiguration hinzu:

auth_enabled: false Server: http_listen_port: 3100 Inger: Lifecycler: Adresse: 127.0.0.1 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s max_transfer_retries: 0 schema_config: configs: - from: 2018-04-15 store: Boltdb object_store: filesystem schema: v11 index: prefix: index_ period : 168h storage_config: Boltdb: Verzeichnis: /data/loki/index filesystem: Verzeichnis: /data/loki/chunks limits_config: Enforce_metric_name: false Reject_old_samples: true Reject_old_samples_max_age: 168h chunk_store_config: max_look_back_period: 0s table_manager: restored_deletes

5. Loki-Dienst erstellen:

Erstellen Sie die folgende Datei unter /etc/systemd/system um den Loki-Dienst zu dämonisieren:

sudo tee /etc/systemd/system/loki.Bedienung<

6. Laden Sie den System-Daemon neu und starten Sie dann den Loki-Dienst:

sudo systemctl daemon-reload sudo systemctl start loki.Bedienung

Sie können überprüfen, ob der Dienst erfolgreich gestartet wurde:

$ sudo systemctl status loki ● loki.service - Loki-Dienst Geladen: geladen (/etc/systemd/system/loki.Bedienung; deaktiviert; Herstellervoreinstellung: aktiviert) Aktiv: aktiv (läuft) seit Mo 2020-12-21 11:49:49 UTC; vor 2min 37s Haupt-PID: 15223 (loki) Aufgaben: 7 (Limit: 1137) Speicher: 13.6M CGroup: /system.Scheibe/Loki.service 15223 /usr/local/bin/loki -config.Datei /etc/loki-local-config.yaml 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.330959628Z caller=table_manager.go:476 msg="Tabelle erstellen" table=index_2658 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331092225Z caller=table_manager.go:476 msg="Tabelle erstellen" table=index_2549 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331220486Z caller=table_manager.go:476 msg="Tabelle erstellen" table=index_2562 21. Dez. 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331347316Z caller=table_manager.go:476 msg="Tabelle erstellen" table=index_2615 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331471475Z caller=table_manager.go:476 msg="Tabelle erstellen" table=index_2643 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.327278535Z caller=module_service.go:58 msg=initializing module=ring 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331950866Z caller=module_service.go:58 msg=initializing module=distributor 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.332140208Z caller=module_service.go:58 msg=initializing module=ingester-querier 21. Dezember 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.332342162Z Anrufer=loki.go:227 msg="Loki hat begonnen" 21. Dezember 11:51:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:51:49.311922692Z caller=table_manager.go:324 msg="Tabellen synchronisieren" Expected_tables=141

Sie können jetzt auf Loki-Metriken zugreifen über http://server-IP:3100/metrics

Schritt 3 – Promtail Agent installieren

Promtail ist ein Agent, der den Inhalt lokaler Protokolle an eine private Loki-Instanz oder Grafana Cloud sendet.

  1. Laden Sie Promtail Binary Zip von der Release-Seite herunter
curl -s https://api.github.com/repos/grafana/loki/releases/latest | grep browser_download_url | cut -d '"' -f 4 | grep promtail-linux-amd64.Reißverschluss | wget -i -

Sobald die Datei heruntergeladen wurde, extrahieren Sie sie nach /usr/local/bin

promtail-linux-amd64 entpacken.zip sudo mv promtail-linux-amd64 /usr/local/bin/promtail

Version prüfen:

$ promtail --version promtail, Version 2.0.0 (Zweig: HEAD, Revision: 6978ee5d) Build-Benutzer: [email protected] Build-Datum: 2020-10-26T15:54:56Z go version: go1.14.2-Plattform: Linux/amd64

2. Erstellen Sie eine YAML-Konfigurationsdatei für Promtail im /usr/local/bin Verzeichnis:

sudo vim /etc/promtail-local-config.jaml

3. Fügen Sie der Datei folgenden Inhalt hinzu:

server: http_listen_port: 9080 grpc_listen_port: 0 Positionen: Dateiname: /data/loki/positions.yaml-Clients: - URL: http://localhost:3100/loki/api/v1/push scrape_configs: - Jobname: statische_configs des Systems: - Ziele: - Localhost-Labels: Job: varlogs __path__: /var/log/*log

4. Erstellen Sie einen Dienst für Promtail:

sudo tee /etc/systemd/system/promtail.Bedienung<

5. Laden Sie den Promtail-Dienst neu und starten Sie ihn

sudo systemctl daemon-reload sudo systemctl start promtail.Bedienung

Bestätigen Sie, ob der Dienst ausgeführt wird:

$ systemctl Status Promtail.service ● promtail.service - Promtail-Dienst Geladen: geladen (/etc/systemd/system/promtail.Bedienung; deaktiviert; Herstellervoreinstellung: aktiviert) Aktiv: aktiv (läuft) seit Mo 21.12.2020 11:57:41 UTC; vor 3s Haupt-PID: 15381 (promtail) Aufgaben: 6 (Limit: 1137) Speicher: 8.8M CGroup: /system.Scheibe/Promtail.service 15381 /usr/local/bin/promtail -config.Datei /etc/promtail-local-config.yaml 21. Dezember 11:57:41 ubuntu systemd[1]: Promtail-Dienst gestartet. 21. Dez. 11:57:41 Ubuntu Promtail[15381]: level=info ts=2020-12-21T11:57:41.911186079Z Anrufer=Server.go:225 http=[::]:9080 grpc=[::]:35499 msg="Server hört auf> 21. Dezember 11:57:41 Ubuntu Promtail[15381]: level=info ts=2020-12-21T11: 57:41.911859429Z Anrufer=Haupt.go:108 msg="Starten von Promtail" version="(version=2.0.0, Zweig=H>

An dieser Stelle haben wir Grafana, Loki und Promtail installiert.

Der nächste Schritt besteht darin, das Grafana-Dashboard zu konfigurieren und die Protokolle mit Loki . zu visualisieren.

Schritt 4 – Konfigurieren der Loki-Datenquelle

  1. Melden Sie sich bei der Grafana-Weboberfläche an und wählen Sie 'Erkunden'. Sie werden aufgefordert, eine Datenquelle zu erstellen.

2. Klicke auf Datenquelle hinzufügen Wählen Sie dann Loki aus den verfügbaren Optionen aus:

4. Geben Sie die folgenden Werte für Loki ein:

Name: Loki-URL: http://127.0.0.1:3100

Siehe Screenshot unten.

5. Klicken Speichern&Testen. Sie sollten eine Benachrichtigung sehen, dass die Datenquelle erfolgreich hinzugefügt wurde.

Schritt 5 - Visualisieren Sie Logs auf Grafana mit Loki

Wir können jetzt Logs mit Loki . visualisieren.

Klicke auf Erkunden dann wählen Loki an der Datenquelle

Sie können die Protokolle jetzt einfach visualisieren, indem Sie die Protokolletiketten Optionen.

Fazit

Wir haben Grafana Loki erfolgreich mit Promtail installiert und konnten die Protokolle auf einem Grafana-Dashboard visualisieren.

Grafana Loki kann neben Promtail noch viele weitere Tools zur Protokollweiterleitung verwenden, z.g FluentBit. Sie können Grafana Loki auch verwenden, um Ihren Kubernetes-Cluster zu überwachen. Genießen!

Stalker verwenden zunehmend Telefon-Apps, um ihren Opfern zu folgen
Stalking ist so alt wie die Zeit. Seit es Menschen und Beziehungen gibt, gibt es Besessenheit und den Wunsch, jede Information über eine Person aufzus...
Facebook behauptet, gegen Millionen schlecht wirkende Beiträge vorgegangen zu sein
Was Facebook wirklich braucht, ist ein gutes P.R. Ihr Ruf, wie auch der von CEO Mark Zuckerberg, hat in den letzten fünf Jahren wirklich gelitten und ...
146 Schwachstellen in vorinstallierten Android-Apps gefunden
An diesem Punkt scheinen wir fast immun gegen das Wissen geworden zu sein, dass es bösartige Apps im Google Play Store gibt. Aber was ist mit den Apps...

Website für Gadgets, Betriebssysteme und moderne Technologie. Viele interessante Artikel und nützliche Tipps