Elasticsearch & Logstash

Elasticsearch ist eine verteilte Such- und Analyse-Engine. Sie basiert auf Apache Lucene. Elasticsearch wird genutzt, um große Datenmengen nahezu in Echtzeit zu durchsuchen und zu analysieren.

Logstash ist ein Tool zur Datenverarbeitung. Es sammelt, transformiert und leitet Daten weiter. Häufig wird es genutzt, um Daten nach Elasticsearch zu senden.

Der ELK Stack besteht aus Elasticsearch, Logstash und Kibana. Elasticsearch speichert und durchsucht Daten. Logstash verarbeitet Daten, Kibana visualisiert sie.

Für Volltextsuche, Log-Analyse und Monitoring. Es wird häufig in Observability- und Security-Systemen genutzt. Auch Produkt- und Dokumentensuche sind typische Anwendungsfälle.

Ein Index ist eine logische Sammlung von Dokumenten. Er ist vergleichbar mit einer Tabelle in relationalen Datenbanken. Jeder Index hat eigene Einstellungen und Mappings.

Ein Dokument ist eine JSON-Struktur. Es stellt eine einzelne Dateneinheit dar. Dokumente werden in Indizes gespeichert.

Ein Mapping definiert die Struktur eines Dokuments. Es legt Feldtypen und Analyseverhalten fest. Korrekte Mappings sind wichtig für Performance.

Ein Shard ist eine physische Teilmenge eines Index. Shards ermöglichen horizontale Skalierung. Sie werden über Nodes verteilt.

Replica Shards sind Kopien von Primary Shards. Sie erhöhen Ausfallsicherheit und Leseperformance. Schreibzugriffe erfolgen nur auf Primary Shards.

Ein Node ist eine einzelne Elasticsearch-Instanz. Mehrere Nodes bilden ein Cluster. Jeder Node kann unterschiedliche Rollen haben.

Ein Cluster ist eine Gruppe von Nodes. Sie arbeiten gemeinsam an Datenverarbeitung und Suche. Cluster erhöhen Skalierbarkeit und Verfügbarkeit.

Full-Text Search analysiert Textinhalte. Wörter werden tokenisiert und normalisiert. Elasticsearch ist dafür optimiert.

Ein Analyzer zerlegt Text in Tokens. Er kann Lowercasing, Stemming oder Stopword-Filter enthalten. Analyzer beeinflussen Suchergebnisse stark.

Keyword-Felder werden nicht analysiert. Sie eignen sich für exakte Vergleiche. Text-Felder werden für Volltextsuche genutzt.

Eine Query sucht Dokumente. Sie bewertet Relevanz. Elasticsearch unterstützt viele Query-Typen.

Filter schränken Ergebnisse ein. Sie beeinflussen keine Relevanz. Filter sind performant und cachebar.

Relevanz beschreibt, wie gut ein Dokument passt. Elasticsearch berechnet Scores automatisch. BM25 ist der Standardalgorithmus.

Aggregations fassen Daten zusammen. Sie werden für Statistiken genutzt. Beispiele sind Count, Avg oder Terms.

Ingest Pipelines verarbeiten Daten beim Import. Sie können Felder transformieren oder anreichern. Sie ersetzen einfache Logstash-Funktionen.

Eine Logstash Pipeline besteht aus Input, Filter und Output. Sie definiert den Datenfluss. Pipelines sind flexibel konfigurierbar.

Typische Inputs sind File, Beats oder Kafka. Sie bestimmen die Datenquelle. Logstash kann viele Systeme anbinden.

Filter verarbeiten Daten. Beispiele sind grok, mutate oder date. Sie bereinigen und strukturieren Logs.

Grok ist ein Filter für Textanalyse. Er extrahiert Felder aus Logs. Er wird häufig für Logformate genutzt.

Beats sind leichte Datensammler. Beispiele sind Filebeat oder Metricbeat. Sie senden Daten an Logstash oder Elasticsearch.

Durch Hinzufügen von Nodes. Shards werden verteilt. Replikation sorgt für Ausfallsicherheit.

Falsche Mappings sind häufige Ursachen. Zu viele Shards belasten das Cluster. Auch komplexe Queries können Probleme verursachen.

Über Authentifizierung und TLS. Rollenbasierte Zugriffe werden definiert. Sicherheit ist besonders bei Logs wichtig.

Für klassische Transaktionssysteme. Es ersetzt keine relationale Datenbank. Konsistenz steht nicht im Vordergrund.

Bei sehr einfachen Pipelines. Ingest Pipelines oder Beats sind leichter. Logstash kann ressourcenintensiv sein.