Elasticsearch Rollup Jobs angewandt
Der Rollup Mechanismus von ELK ist eine Methode zur Aggregation von Daten. Dabei soll Speicherlast von dem System genommen werden, aber gleichzeitig Informationen nicht gelöscht, sondern weiterverwendet werden können. Diese Methode eignet sich insbesondere für Zeitreihendaten, da neue Zeitintervalle für die aggregierten Daten bestimmt werden können.
So ist es möglich aus Daten, welche innerhalb eines 15min Intervalls gemessen werden, 1h Intervalle zu erzeugen. So wird der vorher eingenommene Speicherplatz ca. um dem Faktor 4 verringert. Weiterhin können nicht relevante Metadaten „abgehangen“ werden, um weiter die erzeugte Last zu verringern. So können Informationen wie Joblaufzeiten oder eventspezifische Unique ID’s abgehangen werden, da die aggregierten Events nicht mehr aufschlüsselbar sind.
Wie wird nun so ein Rollup Job angelegt:
Im ersten Tab werden Rahmeninformationen des Rollupjobs festgelegt, wie [Name], [Index] und [Rollup Pattern] sowie eine [Frequenz], in welcher der Job aufgerufen wird (Cronjob Format kann verwendet werden). Die [Page Size] hat Einfluss auf die Laufzeit. So sorgt ein größerer Wert für schnellere Durchlaufzeiten, aber mehr Memory Verbrauch. Der [Latency Buffer] sagt aus, nach welchem Zeitwert die Werte für den Rollup verwendet werden.
Der Nächste Schritt ist das [Date Histogram]. In diesem Tab wird das [Date field], welches als Datumsfeld zur Unterscheidung und Aufteilung der Events innerhalb einer Bestimmten [Time bucket size] fungiert. Diese „Intervallgröße“ wird in der [Time bucket size] festgelegt. Die Zeitzone gibt dabei an, in welcher Zeitzone agiert wird. Dementsprechend wird der Job ausgeführt.
Im nächsten Tab [Terms] werden alle Felder aufgeführt, welche (abgesehen von den zu aggregierenden Feldern) übernommen werden sollen. Dabei sollte sich zum Zwecke der Speicherauslastung auf ein Minimum beschränkt werden (z.B. nur die Identifizierenden Felder).
Im Histogram Tab können Felder mit numerischen Werten gewählt werden, welche anhand eines Intervalparameters ab-/aufgerundet werden.
Im nächsten Tab [Metrics] werden die zu aggregierenden Felder aufgeführt und eine Methode gewählt. Die Aggregation berechnet sich durch das ausgewählte Feld und die aus dem [Latency buffer] hervorgehende Anzahl an Events in einem Intervall.
Kommentare
Keine Kommentare