Apache Airflow 2.0 - Neue Funktionen für Ihr Workflowmanagement

Pünktlich zum Jahresabschluss kommt das herbeigesehnte Major Update der Workflowmanagement-Plattform Airflow. Mit Apache Airflow 2.0 werden langjährige Benutzer durch eine noch schnellere Ausführung ihrer Workflows belohnt und Neueinsteiger profitieren an vielen Stellen von der gesteigerten Benutzerfreundlichkeit. Dabei bleibt die Open-Source Workflowmanagement-Plattform mit der hervorragenden Skalierbarkeit unter der Apache Lizenz stets kostenlos nutzbar.

Was ist Apache Airflow?

Vorab eine Zusammenfassung der wichtigsten Ideen der Workflowmanagement-Plattform. In Airflow dreht sich alles um Workflow-Objekte. Diese sind technisch als gerichtete, nicht zyklische Graphen (directed acyclic graph - DAG) implementiert. Ein solcher Workflow kann beispielsweise das Zusammenführen mehrerer Datenquellen und das anschließende Ausführen eines Analyseskriptes beinhalten. Airflow übernimmt dabei die Terminierung der Aufgaben unter Beachtung der Abhängigkeiten und orchestriert die beteiligten Systeme. Die Integrationen zu Amazon S3, Apache Spark, Google BigQuery, Azure Data Lake und vielen Weiteren sind direkt in der offiziellen Installation enthalten oder sind über produktionsreife Beiträge der Community ergänzt.

Die Hauptfunktionen von Apache Airflow sind:

• Definieren, Ausführen und Überwachen von Workflows
• Orchestrierung von Drittsystemen zur Ausführung von Aufgaben
• Bereitstellen einer Web-Oberfläche für eine ausgezeichnete Übersicht und umfassende Verwaltungsfunktionen

Moderne Benutzeroberfläche

Im Gegensatz zu anderen Open-Source-Tools ist die Weboberfläche von Apache Airflow keine vernachlässigte Begleiterscheinung. Die grafische Oberfläche leitet den Anwender durch administrative Aufgaben wie die Verwaltung von Workflows und auch das Benutzermanagement. Zahlreiche Visualisierungen des Aufbaus eines Workflows und der zeitlichen Evaluation der Ausführungszeiten bieten seit jeher eine gute Übersicht über den aktuellen Status der Workflowläufe.

In der neuen Benutzeroberfläche von Apache Airflow 2.0 - im leichtgewichtigen Design - tauchen selten genutzte Funktionen in den Hintergrund und schaffen Platz für mehr Übersichtlichkeit. Beispielsweise ist das Pausieren, Starten und Löschen eines Workflows direkt von der Startseite aus möglich, während das detaillierte Monitoring und die Codeansicht in ein Kontextmenü rücken.

Ein weiteres Highlight der grafischen Benutzeroberfläche ist die Auto-Refresh-Option, die das Live-Monitoring wesentlich angenehmer gestaltet.

Airflow API

Auch die Programmierschnittstelle zu Airflow darf sich über ein Upgrade freuen. In der neuen Version ist diese aus dem experimentellen Status herausgewachsen. Zwar bleibt die alte Schnittstelle vorerst aktiv, jedoch lohnt sich der Blick in die neue API dank vieler zusätzlicher Funktionen mit durchgängiger OpenAPI Spezifikation. Insgesamt werden alle Funktionen der Weboberfläche des experimentellen Vorgängers und typische Funktionen des Command-Line-Interfaces abgedeckt. Während der Entwicklung standen auch Sicherheitsaspekte im Vordergrund und das Rechtemanagement rund um die API und die Weboberfläche wurde vereinheitlicht.

Verbesserte Geschwindigkeit des Schedulers

Eine architektonisch tiefgreifende Änderung im neuen Major Release betrifft die Scheduler Komponente. Der Scheduler überwacht alle Workflows und die darin enthaltenen Aufgaben und startet diese sobald der Zeitpunkt gekommen ist und interne Abhängigkeiten erfüllt sind.

In der Community besteht seit langen die Forderungen nach einer gesteigerten Performance. Diese wird endlich erfüllt. Der neue Scheduler überzeugt mit einer enormen Geschwindigkeitsverbesserung und der Möglichkeit, mehrere Scheduler-Instanzen in einem active/active Modell zu betreiben. Damit wurde die Erreichbarkeit und die Ausfallsicherheit in diesem Zuge ebenfalls erhöht.

Optimieren Sie Ihr Workflowmanagement

mit Apache Airflow  

Wiederverwenden von Teilen des Workflows mit TaskGroups

Wiederverwendbare Codeteile sorgen für Effektivität in der Programmierung und verbessern die Wartbarkeit. Im vorherigen Konzept der SubDAGs konnten diese Vorteile genutzt werden, jedoch nur mit negativen Auswirkungen auf die Performance. Eingebundene Workflowteile unterstützten keine parallele Ausführung und wurden deshalb seltener als gewollt eingesetzt. In Airflow 2.0 steht dasselbe Konzept ohne Nachteile unter dem Begriff TaskGroups bereit.

TaskFlow API

Mit der Programmiersprache Python werden die Workflows leicht angelegt. Neben der Definition von Aufgaben und deren Abhängigkeiten (ergo der Konkretisierung des Workflows selbst), können auch einzelne Python-Funktionen als Workflowschritt ausgeführt werden. Dafür wird die Aufgabe mit dem sogenannten PythonOperator spezifiziert.

Werden mehrere Python-Operatoren nacheinander verwendet, sind diese nun besser verknüpfbar und können leichter den Output der vorhergehenden Funktion nutzen. Die Zuordnung des Outputs erfolgt automatisch im Hintergrund - auch auf verteilten Systemen - und die Aufgabenreihenfolge wird implizit abgeleitet statt explizit gefordert zu sein.

Smart Sensor

In Apache Airflow werden Aufgaben sequenziell ausgeführt. Dabei gibt es Fälle, in denen es sinnvoll ist, die Ausführung des Workflows vorübergehend zu unterbrechen, wenn bestimmte Bedingungen (z. B. Daten vorhanden) nicht erfüllt sind. Das geschieht durch die sogenannten Sensoren. Diese prüfen in festen Intervallen verschiedenste Voraussetzungen und setzen den Workflow erst nach Erfüllung dieser fort. Bei übermäßiger Nutzung binden die Sensoren jedoch einen wesentlichen Teil der verfügbaren Ressourcen im Airflow Cluster mit ihren häufigen Abfragen.
Im neuen Modus Smart Sensors werden die Sensoren gebündelt ausgeführt und verbrauchen deshalb weniger Ressourcen. Das early-access Feature wurde bereits ausgiebig getestet, jedoch kann es zu Kompatibilitätsproblemen in zukünftigen Versionen kommen, falls ungeplante strukturelle Änderungen auftreten.

Neben den vorgestellten Änderungen wurden auch weitere Schritte zur Steigerung der Benutzerfreundlichkeit unternommen. Beispielsweise wurde die Ausführung von Airflow in einem Kubernetes-Cluster vereinfacht und optimiert.

Unser Fazit - Apache Airflow 2.0

Es gibt viele gute Gründe für den Einsatz von Apache Airflow 2.0. - nutzen Sie das Potential des neuen Major Release!
Falls Sie Unterstützung bei der passgenauen Konfiguration benötigen oder Ihre bestehende Installation upgraden wollen, nehmen Sie gerne Kontakt mit uns auf. Wir geben unser Wissen ebenfalls in praxisnahen Workshops weiter - sprechen Sie uns gerne jederzeit an!