Apache Airflow 2.1 - Darum lohnt sich das Airflow Upgrade

Das neue Major Release der Workflowmanagement-Plattform Apache Airflow wird bald ein Jahr alt. Falls Sie ein Upgrade bisher nicht in Betracht gezogen haben, ist jetzt ein guter Zeitpunkt dafür. Der Wechsel auf das neue Major Release bringt neue Funktionen, eine schnellere Workflowausführung und verbesserte Sicherheit mit. Nichtsdestotrotz ist ein Upgrade mit Aufwand verbunden und birgt die Gefahr eines Datenverlustes sowie eines temporären Systemstillstands.

Damit einer problemlosen Umstellung nichts im Weg steht, geben wir Ihnen in diesem Artikel Praxistipps, was Sie bei der Umstellung beachten müssen.

Neue Funktionen in Apache Airflow 2.1

Um Ihre Upgrademotivation zu erhöhen, lohnt sich der Blick auf die neuen Features. Als open-source Tool wird Apache Airflow von einer weitgefassten Community weiterentwickelt, die Featureideen aus eigenen Anwendungsszenarien entwickelt. Die neuen Funktionen versprechen somit ein benutzerzentriertes Workflowmanagement am Puls aktueller Bedürfnisse. Was heißt das in der Version 2.1 konkret?

• Verbesserter Scheduler
  Seit dem Major Release wurde die Scheduler-Komponente im großen Rahmen überarbeitet. Bei größeren Installationen können nun auch mehrere Scheduler-Instanzen eingesetzt werden, welche im active-active Design zusammenarbeiten. Die eingeführte Optimierung führen selbst im Falle eines einzelnen Schedulers zu einem überzeugenden Geschwindigkeitsvorteil.
  
  
• Ausgebaute API
  Während die alte API vorerst erhalten bleibt, bietet eine neue REST API nach OpenAPI Spezifikation neue Möglichkeiten für Automatisierungsschritte und Integrationsszenarien zwischen Systemen. Variablen, Verbindungen, Workflows und Benutzer werden bequem über einen HTTP-Request gesteuert. Die Zugriffsberechtigung kann einfach über die Authentifizierung der Benutzeroberfläche erfolgen.

Effektives Workflowmanagement mit
Apache Airflow 2.0

• Benutzerfreundliches Monitoring
  Mit gleich zwei neuen Funktionen haben Sie Ihre Workflows perfekt im Blick. In der Kalenderansicht sehen Sie die Erfolgsquote ihrer Workflows nach Wochentag und Monat grafisch aufgeschlüsselt.

Sobald Sie einen Workflow live verfolgen wollen, ist die Auto-Refresh-Funktionalität praktisch: Die Stati der Aufgaben werden in der Graph-View automatisch aktualisiert und die Seite muss nicht neu geladen werden.

Selbstverständlich werden weitere Funktionen im Rahmen des Lebenszyklus des neuen Major Releases ergänzt. In der aktuellen Entwicklungspipeline ist beispielsweise eine umfangreichere Möglichkeit die Ausführungszeiten eines Workflows zu definieren. Hier wird in Zukunft der letzte Arbeitstag im Monat eine gültige Auswahl darstellen.

Relevante Änderungen für Anwender

Einige Aspekte bleiben auch in der neuen Hauptversion von Airflow wie gehabt. Demnach ist es immer noch möglich einen Workflow über die Weboberfläche zu starten und die Workflows liegen weiterhin in einer Python-Datei vor. Typische Anwendungsfälle bleiben erhalten und  Apache Airflow Best Practices sind weiterhin gültig.

Neu hingegen ist die überarbeitete, moderne Benutzeroberfläche. Diese steht auch in der weiteren Entwicklung von Apache Airflow im Fokus. Während zunächst nur die Gestaltung angepasst wurde, wird künftig die gesamte Anwendung in eine moderne Webapplikation mit ansprechenden Technologiestack überführt.

Ebenfalls für Anwender relevant ist die Separierung von Apache Airflow in eine Hauptanwendung und Provider-Packages. Diese Maßnahme soll die Installation leichtgewichtiger machen. Wird Airflow lokal auf einem einzigen Server geladen, kann auf das Kubernetes-Package verzichtet werden. Die Provider-Packages sind zudem losgelöst von den offiziellen Airflow-Releases und Bug-Fixes werden schneller umgesetzt. Für Anwender äußert sich die Separierung in der Anpassung der Operatorenpfade in neuen und alten Workflows.

Praxistipps für die Umstellung

Für eine erfolgreiche Umstellung können Sie sich an der ausführlichen Dokumentation seitens Airflow orientieren. Dort sind die notwendigen Schritte und Hintergrundinformationen zusammengefasst. Dennoch sollten Sie folgende Tipps beherzigen:

• Datensicherheit geht vor

Erstellen Sie ein Backup, der verwendeten Datenbank, um ihre historischen Workflowläufe nicht zu verlieren. Ein Kopie des Konfigurationsdatei hilft ebenfalls bei dem während des Upgrades, alle Einstellungen mitzunehmen. Dies verhindert unerwartetes Verhalten.

• Iteratives Umstellen über das Bridge Release 1.10.15

Mit dem Bridge Release lassen sich die neuen Import-Pfade der Provider-Packages im Vorfeld testen. Die Anpassung der Workflows kann somit in einem produktionsfähigen Umfeld vorbereitet werden.

• Nutzen des Upgrade-Checks

Der eingebaute Upgrade-Check liefert eine Liste an möglichen Problemen, welche vor dem Upgrade unbedingt behoben werden müssen. Diese Funktion muss separat installiert werden.

• Anpassen der Konfigurationsdatei

Nach dem Upgrade liefert das Datenbankupgrade (airflow db upgrade) weitere Hinweise bezüglich der Konfigurationsdatei. Da viele Einstellungen verschoben sind, ist es zeitsparender die offizielle Konfigurationsdatei aus dem Github-Repo zu bearbeiten und die alte zu ersetzen.

Wir wünschen Ihnen viel Erfolg bei dem Upgrade auf die neue Major Version von Apache Airflow. Sollten Sie Unterstützung bei der Umstellung oder der Umsetzung eines Integrationsszenarios mit der neuen API benötigen, sprechen Sie uns gerne an. Unsere Berater stehen Ihnen mit praktischen Knowhow zur Seite.