Das neue Major Release der Workflowmanagement-Plattform Apache Airflow wird bald ein Jahr alt. Falls Sie ein Upgrade bisher nicht in Betracht gezogen haben, ist jetzt ein guter Zeitpunkt dafür. Der Wechsel auf das neue Major Release bringt neue Funktionen, eine schnellere Workflowausführung und verbesserte Sicherheit mit. Nichtsdestotrotz ist ein Upgrade mit Aufwand verbunden und birgt die Gefahr eines Datenverlustes sowie eines temporären Systemstillstands.
Damit einer problemlosen Umstellung nichts im Weg steht, geben wir Ihnen in diesem Artikel Praxistipps, was Sie bei der Umstellung beachten müssen.
Um Ihre Upgrademotivation zu erhöhen, lohnt sich der Blick auf die neuen Features. Als open-source Tool wird Apache Airflow von einer weitgefassten Community weiterentwickelt, die Featureideen aus eigenen Anwendungsszenarien entwickelt. Die neuen Funktionen versprechen somit ein benutzerzentriertes Workflowmanagement am Puls aktueller Bedürfnisse. Was heißt das in der Version 2.1 konkret?
Sobald Sie einen Workflow live verfolgen wollen, ist die Auto-Refresh-Funktionalität praktisch: Die Stati der Aufgaben werden in der Graph-View automatisch aktualisiert und die Seite muss nicht neu geladen werden.
Selbstverständlich werden weitere Funktionen im Rahmen des Lebenszyklus des neuen Major Releases ergänzt. In der aktuellen Entwicklungspipeline ist beispielsweise eine umfangreichere Möglichkeit die Ausführungszeiten eines Workflows zu definieren. Hier wird in Zukunft der letzte Arbeitstag im Monat eine gültige Auswahl darstellen.
Einige Aspekte bleiben auch in der neuen Hauptversion von Airflow wie gehabt. Demnach ist es immer noch möglich einen Workflow über die Weboberfläche zu starten und die Workflows liegen weiterhin in einer Python-Datei vor. Typische Anwendungsfälle bleiben erhalten und Apache Airflow Best Practices sind weiterhin gültig.
Neu hingegen ist die überarbeitete, moderne Benutzeroberfläche. Diese steht auch in der weiteren Entwicklung von Apache Airflow im Fokus. Während zunächst nur die Gestaltung angepasst wurde, wird künftig die gesamte Anwendung in eine moderne Webapplikation mit ansprechenden Technologiestack überführt.
Ebenfalls für Anwender relevant ist die Separierung von Apache Airflow in eine Hauptanwendung und Provider-Packages. Diese Maßnahme soll die Installation leichtgewichtiger machen. Wird Airflow lokal auf einem einzigen Server geladen, kann auf das Kubernetes-Package verzichtet werden. Die Provider-Packages sind zudem losgelöst von den offiziellen Airflow-Releases und Bug-Fixes werden schneller umgesetzt. Für Anwender äußert sich die Separierung in der Anpassung der Operatorenpfade in neuen und alten Workflows.
Für eine erfolgreiche Umstellung können Sie sich an der ausführlichen Dokumentation seitens Airflow orientieren. Dort sind die notwendigen Schritte und Hintergrundinformationen zusammengefasst. Dennoch sollten Sie folgende Tipps beherzigen:
Erstellen Sie ein Backup, der verwendeten Datenbank, um ihre historischen Workflowläufe nicht zu verlieren. Ein Kopie des Konfigurationsdatei hilft ebenfalls bei dem während des Upgrades, alle Einstellungen mitzunehmen. Dies verhindert unerwartetes Verhalten.
Mit dem Bridge Release lassen sich die neuen Import-Pfade der Provider-Packages im Vorfeld testen. Die Anpassung der Workflows kann somit in einem produktionsfähigen Umfeld vorbereitet werden.
Der eingebaute Upgrade-Check liefert eine Liste an möglichen Problemen, welche vor dem Upgrade unbedingt behoben werden müssen. Diese Funktion muss separat installiert werden.
Nach dem Upgrade liefert das Datenbankupgrade (airflow db upgrade) weitere Hinweise bezüglich der Konfigurationsdatei. Da viele Einstellungen verschoben sind, ist es zeitsparender die offizielle Konfigurationsdatei aus dem Github-Repo zu bearbeiten und die alte zu ersetzen.
Wir wünschen Ihnen viel Erfolg bei dem Upgrade auf die neue Major Version von Apache Airflow. Sollten Sie Unterstützung bei der Umstellung oder der Umsetzung eines Integrationsszenarios mit der neuen API benötigen, sprechen Sie uns gerne an. Unsere Berater stehen Ihnen mit praktischen Knowhow zur Seite.