NextLytics ist seit kurzem offizieller Consulting Partner von Databricks! Wir freuen uns, mit diesem Schritt die erfolgreiche Arbeit mit der Data und AI Plattform Databricks aus den letzten Jahren weiter auszubauen. NextLytics steht für persönliche, vertrauensvolle und unabhängige Beratung rund um Data, Analytics und Business Intelligence. Unserer langjährigen Expertise in den Systemlandschaften der SAP Business Intelligence Produkte und Open Source Software fügen wir damit auch offiziell eine neue Facette hinzu. Wir sind überzeugt von den Möglichkeiten, die Databricks und die zugehörigen architektonischen und technischen Konzepte und Komponenten für unsere Kunden eröffnen und sehen großes Potenzial in der Kombination mit anderen Produkten aus dem breiten Spektrum der Data Science und Analytics Plattformen.
Warum Databricks?
Databricks steht für modernstes Datenmanagement und vereint das Beste aus zwei Welten: Die Flexibilität und Skalierbarkeit von Data Lake Storage mit den strukturellen Vorteilen eines Data Warehouses. Das Ergebnis ist die sogenannte Lakehouse-Architektur – eine Plattform, die Analyse, Data Engineering und Machine Learning unter einem Dach vereint. Die Integration dieser verschiedenen Spielarten gelingt derzeit keiner anderen Plattform so gut und nahtlos, wie dies bei Databricks der Fall ist. Für Anwender werden die vormals oft sperrigen Konzepte und Software-Bibliotheken für verteilte Datenspeicherung und parallelisierte, verteilte Berechnungen fest in die Infrastruktur integriert. “Big Data” sieht plötzlich aus wie eine ganze normale Datenbank und die alten Ketten technischer Beschränkungen für gewinnbringende Datenanalysen werden gesprengt. Gleichzeitig können Data Scientists und Stakeholder die in der Plattform integrierten Analytics-Tools nutzen, um Trends in den Daten zu analysieren und kritische, datengestützte Entscheidungen zu treffen.
Wir arbeiten für unsere Kunden seit mehr als zwei Jahren erfolgreich mit Databricks und Apache Spark und wissen, wie leistungsfähig diese Kombination ist. Egal, ob es um die Verarbeitung riesiger Datenmengen, die Automatisierung von zeitkritischen ETL-Prozessen oder die Optimierung von Machine Learning Workflows geht – Databricks liefert uns die Werkzeuge, um leistungsstarke, skalierbare Lösungen für unsere Kunden zu entwickeln. Gleichzeitig rückt Databricks eine strukturierte, kollaborative und Code-getriebene Arbeitsweise in den Mittelpunkt und öffnet damit den Raum, etablierte Best Practices aus der Software-Entwicklung auf die Arbeit mit großen Datenmengen zu übertragen: automatisierte Tests, Qualitätskontrollen, Review- und Freigabemechanismen für kritische Prozesse und eine komplette Änderungshistorie des verwendeten Codes als auch den in Databricks gespeicherten Daten.
Databricks Benutzeroberfläche des Datenkatalogs. In Databricks verwaltete Tabellen beinhalten eine komplette und einsehbare Änderungshistorie. Details zum Änderungszeitpunkt und Verlinkungen zum Notebook, aus dem die Änderungen stammen, ermöglichen eine Rückverfolgung von Datenänderungen.
Databricks Delta Live Tables Benutzeroberfläche, im oberen Bereich ist die Delta Live Table selber abgebildet, im unteren Bereich sind im Eventlog alle relevanten Ereignisse und Statusänderungen aufgelistet.
Databricks als Baustein in der Systemlandschaft
Databricks glänzt als zentrale Plattformlösung für Data-basierte Herausforderungen und eröffnet eine Vielzahl Möglichkeiten hinsichtlich Integration und Kombination mit anderen Systemen. Es zeichnet sich durch eine große Anzahl von Konnektivitätsoptionen zu anderen Tools und Plattformen aus. Dazu zählen sowohl unterschiedlichste Datenquellen, deren Daten in Databricks gesammelt und verarbeitet werden können, als auch BI-Tools wie Apache Superset oder Microsoft PowerBI. Die Git-Integration für Code-Versionskontrolle vereinfacht außerdem das kollaborative Arbeiten an Data Pipelines und stellt die nötige Transparenz bei Änderungen an der Datenverarbeitungslogik sicher.
Dies ist nur ein kleiner Einblick, da Databricks sich nahtlos in die Umgebungen der großen Cloud-Anbieter Microsoft Azure, Amazon Web Services und Google Cloud Platform einfügt, was ermöglicht, eine Vielzahl von personalisierten Anbindungen für verschiedenste Use-Cases einzurichten.
Was bedeutet die Partnerschaft für unsere Kunden?
Durch die Partnerschaft können wir unseren Kunden noch umfassendere Unterstützung bieten – sowohl technisch als auch strategisch. Wir stellen exemplarisch fünf Möglichektien vor, wie wir bei der Arbeit mit Databricks Mehrwerte für unsere Kunden generieren:
1. Optimierte Data Pipelines
Mit Databricks entwickeln wir skalierbare Data Pipelines, die selbst bei großen Datenmengen effizient arbeiten. Durch den Einsatz von Databricks Features wie Delta Lake und Delta Live Tables sorgen wir für Datentransparenz, Verlässlichkeit und die Möglichkeit, Analysen in nahezu Echtzeit durchzuführen.
Wir unterstützen Sie gerne!
2. Best Practices für eure Entwicklerteams
Unser Anspruch ist es, nicht nur funktionierende Lösungen zu bauen, sondern auch Ihr Team zu stärken. Wir bringen DevOps Best Practices mit, die eure Entwickler unterstützen – von standardisierten Workflows für den Betrieb von Databricks bis hin zu maßgeschneiderten Python-Bibliotheken, die wir für die Arbeit mit Databricks und Spark entwickelt haben.
Databricks DevOps Prozesse am Beispiel mit Azure DevOps: oberhalb der drei Databricks Systemumgebungen ist der Infrastructure-as-Code Prozess dargestellt, der Systemkomponenten wie Workspaces und Berechtigungsmanagement, Spark Cluster, Databricks Jobs, etc. mittels Terraform definiert, prüft und ausgerollt. In der unteren Hälfte ist der Entwicklungsprozess für die Datenverarbeitung im Lakehouse skizziert. SQL und Python Notebook sowie zentrale Python-Bibliotheken werden auf dem Databricks Dev-Workspace entwickelt, mit Git versioniert und synchronisiert, automatisch getestet und per Deployment-Pipeline ausgerollt.
3. Machine Learning leicht gemacht
Databricks bietet die perfekte Umgebung, um Machine Learning Modelle zu trainieren, zu testen und in Produktion zu bringen. Mit Tools wie MLflow unterstützen wir Sie dabei, den gesamten ML-Lifecycle zu managen – von der ersten Idee bis zum Deployment.
4. Integration in eure Cloud-Umgebung
Egal ob AWS, Azure oder Google Cloud – wir sorgen dafür, dass Databricks nahtlos in Ihre bestehende Infrastruktur integriert wird. So können Sie Ihre Datenplattform effizient nutzen, ohne Ihre Architektur von Grund auf neu aufzubauen.
5. SAP und Databricks
Produkte aus der Schmiede von SAP finden sich in vielen Unternehmen wieder, bringen aber einige Hürden mit, wenn es zur Integration mit Systemen anderer Anbieter kommt. Wir kennen beide Welten und helfen unseren Kunden, für jeden Fall den besten Weg zu finden, Daten zwischen SAP und Databricks auszutauschen. Als Partner sowohl von SAP und Databricks kennen wir die Roadmap beider Anbieter und bleiben für unsere Kunden auf dem Laufenden, was die Integrationsmöglichkeiten angeht.
Schematischer Ablauf einer Streaming Data Pipeline zwischen SAP Systemen und Databricks per Change Data Capture Verfahren. SAP-seitig müssen z.B. über CDS-Views delta-fähige Datenobjekte eingerichtet werden, die dann per Batch-Routine oder echter live Abfrage ins Data Lakehouse übertragen werden können.
Unsere Vision: Daten in Wert verwandeln
Unsere Mission ist es, Unternehmen bei ihrer datengetriebenen Transformation zu begleiten. Daten sind heute eine der wichtigsten Ressourcen – aber erst, wenn sie sinnvoll genutzt werden, entfalten sie ihren wahren Wert.
Mit Databricks haben wir eine Plattform an unserer Seite, die es uns ermöglicht, genau das zu erreichen:
- Daten schneller verarbeiten
- Prozesse skalierbar gestalten
- Datenbasierte Entscheidungen erleichtern
Und das Beste: Mit der Lakehouse-Architektur von Databricks können wir die klassischen Grenzen zwischen Business Intelligence, Data Engineering und Data Science aufheben und alles in einer Plattform vereinen.
Gemeinsam in die Zukunft
Wir bei NextLytics sind überzeugt, dass die Partnerschaft mit Databricks ein großer Schritt in die richtige Richtung ist. Gemeinsam mit unseren Kunden möchten wir die Datenplattformen der Zukunft bauen – Plattformen, die nicht nur leistungsfähig, sondern auch nachhaltig und flexibel sind.
Sie wollen mehr darüber erfahren, wie wir Sie mit Databricks unterstützen können? Dann sprechen Sie uns gerne an – wir freuen uns auf den Austausch mit Ihnen!
