Data Pipeline Experten in München

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• Leitung der unternehmensweiten BI-Transformation mit Power BI und Microsoft Fabric durch die Bereitstellung skalierbarer Datenmodelle, automatisierter Berichte und leistungsstarker Analyselösungen für die kommerzielle und operative Führungsebene.
• Aufbau und Optimierung von Power BI Dataflows, Fabric-Lakehouse-Datensätzen, semantischen Modellen und automatisierten Reporting-Pipelines zur Verbesserung von Datenskalierbarkeit, Governance und Berichtsleistung.
• Vorantreiben der Modernisierung von Dashboards und der KPI-Governance durch die Übersetzung komplexer Geschäftsanforderungen in Erkenntnisse auf Führungsebene, interaktive Visualisierungen und entscheidungsreife Analysen.
• Entwurf von Microsoft-Fabric-Architekturen von Anfang bis Ende, einschließlich Datenaufnahme, Transformation, Virtualisierung und Unternehmensreporting über funktionsübergreifende Geschäftsbereiche hinweg, mit Migration von SAP BW über Qlik zu Power BI.
• Bereitstellung KI-gestützter Reporting-Funktionen, schwellenwertbasierter Warnmeldungen und Automatisierungs-Frameworks im Power-BI-Ökosystem zur Beschleunigung von Geschäftsentscheidungen.
• Zusammenarbeit mit der kommerziellen Führungsebene, Analytics-Teams und IT-Stakeholdern zur Standardisierung von KPIs, Optimierung der BI-Strategie und Bereitstellung skalierbarer, geschäftskritischer Reporting-Lösungen.
• Anerkannt für die Verbindung von starker Stakeholder-Führung, technischer Architekturkompetenz und geschäftsorientierten Analysen zur Umsetzung wirkungsvoller unternehmensweiter BI-Transformationsinitiativen.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

• Entwicklung des Audit-Logging-Frameworks
• Implementierung von APIs, die Entwickler in ihre Codebasen integrieren können
• Implementierung der Ingestion-Pipeline, der Datenbank-Abfrageschicht und der UI zum Durchsuchen der Audit-Events
• Verbesserung der Stabilität und Zuverlässigkeit des Backend-Systems

• Entwicklung der Vision, Strategie und Roadmap KI-gestützter Analyseprodukte, um sicherzustellen, dass sie den Geschäftsanforderungen von Vertrieb, Marketing, Finance und Führungsteams in ganz Europa entsprechen.
• Aufnahme von Geschäftsanforderungen, Priorisierung von Funktionen für AI-Produkte und Leitung der agilen Entwicklung von Prognose- und Analyselösungen. Definition von Produktspezifikationen, User Stories und Akzeptanzkriterien zur Sicherstellung einer erfolgreichen Umsetzung.
• Zusammenarbeit mit Business-Stakeholdern, Product Ownern, Data Scientists, ML Engineers und Software Engineers, um AI-Modelle in skalierbare Geschäftsprodukte zu überführen und AI-Erkenntnisse in operative Abläufe zu integrieren.
• Entwicklung und Umsetzung von Generative-AI-Lösungen unter Nutzung von Large Language Models (LLMs), um Berichte zu automatisieren und Abfragen von Unternehmensdaten in natürlicher Sprache zu ermöglichen; dadurch Reduzierung des manuellen Aufwands um etwa 30%.
• Definition von Produktzielen und Erfolgskennzahlen, Überwachung der Produktleistung und Nutzerakzeptanz sowie kontinuierliche Verbesserung des Produkts auf Basis von Nutzerfeedback und Geschäftsergebnissen.
• Aufbau von Data Governance, Standards für Stammdatenqualität und Berichtswesen in SQL-, BigQuery- und Power-BI-Umgebungen, um zuverlässige, sichere und skalierbare Analysen sicherzustellen.

• Data Engineering: Konzeption und Implementierung skalierbarer Datenpipelines
• Legacy-Migrationen zu Microsoft Fabric (Lakehouse, Dataflows Gen2, Pipelines)
• BO-Universe-Migrationen zu MS Fabric / Semantic Models / Power BI
• Taskforce für datengetriebene Transformationsprojekte nach Azure Fabric / Oracle / MSSQL

In meiner Rolle als Senior Cloud DevOps Architect bei BP, einem Öl- und Gasunternehmen, hatte ich die Aufgabe, die Plattform für das Laden von Elektrofahrzeugen der EV Division von On-Premises und Azure in die AWS-Cloud zu migrieren, was zu einer hybriden Multi-Cloud-, Multi-Tenant-SaaS-Lösung führte.

Der Einsatz von Kubernetes für die Anwendungsebene bedeutete die Bereitstellung von Kubernetes-Clusters, die von EKS und AKS verwaltet wurden, mit Fokus auf die Integration in eine Multi-Tenant-Umgebung. Diese Integration wurde durch den Einsatz von Kubernetes-Namespace und Zugriffskontrollen erreicht, um Datenisolation und Datenschutz sicherzustellen.

Auf der Datenbankebene entschieden wir uns für eine RDS-Instanz mit PostgreSQL zur Unterstützung der Backend-Infrastruktur unserer Anwendungen. Die Mandanten teilten sich dieselbe RDS-Instanz, hatten aber jeweils ein eigenes Schema.

Um nahezu in Echtzeit Daten von physischen Ladestationen (CPOs) als IoT-Geräte über das OCPI-Protokoll aufzunehmen, stießen wir bei der Batch-Verarbeitung auf erhebliche Verzögerungen. Daher entwickelten wir eine Streaming-Datenpipeline in Echtzeit mit Apache Kafka und setzten dabei auf eine eventgetriebene Architektur.

Ich leitete die Zusammenarbeit über mehrere interne Teams, externe Anbieter, Cloud-Provider und Partner vor Ort hinweg, um über fünf Systeme in eine einheitliche Lösung zu integrieren.

Erfolge:

• Erfolgreich hybride Multi-Cloud-Lösungen entworfen und umgesetzt, die mehrere Cloud-Plattformen (AWS, Azure) mit On-Premises-Infrastruktur unter Einsatz von Site-to-Site-VPNs, Firewalls und Load Balancing integrierten.
• Die Migration der On-Premises-Infrastruktur zu einer Multi-Cloud-, Multi-Tenant-Infrastruktur geleitet, was zu 30 % schnelleren Verarbeitungszeiten führte.
• Workloads aus VMware- und Hyper-V-Umgebungen auf cloudbasierte VMs migriert und dabei Cloud-native Services genutzt, um Leistung, Kosteneffizienz und Skalierbarkeit zu optimieren.
• Eine Multi-Tenant-Kubernetes-Plattform entworfen, die das Kubernetes-Ökosystem nutzt, mit Karpenter für die dynamische Bereitstellung von EC2-Nodes, KEDA für eventgesteuertes Pod-Autoscaling (z. B. Kafka-Message-Lag) und Rancher für das zentrale Monitoring mehrerer Cluster (EKS, AKS oder On-Prem K8s), als Ersatz für den Microsoft-zentrierten Azure-Arc-Management-Service.
• Python-basierte FastAPI-Microservices als Teil des EV-Core-Backends auf der AWS-EKS-Anwendungsebene entworfen und umgesetzt, die Datenaufnahme- und Kundenanalyse-Pipelines antreiben.
• Asynchrone, eventgetriebene APIs (Python-FastAPI) für die Echtzeit-Integration mit CPOs entwickelt, mit Unterstützung für OCPI 2.3 und OICP-Protokolle.
• Eine sichere, produktionsreife Azure-Databricks-Plattform mit Terraform entworfen und umgesetzt und dabei Skalierbarkeit und Kosteneffizienz sichergestellt.
• On-Premises-ERP auf eine hybride Dynamics-365-Architektur migriert, mit ERP lokal gehostet und CRM in Azure betrieben, integriert über Azure Arc.
• CI/CD-Pipelines für Databricks-Notebooks und Jobs mit GitHub Actions und Databricks CLI automatisiert, wodurch die Bereitstellungszeit reduziert wurde. Die Bereitstellungszeit für Infrastruktur durch Automatisierung der Cloud-Ressourcenbereitstellung mit GitOps um 70 % reduziert.
• Die Einhaltung interner Audit- und Data-Governance-Standards (GDPR) durch OAuth2/OIDC-basierte Authentifizierung und fein abgestufte rollenbasierte Zugriffskontrollen sichergestellt.
• Ein Zero-Trust-Sicherheitsmodell entwickelt, das Least-Privilege-Zugriffe und Mikrosegmentierung durchsetzt und die Sicherheitslage sowie die Compliance mit GDPR und NIST verbessert.
• Interaktive Analytics-Dashboards in Amazon QuickSight erstellt, die Daten aus S3 und Redshift integrieren, um Echtzeit-Business-Insights und Visualisierungen mit eingebettetem Zugriff für Multi-Tenant-Nutzer bereitzustellen.
• Cloud-Sicherheitsbewertungen und eine Sicherheitsintegration über den gesamten Lebenszyklus während M&A geleitet, einschließlich AWS, Azure, IAM (Entra ID) und Datenschutz, und dabei die Sicherheitslage mit NIST, ISO 27001 und GDPR über hybride und cloud-native Umgebungen hinweg ausgerichtet.
• Die Cloud-Kosten für eine Dev-Umgebung eines Kunden um 64 % gesenkt, indem automatisierte Start-/Stopp-Zeitpläne für EC2- und RDS-Instanzen über AWS CDK mit EventBridge Scheduler oder AWS Systems Manager implementiert wurden.

Tech-Stack:

• Infrastructure as Code: Terraform, AWS CDK, Ansible.
• Container: Kubernetes auf EKS, AKS, Docker.
• Streaming-Datenverarbeitung: Kafka zu Confluent Cloud, nach AWS MSK.
• Frontend: TypeScript, React, NextJS, Hooks, Styled Components.
• Backend: Python mit FastAPI, außerdem Node.js mit NestJS.
• Datenbank: Aurora auf PostgreSQL mit TypeORM, RDS auf SQL Server, vollständiges Setup und Administration von Azure Databricks, ETL-Pipelines.
• CI/CD und GitOps: GitHub Actions, Azure DevOps, ArgoCD.
• Monitoring und Observability: Prometheus und Grafana.
• Virtualisierung: Hyper-V, VMware Cloud on AWS, Azure Migrate.
• ERP-Systeme: Odoo, Microsoft Dynamics 365 Business Central auf Azure, integriert mit Azure Arc.
• Netzwerke: Site-to-Site-VPNs, AWS Direct Connect, Azure ExpressRoute, Firewalls (AWS Network Firewall, Azure Firewall).
• Sicherheit: IAM, NIST Framework, Zero-Trust-Sicherheit, AWS WAF, AWS Shield, GuardDuty.

• Entwickelte eine Python-Pipeline, die Web-Inhalte aus dem Lektionar in strukturierte tägliche JSON-Daten umwandelt und dabei liturgische Kalenderregeln für eine genaue Abdeckung von Wochentagen und Sonntagen anwendet.
• Stellte eine reine FastAPI-REST-API mit gemeinsamen Pydantic-Modellen bereit und lieferte einen Kirundi-first Web-Client für Browser und Mobile.
• Verantwortete die Datenebene und die Backend-Architektur, arbeitete eng an Systemarchitektur und Schnittstellen mit und automatisierte Aktualisierungen mit GitHub Actions; außerdem validierte ich das ETL mit pytest.
• Impact: Schuf eine verlässliche, API-gestützte Single Source of Truth für tägliche Bibellesungen auf Kirundi und ermöglichte so einen konsistenten Zugriff auf zuvor unstrukturierte Inhalte.

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

Durchführung einer unabhängigen technischen Bewertung einer KI-gestützten Softwareplattform, wobei KI-Risikoaudit, Cybersicherheitsanalyse und Prüfung der Softwarearchitektur kombiniert wurden. Prüfung von Anwendungskomponenten, APIs, Datenflüssen, LLM-Integrationen, Retrieval-Augmented Generation, Multi-Agenten-Orchestrierung, Authentifizierung, Mandantentrennung, Abhängigkeitsschwachstellen, KI-Governance und Kontrollen des Modelllebenszyklus. Erstellung eines technischen Auditberichts mit strukturiertem Risikoregister, Quellcodebelegen, regulatorischen Referenzen, Korrekturmaßnahmen, Inventar der KI-Systeme, Risikoklassifizierung, Maßnahmenplan und Key Risk Indicators.

Technologien: TypeScript, JavaScript, React, Next.js, Node.js, REST APIs, MongoDB, Redis, AWS serverless services, OAuth 2.0 / OpenID Connect, LLM APIs, RAG, vector search, multi-agent orchestration, Model Context Protocol, C4 architecture modelling, threat modelling, NIST AI RMF, ISO/IEC 42001, ISO/IEC 23894, OWASP guidance, MITRE ATLAS

• Aufbau eines KI-Rechtsassistenten mit modernen ML-Fähigkeiten.
• Implementierung einer RAG-Architektur mit Datenpipelines für die Suche in Rechtsdaten.
• Einsatz von AWS Bedrock für LLM- und Embedding-Modelle sowie LangChain/LangGraph
• Python mit FastAPI für das Backend und React für das Frontend

• Skalierbare Datenanwendungen entworfen, entwickelt und konfiguriert, passend zu Geschäftsprozessen und technischen Anforderungen.
• Skalierbare, kosteneffiziente Datenarchitekturen mit Snowflake über AWS, Azure und GCP entwickelt und dabei dbt für Datentransformation und Modellierung eingebunden.
• Robuste ETL-Datenpipelines aufgebaut und gepflegt, um hohe Datenqualität für eine reibungslose Migration und systemübergreifende Integration sicherzustellen.
• Starke Expertise in SQL und Python mit umfassender Erfahrung in Datenmodellierung, ETL/ELT-Pipeline-Entwicklung und Streaming-Datenverarbeitung gezeigt; sicher im Umgang mit Git-basiertem Versionsmanagement, CI/CD-Prozessen und Test-Frameworks, mit solidem Wissen in den Bereichen Datenqualität, Observability, Kostenoptimierung, Sicherheit und Data-Governance.
• Mehrere Datenmigrationsinitiativen von SAP HANA nach Snowflake mit einem modularen dbt-Framework geleitet.
• End-to-End-Daten-Transformations-Workflows mit dbt auf Snowflake entworfen und gepflegt, geschichtete Datenmodelle implementiert, die Performance optimiert und eine hochwertige Datenbereitstellung für Business Intelligence und Reporting sichergestellt.
• Entwicklungs-, QA- und Produktions-Deployments über strukturierte Versionskontrolle und Release-Management mit GitLab gesteuert.
• Daten aus mehreren Quellen, darunter relationale Datenbanken, Flat Files, Excel und große Systeme, in Snowflake integriert und zentralisiert.
• Umfassende Expertise in den Datenbereichen Sales, Marketing, HR und ERP angewendet und relevante KPIs sowie Reporting-Lösungen entwickelt und gepflegt.
• Mit funktionsübergreifenden Teams zusammengearbeitet, um End-to-End-Datenlösungen termingerecht durch proaktives Lösen von Problemen und gute Abstimmung umzusetzen.
• Die Snowflake-Sandbox-Umgebung für die Data-Engineering-Abteilung administriert.
• Kolleginnen und Kollegen, die in Datenrollen gewechselt sind, in Snowflake geschult und technische Beratung sowie Mentoring für Junior-Teammitglieder übernommen.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Architektur, Konzeption und Entwicklung einer MVP-Anwendung eines Anbieters für spezialisierte Reiseerlebnisse
• Technologien: Python, FastAPI, Firestore, Firebase, Docker