Apache Airflow Experten in München

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).

• Entwickelte und pflegte analytische Reporting-Lösungen für Kunden, um Umsatztrends, Leistungsfaktoren, Risiken und Optimierungspotenziale zu identifizieren und datengetriebene Entscheidungen in Sales, Finance, Product, Data Engineering und Controlling zu unterstützen.
• Definierte und analysierte Kundentrends und Leistungskennzahlen, um Ursachen für Abweichungen, Anomalien und neue Risiken in verschiedenen Geschäftsbereichen zu identifizieren und umsetzbare Empfehlungen abzuleiten.
• Entwickelte und verantwortete analytische Datenmodelle und Reporting-Layer, um Skalierbarkeit, Performance und analytische Robustheit für Executive- und Operational-Reporting in verschiedenen Geschäftsbereichen sicherzustellen.
• Plante, verfolgte und setzte Projekte um und stellte dabei durch strenge Validierungs- und Abgleichsprozesse die Einhaltung von Zeitplänen, Datenqualität, Konsistenz, Lieferergebnissen, Zuverlässigkeit und Datenqualitätsstandards sicher.
• Erhöhte die analytische Reife durch die Formalisierung analytischer Workflows, die Dokumentation von Datenprozessen und Standard Operating Procedures (SOPs) sowie durch Schulungen zur Förderung von Self-Service-Analytics und zur Verankerung einer datengetriebenen Kultur in operativen und fachlichen Teams.
• Übernahm die Verantwortung für die End-to-End-Roadmap von der Anforderungserhebung und Datensammlung über Transformation und die Entwicklung robuster Business-Logiken bis hin zum Data Storytelling und zur Übergabe an Stakeholder.
• Übersetzte Komplexität in strukturierte Klarheit, indem Anforderungen und Geschäftsprozesse in analytische Empfehlungen überführt wurden, um die Abstimmung zwischen nicht-technischen und technischen Stakeholdern sicherzustellen.
• Führte fortgeschrittene SQL-basierte Analysen komplexer Geschäftsdaten durch, um Trends, Zusammenhänge und Möglichkeiten zur Leistungsverbesserung aufzudecken.
• Trieb Prozessautomatisierung und Effizienzsteigerungen voran, indem Python, SQL-Optimierung und KI-gestützte Tools genutzt wurden, um Verarbeitungszeiten zu reduzieren und die Zuverlässigkeit analytischer und operativer Workflows zu erhöhen.
• Standardisierte KPI-Definitionen und Reporting-Logiken, um Konsistenz und Vertrauen in Reporting-Lösungen sicherzustellen.
• Entwickelte Dashboards und Analysen zur Prozessüberwachung, um Ineffizienzen, Engpässe und Compliance-Abweichungen in End-to-End-Geschäftsprozessen zu identifizieren und umsetzbare Empfehlungen für Prozessverbesserung und Automatisierung abzuleiten.

• Entwickelte eine Python-Pipeline, die Web-Inhalte aus dem Lektionar in strukturierte tägliche JSON-Daten umwandelt und dabei liturgische Kalenderregeln für eine genaue Abdeckung von Wochentagen und Sonntagen anwendet.
• Stellte eine reine FastAPI-REST-API mit gemeinsamen Pydantic-Modellen bereit und lieferte einen Kirundi-first Web-Client für Browser und Mobile.
• Verantwortete die Datenebene und die Backend-Architektur, arbeitete eng an Systemarchitektur und Schnittstellen mit und automatisierte Aktualisierungen mit GitHub Actions; außerdem validierte ich das ETL mit pytest.
• Impact: Schuf eine verlässliche, API-gestützte Single Source of Truth für tägliche Bibellesungen auf Kirundi und ermöglichte so einen konsistenten Zugriff auf zuvor unstrukturierte Inhalte.

• Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

DWH für Kunden- und Finanzdaten

• Erweiterung des DWH um neue Datenquellen
• Berichtsentwicklung
• Datenqualitätsmanagement

Vorgehensmodell: Scrum

Werkzeuge: Atlassian Confluence & Jira

Datenbanken: Microsoft SQL Server

Programmiersprachen: SQL, T-SQL

ETL: Microsoft SQL Server Integration Services (SSIS)

Frontend-Plattform: PowerBI, Microsoft Reporting Services

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Entwurf, Aufbau und Wartung skalierbarer ETL/ELT-Datenpipelines mit Python, SQL, REST APIs, AWS Lambda, S3, RDS PostgreSQL, EventBridge, CloudWatch, Docker, Apache Airflow und BigQuery – Integration von Daten aus GA4, Google Ads, Meta Ads, CMS, CRM, Newslettern, Events und B2C-Bestellsystemen in analyseoptimierte Datensätze.
• Aufbau einer markenübergreifenden Lakehouse-Architektur von AWS zu BigQuery – Umwandlung von Roh-JSON/CSV-Daten in strukturierte, partitionierte und wiederverwendbare Reporting-Schichten mit Staging-, Intermediate-, Canonical- und Mart-Modellen.
• Entwurf relationaler und dimensionaler Datenmodelle: 3NF-Staging-Modelle, Star-Schemas, Faktentabellen, Dimensionstabellen, tägliche KPI-Aggregate und Dashboard-optimierte Marts für Marketing-, Content-, Abonnement-, Event-, CRM- und Umsatzanalysen.
• Implementierung produktionstauglicher Datenqualitäts- und Pipeline-Zuverlässigkeitsfunktionen: inkrementelle Loads, idempotente Upserts, Deduplizierung, Schema-Validierung, Zeilenabgleich, Null-Checks, Anomalieerkennung, Frische-Monitoring, Logging, Wiederholungsversuche und Fehlerbenachrichtigungen.
• Automatisierung markenübergreifender Reporting-Prozesse und Datenprodukte – Pipelines für 73 Newsletter-Kampagnen, 31 Lead-Listen-Synchronisierungen, 52 Event-Partner-Berichte und eine 500K-Datensatz-Unternehmensabgleich-Pipeline; Reduzierung der manuellen Datenvorbereitung um ca. 70 % und Steigerung der Analyst-Produktivität um ca. 30 %.

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Mitgegründet ein KI-Startup mit Fokus auf die Entwicklung produktionsreifer LLM-Anwendungen und Agentensysteme
• Entworfen und implementiert Multi-Agent-KI-Workflows für Finanz- und Handelsanwendungen
• Entwickelt LLM-basierte Copilot-Architekturen für Portfolioanalyse, Handelsverwaltung und personalisiertes Nutzercoaching
• Entwickelt On-Device- und Edge-Inferenzanwendungen, optimierte Modelle für geringe Latenz, Datenschutz und ressourcenbeschränkte Umgebungen
• Geleitet Architekturentscheidungen zur Modellauswahl, Orchestrierung, Zustandsverwaltung und Bereitstellung

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Konzipierte eine Self-Service-Plattform mit Google Kubernetes Engine (GKE) für eine große Finanzinstitution (Commerzbank), die über 1000 Nutzer in Hunderten von Produktteams befähigte, Ressourcen eigenständig bereitzustellen und Entwicklungszyklen deutlich zu beschleunigen.
• Entwarf eine datenproduktorientierte Plattformarchitektur für das britische Verkehrsministerium (Department for Transport, DfT), um mehr als 1500 direkte Endanwender und zahlreiche angebundene Drittsysteme zu bedienen, wodurch Datenzugänglichkeit und Governance verbessert wurden.
• Trieb das Geschäftswachstum voran, indem ich die strategische Roadmap für die Geschäftslinie 'One Cloud' entwickelte, mit dem Ziel einer Umsatzsteigerung von 10 %.
• Diente als Kernmitglied der CTO-Authority und gab strategische Empfehlungen zu internen Cloud-Initiativen und Best Practices.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Aufnahme Anforderungen aus Fachbereichen und den Stakeholdern
• Organisation und Durchführung von Workshops
• Erstellen und Begleiten von User Stories (Refinement bis Rollout) und Mapping
• Moderation von SCRUM-Regelterminen
• Erkennen und Analysieren von Optimierungspotenzialen wie der REWE Pick&Go App
• Moderation und Kommunikation mit Dienstleistern
• Requirements Engineering in Verbindung mit Fremdsystemen
• DWH-/BI-Lösung: Loyalty-Auswertungen mit MicroStrategy
• ITIL (Framework für die Bereitstellung von IT-Services)
• Qualitätssicherung (Quality Gates) angelehnt an ISTQB

• Skripte für Web-Scraping entwickelt, um über 5000 Produktdaten von der Zalando-Website zu extrahieren und zu parsen.
• ETL-Prozesse mit Apache Spark in CDSW durchgeführt, die Daten in das Hadoop-Ökosystem (HDFS) geladen und mit Hive sowie Impala verwaltet.
• Machine-Learning-Algorithmen implementiert und eine Genauigkeit von 85–90 % bei der mehrklassigen Produktklassifikation erzielt.
• Produkt- und Preisdaten von Zalando in Dashboards mit Otto und Takko integriert, um interaktive Visualisierungen zu erstellen.