Apache Airflow Experten in Berlin

Leitung der technischen Transformation von FP&A für ein Unternehmen mit 9-stelligem Umsatz – von der Behebung technischer Altlasten bis zur Einführung eines AI-nativen EPM-Systems

• Steuerung der ganzheitlichen FP&A-Transformation, von der Neugestaltung der Architektur über die Auswahl des EPM-Tools bis zum Rollout
• Durchführung der Bewertung von mehr als 12 EPM-Plattformen, von der Verhandlung mit Anbietern bis zur Entwicklung eines Auswahlrahmens für die langfristige Planung
• Analyse von Einschränkungen in der Finanzplanungsarchitektur, Präsentation der Ergebnisse beim CFO und Einholung des Mandats der Geschäftsleitung zur grundlegenden Neugestaltung der FP&A-Infrastruktur

CRM- und Umsatzplattform zur Verwaltung von Abrechnungs- und Abonnement-Workflows.

• Skalierte die Zahlungsinfrastruktur über Datenprodukte, den Ausbau von Lastschriftzahlungen und die automatisierte Missbrauchsprävention. Dadurch wurden $416K jährliche operative Einsparungen ($8K/Woche) erzielt, indem redundante Gateway-Aufrufe eliminiert wurden.
• Verantwortete Backlog und Sprint-Umsetzung für autonome Pipelines zur Erkennung von Checkout-Missbrauch und entwickelte Echtzeit-Risikoleitplanken sowie Geschwindigkeitsheuristiken, die Card-Testing-Angriffe blockierten.
• Entwickelte User Stories und Datenabgleichsmechanismen für einen Enterprise-Abrechnungsmigrator. Dadurch wurden unterbrechungsfreie Übergänge von Abonnementstatus erreicht und $60K Infrastrukturkosten eingespart.
• Erweiterte die europäischen Lastschriftfunktionen (SEPA), steuerte squadübergreifende API-Abhängigkeiten und automatisierte die Fehlerbehandlung von Webhooks, um Reibungsverluste im Checkout zu vermeiden.

• Eine neue Benachrichtigungsplattform von Grund auf entwickelt und implementiert, um bestehende und zukünftige Services zu ersetzen
• Zusammenarbeit mit anderen Teams zur Integration weiterer Fachbereiche

Tech-Stack:

• Daten: Scala 3, Apache Kafka, Python, Airflow, Astronomer
• BE-FE: TypeScript, NestJS, Java, Spring Boot, Vue
• DevOps: AWS, PostgreSQL, Docker, GitHub Actions, Kubernetes, Helm, ArgoCD

• Skalierbare ETL/ELT-Pipelines mit Python, SQL, dbt, AWS und Informatica entworfen und implementiert, um Daten aus Quellen wie APIs, relationalen Datenbanken und Flatfiles in Snowflake zu laden und die Laufzeit der Pipelines um ~30% zu reduzieren.
• Daten mit hohem Volumen mithilfe von AWS-Services (S3, Glue, Step Functions, IAM) von lokal betriebenem Teradata nach Snowflake migriert und dabei Datenkonsistenz und -integrität sichergestellt.
• Die Kimball-Methode zur Entwicklung von Star- und Snowflake-Schemas angewendet, wodurch die Abfrageleistung verbessert und die Snowflake-Computekosten gesenkt wurden.
• Automatisierte Datenqualitätsprüfungen mit SQL-basierten dbt-Tests und dem Great Expectations Framework implementiert, um Anomalien zu erkennen und die Datenqualität vor Produktionsläufen sicherzustellen.
• ETL-Workflows in Airflow mit Python orchestriert und Code-Bereitstellungen über Git nach CI/CD-Best-Practices verwaltet, um die Zuverlässigkeit der Bereitstellungen zu erhöhen und die Verfügbarkeit der Pipelines sicherzustellen.
• Interaktive Power BI-Dashboards und aufbereitete Datensätze erstellt, um Stakeholder bei datenbasierten Entscheidungen zu unterstützen.
• Technische Dokumentation für ETL-Workflows in Confluence gepflegt und Wissensaustausch-Sessions für neue Mitarbeitende geleitet.

• Architektur der Azure Landing Zone: Entwurf und Implementierung einer Azure Landing Zone mit Hub-and-Spoke-Architektur und Unterstützung mehrerer Regionen. Sie bildet die sichere, skalierbare und hochverfügbare Grundlage für Daten- und ML-Plattformen für autonomes Fahren und Parken.
• Compliance mit Azure Policy: Durchsetzung von Sicherheits- und Compliance-Standards über Azure-Abonnements hinweg mit Azure Policy (Guardrails, deny/audit/deploy-if-not-exists), wobei konstant sehr hohe Sicherheitsbewertungen der Infrastruktur erreicht wurden.
• Infrastructure-as-Code: Automatisierung der Bereitstellung und Konfiguration von Azure-Ressourcen mit Terraform und Bicep; Änderungen werden über geprüfte CI/CD-Pipelines ausgerollt.
• Azure Databricks und Unity Catalog: Umfassende Erfahrung im Betrieb von Azure Databricks mit Unity Catalog für zentrale Data Governance, Zugriffskontrolle, Datenherkunft und Auditing über mehrere Workspaces hinweg.
• Monitoring und Observability: Aufbau und Betrieb von Infrastruktur-Monitoring und Logging mit Azure Monitor, Prometheus, Grafana und Loki, einschließlich Plattformzustand, Alarmierung, Fehleranalyse und Kapazitätsentwicklung.
• Plattform im großen Maßstab: Architektur und Betrieb von Cloud-Daten- und ML-Plattformen zur Verarbeitung und Simulation von Fahrzeugdaten im PB-Bereich; Orchestrierung von auf Argo Workflows basierenden Recompute- und Autolabeling-Services mit einer Skalierung auf mehr als 100k+ gleichzeitig laufende Pods auf AKS.
• Reproduzierbares ML: Aufbau reproduzierbarer Trainingsumgebungen mit Versionierung von Datensätzen und Nachverfolgung der Datenherkunft, wodurch Audits und zuverlässige Experimente ermöglicht werden.
• Operative Exzellenz: Automatisierung der Verwaltung von GitHub-Organisationen und CI/CD-Pipelines zur Verbesserung der Entwicklerproduktivität und Zuverlässigkeit von Deployments; Automatisierung wiederkehrender Betriebsprozesse.
• FinOps: Entwicklung einer transparenten Ressourcen- und Kostenverfolgung für Azure-Umgebungen mit mehreren Projekten.
• Führung: Technische Leitung für Infrastrukturthemen in Zusammenarbeit mit Entwicklungs-, DevOps- und Sicherheitsteams; technischer Interviewer und Mitglied des Recruiting-Gremiums zum Ausbau des Engineering-Teams.

• Tätigkeit als technischer Berater zur Optimierung mehrschichtiger Ensemble-Modelle, die ResNet, CNN-BiGRU-Attention und XGBoost kombinieren.
• Begleitung der Implementierung eines Logistic-Regression-Meta-Learners zur Lösung von Problemen mit unausgeglichenen Klassen; dabei wurden 92.86% Genauigkeit und 0.9644 AUC bei den Datensätzen PTB-XL und Chapman-Shaoxing erreicht.

• Entwickelte KI-gestützte Dokumentenverarbeitungslösungen mit Python, OCR, NLP und Large Language Models (LLMs), um die Extraktion, Validierung und Klassifizierung von Finanzdokumenten zu automatisieren und die Verarbeitungszeit um 75 % zu senken.
• Baute intelligente mehrstufige Workflow-Automatisierungspipelines, die KI-Services, Machine-Learning-Modelle und Unternehmenssysteme integrieren, um Finanzprozesse zu verschlanken und die Datenqualität zu verbessern.
• Entwickelte wiederverwendbare KI-gestützte Transformationsframeworks, die strukturierte und unstrukturierte Dokumentformate (XML, CSV, JSON, TXT, DAT) verarbeiten und in einheitliche Business-Schemata normalisieren können.
• Konzipierte und entwickelte Python-basierte REST-APIs und Backend-Services zur Unterstützung von Finanzanwendungen im Unternehmen und von Data-Processing-Workloads mit hohem Volumen.
• Entwickelte skalierbare Daten-Synchronisationspipelines zwischen Oracle CFIN und SQL-Datenbanken und integrierte Machine-Learning-Modelle für Cashflow-Prognosen sowie die Erkennung von Anomalien in AP/AR.
• Architektierte und implementierte Apache-Airflow-Workflows zur Orchestrierung KI-gestützter Datenpipelines und automatisierte den kompletten Ablauf von der Dokumentenaufnahme bis zur Integration in Finanzsysteme.
• Leitete die Migration kritischer Unternehmensintegrationen von MuleSoft zu Python-basierten Services und verbesserte dadurch Wartbarkeit, Performance und betriebliche Flexibilität bei gleichzeitig vollständiger Datenintegrität.
• Verantwortete den gesamten API-Lebenszyklus, einschließlich Lösungsdesign, Implementierung, Dokumentation, Deployment, Monitoring und Produktionssupport für geschäftskritische Finanzsysteme.
• Arbeitete direkt mit Stakeholdern aus dem Finanzbereich zusammen, um geschäftliche Herausforderungen zu identifizieren, Lösungsanforderungen zu definieren und durch Automatisierung und KI-gestützte Workflows messbare Verbesserungen zu erzielen.
• Arbeitete eng mit funktionsübergreifenden Engineering- und Business-Teams zusammen, um Features schnell weiterzuentwickeln, Prozesse zu verbessern und die erfolgreiche Einführung KI-gestützter Lösungen voranzutreiben.
• Übernahm technische Führung durch Architektur-Reviews, Technologieentscheidungen, Code-Reviews und Best Practices im Engineering für Integrations- und Automatisierungsinitiativen.
• Mentorierte Entwickler, definierte Coding-Standards und trug zur Verbesserung von Softwarequalität, Wartbarkeit und Lieferfähigkeit über mehrere Projekte hinweg bei.
• Leistete Produktionssupport während kritischer Monats- und Quartalsabschlüsse, führte Root-Cause-Analysen durch und setzte schnelle Fixes um, um Systemzuverlässigkeit und Datenkorrektheit sicherzustellen.

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Unterrichtete Python, Pandas, Datenanalyse, Visualisierung und Power BI für mehr als 250 Studierende.
• Begleitete praktische Projekte von der Datenaufbereitung und explorativen Analyse bis zur Visualisierung und Dashboard-Erstellung.
• Erklärte komplexe analytische Konzepte verständlich für Zielgruppen mit unterschiedlichen technischen Kenntnissen.

• Fractional Leadership; Beratung von Startups und Scale-ups in der Wachstumsphase zu Datenstrategie, ML-Produkten und Plattform-Grundlagen
• Aufbau von Entscheidungssystemen für Growth, Personalisierung und Produktexperimente in E-Commerce, Digital Health, Energie und Logistik
• Erforschung von Agentic AI und LLM-basierten Tools für produktionsreife Muster

• Entwickelte und implementierte ein hybrides Empfehlungssystem (Content-Based + Collaborative Filtering)
• Baute End-to-End-ML-Pipelines inklusive Datenverarbeitung, Feature Engineering, Modelltraining und Bewertung
• Entwickelte RAG-basierte LLM-Systeme mit LangChain und Vektordatenbanken für semantische Suche und Wissensabruf
• Etablierte MLOps-Workflows mit MLflow für Experiment-Tracking, Versionierung und Deployment-Bereitschaft
• Implementierte Deep-Learning-Modelle (Computer Vision & Klassifikation) mit PyTorch und TensorFlow

• KI- und Data-Science-Lösungen geliefert, darunter LLM-basierte Chatbots und Datenpipelines, wodurch die operative Effizienz verbessert wurde.
• An Produktfunktionen mitgearbeitet, messbare Wirkung erzielt und starke Kundenbeziehungen gepflegt.

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlags- und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für Echtzeit-Plattformüberwachung
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch wiederverwendbares Automatisierungsmodul für 7 Kunden-Domains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offenliegende Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• 3-Team-Integration in 1 Sprint geliefert

• Verantwortlich für Investorenakquise und Partnerschaftsentwicklung als Gründungs-Geschäftsführer, Aufbau des Business Case und der technischen Story, um Erstfinanzierung und strategische Partner im Bereich Digital Health zu gewinnen
• Konzeption von Multi-Agenten-KI-Systemen für autonome Biosignalanalysen, Orchestrierung von LLM-basierten Reasoning-Pipelines mit fachspezifischem medizinischen Kontext zur Unterstützung intelligenter, klinischer Entscheidungsfindung