Apache Airflow Experten in Deutschland

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Die Yatta Integration Layer entworfen – eine konfigurationsgetriebene Integrationsplattform auf Java 25, Spring Boot 4 (WebFlux), Temporal, gRPC und Kafka, die neue Third-Party-Integrationen (z. B. AVS Fulfillment) über deklarative JSON-Konfigurationen ohne Codeänderungen ermöglicht.
• Tink-Integration entworfen und umgesetzt mit 0Auth-IBAN-Verifizierung, um Betrugsprävention und Kontovalidierungs-Workflows mit Adyen payByBank zu verbessern.
• Ein auf OpenFGA basierendes Berechtigungsmodell entworfen und umgesetzt für die zentrale Verwaltung von Benutzern, Gruppen und fein granularer Zugriffskontrolle im Vendor-Portal.
• Die Yatta API-Gateway-Plattform mit GraphQL Federation entworfen und die Umsetzung geleitet, um eine einheitliche Enterprise-API-Schicht über verteilte Microservices mit zentraler Authentifizierung, Autorisierung und Request-Orchestrierung bereitzustellen.
• NGINX + NLB durch Istio Service Mesh und AWS ALB ersetzt; WAF, OAuth (Cognito), IP-Whitelisting und RBAC über alle Umgebungen ausgerollt.
• CDC von Confluent-Cloud-Connectors auf einen selbst gehosteten Kafka-Connect- + Debezium-Stack migriert, wodurch die Betriebskosten über mehrere Umgebungen um rund 80 % gesenkt wurden.
• Das Transactional-Outbox-Pattern mit Debezium umgesetzt für zuverlässiges Event-Publishing mit genau-einmal-Zustellung nach Kafka mit Avro und Schema Registry.
• Dunning-/Payment-Recovery-Workflows von Airflow zu Temporal migriert, wodurch 99,9 % Zuverlässigkeit für die Abwicklung erreicht wurden.
• Apache Airflow optimiert mit deferrable Sensors, um 1000+ gleichzeitige DAG-Runs ohne Skalierung des Worker-Pools zu verarbeiten.
• Eine monolithische Terraform-Codebasis in 3 modulare Projekte refaktoriert, wodurch die Deploy-Zeit um rund 45 % verkürzt wurde.
• Vollständige Observability aufgebaut mit OpenTelemetry, Tempo, Prometheus und Loki; Dev/Staging/Prod mit ArgoCD, Image Updater und Helm automatisiert.
• Mit Produkt-, Operations- und Engineering-Stakeholdern zusammengearbeitet, um eine skalierbare Plattformarchitektur und Integrationsstandards zu definieren, die auf langfristige Geschäfts- und Betriebsziele abgestimmt sind.

Scope: Eingebettet als FP&A Data & AI Architect innerhalb der Finance-Funktion eines großen europäischen Kühlanlagenherstellers. Ich habe die Transformation von manuellem, fragmentiertem Finanzreporting hin zu einer automatisierten, governance-getriebenen Intelligence-Plattform geleitet. Der Schwerpunkt lag auf dem Wechsel von Excel-basiertem Controlling zu strukturierter Datenarchitektur, Power-BI-Analytics und AI-gestützter Finance-Operation.

Financial Data Integrity & ERP Governance

• GL- vs. Subledger-Abstimmungen angestoßen und geführt sowie strukturelle Abweichungen zwischen Hauptbuch- und Nebenbuchdaten identifiziert und behoben, die vor meinem Start unentdeckt geblieben waren
• Anlagenanalysen durchgeführt, um Posten ohne Buchung im Hauptbuch zu identifizieren und Lücken im Anlagevermögen sowie in der Periodenabgrenzung aufzudecken
• SAP-Reports validiert und damit Baseline-Standards für die Datenqualität der Finance-Nutzung etabliert
• Einen systematischen SAP-Datenvalidierungsrahmen aufgebaut, der die laufende Integrität zwischen ERP-Buchungen und nachgelagerten Reporting-Ergebnissen sicherstellt

Finance Reporting Transformation

• Einen strukturierten Transformationsansatz für die Umstellung manueller Finance-Reports in vollautomatisierte Prozesse entworfen und umgesetzt
• Das Data Reporting Audit Log erstellt und verantwortet; ein zentrales Tracking-System, das Report-Owner, Stakeholder, Datenquellen, manuellen Aufwand und Automatisierungspotenziale über die gesamte Finance-Funktion erfasst
• Die gesamte Reporting-Landschaft kartiert, um Quick-Win-Automatisierungen und strategische Power-BI-Migrationskandidaten zu identifizieren
• Den manuellen Excel- und PowerPoint-Einsatz in FP&A-Workflows aktiv reduziert; Punkt-zu-Zeitpunkt-Snapshots durch Live-Datenmodelle mit Governance ersetzt

Power BI & Analytics Enablement

• Power BI als strategische Reporting-Plattform gegenüber der Finance-Leitung eingeführt und präsentiert und damit intern Zustimmung für die BI-Transformationsroadmap aufgebaut
• Eine erste Power-BI-Architektur entworfen, abgestimmt auf SAP-, Salesforce- und Oracle-Datenstrukturen sowie auf FP&A-Reporting-Anforderungen
• Report-Ownership, Governance-Dokumentation und Standards für Data Lineage etabliert, um nachhaltige Self-Service-Analytics im Finance-Team zu ermöglichen

Transformation Infrastructure & Collaboration

• Jira als zentrales Projektmanagement-Hub für die Transformation konfiguriert und eingeführt, inklusive strukturierter Sprint-Workflows, Backlog-Management und transparenter Fortschrittssteuerung für Finance-IT-Initiativen
• Einen dedizierten FP&A Communication & Transformation Hub vorgeschlagen und angestoßen, ein strukturierter, bereichsübergreifender Austausch zur Ausrichtung von Finance, IT und Fachbereichen auf die Reporting-Transformationsroadmap
• Die Finance-Funktion als aktiven Treiber für Data Governance und digitale Transformation im Gesamtunternehmen positioniert

Outcomes

• GL-/Subledger-Abweichungen identifiziert und ein Untersuchungsrahmen innerhalb der ersten zwei Wochen des Einsatzes aufgebaut
• Data Reporting Audit Log ausgerollt; das erste strukturierte Inventar der Finance-Reporting-Landschaft in der Unternehmensgeschichte
• Power-BI-Transformationsroadmap vorgestellt und von der Finance-Leitung freigegeben
• Jira-basierte Projektgovernance live; Finance-Transformation wird nun mit voller Sprint-Transparenz verfolgt

Technologies: SAP FI/CO · Power BI · DAX · SQL · Excel (advanced) · Power Query (M) · Power Automate · VBA · Jira · Microsoft 365 · SharePoint · Salesforce (Sales Data) · Oracle HCM · Python

• Kunde — Podimo ApS (Podcast- & Hörbuch-Streaming): Aufbau der Finance-Reporting-Schicht auf BigQuery + dbt + Airflow, inklusive der zentralen Revenue-Transaction-Fact-Tabellen, die im gesamten Finance-Reporting genutzt werden.
• API-Automatisierung: Entwurf und Aufbau einer BigQuery → Airflow → Microsoft Dynamics 365 Business Central REST-API-Pipeline zur Automatisierung der Verbuchung von Ausgangsrechnungen, mit Idempotenz und Stammdaten-Synchronisierung zwischen den Systemen.
• Delivery: alleiniger Engineer im Projekt — Anforderungen, Modellierung, Orchestrierung und Stakeholder-Kommunikation mit dem Finance-Team des Kunden, end to end.

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

FP&A-Tech-Transformation für ein Unternehmen mit neunstelligen Umsätzen geleitet – von der Behebung alter technischer Schulden bis zur Einführung einer AI-native EPM-Lösung

• Steuerung der FP&A-Transformation von A bis Z, vom Architektur-Redesign über die Auswahl des EPM-Tools bis zum Rollout
• Bewertung von über 12 EPM-Plattformen durchgeführt, von Verhandlungen mit Anbietern bis zu einem Auswahlrahmen, der auf die langfristige Planung ausgerichtet war
• Einschränkungen in der Architektur der Finanzplanung analysiert, die Ergebnisse dem CFO vorgestellt und das Mandat der Führungsebene zur grundlegenden Neugestaltung der FP&A-Infrastruktur gesichert

• MVP-fokussierte Full-Stack-Architektur für einen Kunden im Gesundheitswesen bereitgestellt: Vite/React-Frontend, Backend-Services auf Google Cloud Run und Supabase für Datenbank sowie IAM/Authentifizierung.
• Produktanforderungsanalyse unterstützt und eine kostenoptimierte Workload-Platzierung priorisiert, indem Browser-/Edge-Berechnungen umgesetzt wurden, wo möglich, bevor Logik in die Backend-Services verschoben wurde.

• Mentor eines Teams aus 6 ML-Platform-Engineers durch wöchentliche 1:1s, technische Design-Reviews und Best Practices; Verbesserung der Team-Produktivität um 35% durch strukturierte Sprint-Planung und Programme zur Skill-Entwicklung
• Definition der ML-Plattform-Roadmap 2025–2026 in Zusammenarbeit mit Data Science, Cloud Engineering und Product Teams; Priorisierung von automatisierter Model Governance, Cost-Attribution-Systemen und Multi-Environment-Deployment-Strategien
• Zusammenarbeit mit Stakeholdern aus Data Science, SRE und Product, um die Fähigkeiten der ML-Plattform mit den Geschäftszielen abzustimmen; Reduktion der Deployment-Hürden für Data Scientists um 60% durch Self-Service-Plattformen
• Architektur und Lieferung einer produktionsreifen MLOps-Plattform für 50+ Modelle in Produktion mit automatisierten Promotion-Pipelines, Versionierung und Rollback-Funktionen; Erreichung eines SLA von 99,5% Plattform-Uptime
• Design einer verteilten ML-Pipeline-Architektur mit Metaflow und Argo Workflows (Vertex Pipelines-kompatibel); Verkürzung der Modell-Trainingszeit um 30% und der Deployment-Zyklen von 2 Wochen auf 3 Tage durch vollständige CI/CD-Automatisierung
• Aufbau containerisierter ML-Services auf Kubernetes mit Auto-Scaling-Policies, Resource Quotas und Multi-Tenancy-Isolation; Optimierung der Infrastrukturkosten um 180K $ pro Jahr (25% Reduktion)
• Implementierung von Monitoring, Alerting und Performance-Tracking mit Prometheus, Grafana und Custom Instrumentation; Reduktion der Debugging-Zeit für Modelle um 50% und Einführung von SLOs für die Modell-Performance
• Leitung der Entwicklung einer RAG-basierten Document-Intelligence-Plattform mit LangChain, LangGraph und Vektor-Datenbanken; Implementierung von Agentic-AI-Workflows für die automatisierte Verarbeitung von Finanzdokumenten
• Implementierung von Infrastructure-as-Code mit Terraform für reproduzierbare Umgebungseinrichtung und GitOps-Workflows; Reduktion von Infrastruktur-Drift-Vorfällen um 80%
• Design von rollenbasiertem Zugriff für die ML-Plattform, Implementierung von Model-Lineage-Tracking und Aufbau von Audit Trails für regulatorische Compliance nach Enterprise-IAM-Best Practices

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Entwickelte KI-gestützte Dokumentenverarbeitungslösungen mit Python, OCR, NLP und Large Language Models (LLMs), um die Extraktion, Validierung und Klassifizierung von Finanzdokumenten zu automatisieren und die Verarbeitungszeit um 75 % zu senken.
• Baute intelligente mehrstufige Workflow-Automatisierungspipelines, die KI-Services, Machine-Learning-Modelle und Unternehmenssysteme integrieren, um Finanzprozesse zu verschlanken und die Datenqualität zu verbessern.
• Entwickelte wiederverwendbare KI-gestützte Transformationsframeworks, die strukturierte und unstrukturierte Dokumentformate (XML, CSV, JSON, TXT, DAT) verarbeiten und in einheitliche Business-Schemata normalisieren können.
• Konzipierte und entwickelte Python-basierte REST-APIs und Backend-Services zur Unterstützung von Finanzanwendungen im Unternehmen und von Data-Processing-Workloads mit hohem Volumen.
• Entwickelte skalierbare Daten-Synchronisationspipelines zwischen Oracle CFIN und SQL-Datenbanken und integrierte Machine-Learning-Modelle für Cashflow-Prognosen sowie die Erkennung von Anomalien in AP/AR.
• Architektierte und implementierte Apache-Airflow-Workflows zur Orchestrierung KI-gestützter Datenpipelines und automatisierte den kompletten Ablauf von der Dokumentenaufnahme bis zur Integration in Finanzsysteme.
• Leitete die Migration kritischer Unternehmensintegrationen von MuleSoft zu Python-basierten Services und verbesserte dadurch Wartbarkeit, Performance und betriebliche Flexibilität bei gleichzeitig vollständiger Datenintegrität.
• Verantwortete den gesamten API-Lebenszyklus, einschließlich Lösungsdesign, Implementierung, Dokumentation, Deployment, Monitoring und Produktionssupport für geschäftskritische Finanzsysteme.
• Arbeitete direkt mit Stakeholdern aus dem Finanzbereich zusammen, um geschäftliche Herausforderungen zu identifizieren, Lösungsanforderungen zu definieren und durch Automatisierung und KI-gestützte Workflows messbare Verbesserungen zu erzielen.
• Arbeitete eng mit funktionsübergreifenden Engineering- und Business-Teams zusammen, um Features schnell weiterzuentwickeln, Prozesse zu verbessern und die erfolgreiche Einführung KI-gestützter Lösungen voranzutreiben.
• Übernahm technische Führung durch Architektur-Reviews, Technologieentscheidungen, Code-Reviews und Best Practices im Engineering für Integrations- und Automatisierungsinitiativen.
• Mentorierte Entwickler, definierte Coding-Standards und trug zur Verbesserung von Softwarequalität, Wartbarkeit und Lieferfähigkeit über mehrere Projekte hinweg bei.
• Leistete Produktionssupport während kritischer Monats- und Quartalsabschlüsse, führte Root-Cause-Analysen durch und setzte schnelle Fixes um, um Systemzuverlässigkeit und Datenkorrektheit sicherzustellen.

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).