Apache Airflow Experten

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

Aufbau einer internationalen E-Commerce-Plattform für einen Multi-Vendor-Marktplatz für digitale Assets von Grund auf. Konzeption und Betrieb von Cloud-Native-Architekturen im Enterprise-Maßstab.

• Konzeption und Betrieb einer hochskalierbaren Microservice- und Serverless-Architektur
• Aufbau der gesamten Cloud-Infrastruktur mit Terraform + AWS CDK in AWS
• Bereitstellung von ECS/EKS-Clustern (Fargate), Application Load Balancern (Reverse Proxy) und Lambda Functions
• Observability & Tracing mit CloudWatch, DataDog, Prometheus & Grafana
• Ganzheitliches Setup aus DataDog (vorher AWS CloudWatch), Prometheus und individuellen Grafana-Dashboards
• Integration von Advanced Metrics (u.a. ORM-Mapper) und Distributed Tracing mit Jaeger
• Robuste Backup- und Disaster-Recovery-Strategien
• RDS-Postgres-Backups und stündliche Snapshots
• Schreibgeschützte, asynchron synchronisierte Replikate mit automatischem Master-Failover im Notfall
• Rollback-Fähigkeit innerhalb von Minuten über versionierte Docker-Images auf ECS und Git-gestützte CI/CD-Pipelines
• Erstellung von CI/CD-Pipelines mit GitHub Actions für automatisierte Multi-Stage-Deployments (Dev, Testing, Prod)
• Integration von Stripe zur Abwicklung des internationalen Zahlungsverkehrs
• Aufbau eines Marktplatz-Payment-Systems mit mehreren Parteien und Auszahlungsroutinen
• Einsatz von Algolia für hochperformante Echtzeitsuche nach digitalen Assets auf der Plattform
• Föderation von Services mit GraphQL und Hasura
• Spätere Migration auf GraphQL Mesh
• Test Driven Development (TDD) - Unit-, Integrations- & E2E-Testing mit Jest, Vitest und Playwright
• Einsatz von Next.js / React für moderne Frontend-Anwendungen im nx Monorepo
• Enterprise-Security-Architektur & Access Control
• Integration von JWT-Token mit Auth0, OAuth, OIDC, IP Guards, BOLA Protection und Secret Vaults
• Autorisierungskonzepte über RBAC, ABAC sowie native Postgres Row-Level-Security (RLS)
• Erstellung von internen Microfrontends mit Retool für schnelles Prototyping und operative Fachbereichsprozesse

Technologien: ABAC, AWS CDK, AWS CloudWatch, AWS ECS, AWS EKS, AWS Fargate, AWS RDS, AWS S3, Algolia, Auth0, DataDog, Docker, GitHub Actions, Grafana, GraphQL, GraphQL Mesh, Hasura, JWT, Jaeger, Java, JavaScript, Jest, Kotlin, Kubernetes, Monorepo, Next.js, OIDC, Playwright, Postgres, Postgres RLS, Prometheus, RBAC, Redis, Retool, Serverless, Stripe, Terraform, TypeScript, Vitest

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Vollständig On-Premises betriebene LLM-Plattform zur Dokumentenprüfung für einen Compliance-kritischen Bankbereich: agentenbasierte LangGraph-Pipeline mit deterministischer Verifizierung, jedes KI-Urteil strukturiert und an die Quelle gebunden; ~960 automatisierte Tests, kein Datenabfluss
• GPU-Durchsatzoptimierung (quantized serving, speculative decoding, prefix caching): 9.5-fache Beschleunigung der Extraktion, 500+ Fallakten mit mehreren Dokumenten pro Tag auf einer einzelnen A100
• KI-native EDI/EDIFACT-Integrationsplattform (~116k LOC Java 25 / Spring Boot 4, 1,900+ Tests): Von LLM erstellte Partnermappings werden vor dem Go-live maschinell verifiziert (DFDL-Konformität, Feldabdeckungsprüfungen, Testläufe), ~99.5% Byte-Übereinstimmung bei echten Kundendateien – ersetzt wochenlange manuelle Zuordnung pro Partner

Leitung der technischen Transformation von FP&A für ein Unternehmen mit 9-stelligem Umsatz – von der Behebung technischer Altlasten bis zur Einführung eines AI-nativen EPM-Systems

• Steuerung der ganzheitlichen FP&A-Transformation, von der Neugestaltung der Architektur über die Auswahl des EPM-Tools bis zum Rollout
• Durchführung der Bewertung von mehr als 12 EPM-Plattformen, von der Verhandlung mit Anbietern bis zur Entwicklung eines Auswahlrahmens für die langfristige Planung
• Analyse von Einschränkungen in der Finanzplanungsarchitektur, Präsentation der Ergebnisse beim CFO und Einholung des Mandats der Geschäftsleitung zur grundlegenden Neugestaltung der FP&A-Infrastruktur

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Kunde — Podimo ApS (Podcast- und Hörbuch-Streaming): Aufbau der Finanz-Reporting-Ebene auf BigQuery + dbt + Airflow, einschließlich der zentralen Umsatztransaktions-Faktentabellen für das Finanzreporting.
• API-Automatisierung: Konzeption und Aufbau einer BigQuery → Airflow → Microsoft Dynamics 365 Business Central REST-API-Pipeline zur Automatisierung der Buchung von Verkaufsrechnungen, mit Idempotenz und Synchronisierung von Stammdaten zwischen den Systemen.
• Umsetzung: Alleiniger Engineer im Projekt — von den Anforderungen über Modellierung und Orchestrierung bis zur Kommunikation mit dem Finanzteam des Kunden.

CRM- und Umsatzplattform zur Verwaltung von Abrechnungs- und Abonnement-Workflows.

• Skalierte die Zahlungsinfrastruktur über Datenprodukte, den Ausbau von Lastschriftzahlungen und die automatisierte Missbrauchsprävention. Dadurch wurden $416K jährliche operative Einsparungen ($8K/Woche) erzielt, indem redundante Gateway-Aufrufe eliminiert wurden.
• Verantwortete Backlog und Sprint-Umsetzung für autonome Pipelines zur Erkennung von Checkout-Missbrauch und entwickelte Echtzeit-Risikoleitplanken sowie Geschwindigkeitsheuristiken, die Card-Testing-Angriffe blockierten.
• Entwickelte User Stories und Datenabgleichsmechanismen für einen Enterprise-Abrechnungsmigrator. Dadurch wurden unterbrechungsfreie Übergänge von Abonnementstatus erreicht und $60K Infrastrukturkosten eingespart.
• Erweiterte die europäischen Lastschriftfunktionen (SEPA), steuerte squadübergreifende API-Abhängigkeiten und automatisierte die Fehlerbehandlung von Webhooks, um Reibungsverluste im Checkout zu vermeiden.

• Eine neue Benachrichtigungsplattform von Grund auf entwickelt und implementiert, um bestehende und zukünftige Services zu ersetzen
• Zusammenarbeit mit anderen Teams zur Integration weiterer Fachbereiche

Tech-Stack:

• Daten: Scala 3, Apache Kafka, Python, Airflow, Astronomer
• BE-FE: TypeScript, NestJS, Java, Spring Boot, Vue
• DevOps: AWS, PostgreSQL, Docker, GitHub Actions, Kubernetes, Helm, ArgoCD

• Leitete die ganzheitliche Umsetzung von ML-/KI-Anwendungen für die QuantistryLab-Simulationsplattform – von der Anforderungsdefinition und Lösungsplanung über Entwicklung, Tests und Bereitstellung bis zur Unterstützung im Produktivbetrieb. Dabei koordinierte ich die Zusammenarbeit der Back-End-, DevOps- und ML-Teams.
• Entwarf und implementierte ein System zur Suche nach Verbindungen mit einem LLM mit offenen Gewichten, dem Agenten-Framework Pydantic AI und dem Model Context Protocol (MCP) und stellte es über FastAPI-Endpunkte bereit.
• Stellte den LLM-Service auf Basis von vLLM auf Kubernetes bereit und konfigurierte ihn.
• Entwickelte CI/CD-Pipelines und Helm-Charts, um Bereitstellungen in Staging- und Produktionsumgebungen zu automatisieren.
• Ergänzte das Suchsystem um OpenTelemetry-Spans und -Traces und integrierte es in die Observability-Plattform Honeycomb, um die Latenz einzelner Komponenten und Funktionsfehler zu überwachen.
• Entwickelte einen benutzerdefinierten Evaluierungsdatensatz und setzte Auswertungen für die Relevanz der Suchergebnisse, die Richtigkeit der Antworten, die Genauigkeit von Tool-Aufrufen und den Erfolg der Aufgaben von Anfang bis Ende um.
• Verkürzte die Vorhersagezeit für Infrarotspektren um 83 % (von 60 auf 10 Minuten), indem ich ein quantenmechanisches Modell durch ein vortrainiertes graph-neuronales Netzwerk ersetzte. Ich trainierte das Modell mit PyTorch weiter, entwickelte und containerisierte die Inferenzpipeline mit Docker und integrierte sie in die Plattform.
• Implementierte eine MLflow-Modellregistrierung mit MinIO-gestützter Artefaktspeicherung.
• Beriet Vertriebs- und Wissenschaftsteams zu ML-/KI-Anwendungen für potenzielle Kundenprojekte und brachte technisches Fachwissen in die Entwicklung vorgeschlagener Lösungen und Prototypen ein.

Technologien: AWS, Hetzner, Kubernetes, Helm, Docker, vLLM, Pydantic AI, MCP, Qwen, Llama 3, MLflow, MinIO, GitHub Actions, Python, FastAPI, OpenTelemetry, Honeycomb, PyTorch, Polars, pytest

• Aufbau des Lakehouse: Entwurf und Aufbau der Mitglieder- und Anspruchsberechtigungsdomäne eines Azure-Databricks-Healthcare-Lakehouses. Erfassung von Daten aus SQL Server sowie Datei- und REST/SFTP-Quellen (JSON, CSV, XML, Parquet) über Azure Data Factory in ADLS Gen2.
• Medallion-Pipelines: Transformation von Daten durch die Bronze-, Silber- und Gold-Schichten von Delta Lake mit PySpark und Spark SQL; Einsatz von Delta Live Tables / Lakeflow mit integrierten Erwartungen für deklarative Pipelines mit Qualitätsprüfungen.
• Modernisierung der Plattform: Bereitstellung einer Plattform für den Wechsel von SQL Server in die Cloud: ADF → ADLS Gen2 → Databricks → dbt Core-Modelle → Snowflake → Power BI. Ablösung älterer Berichte durch kontrollierte Analysen.
• Robustes ETL: Aufbau metadatengesteuerter, idempotenter vollständiger und inkrementeller Ladevorgänge sowie Watermark-gesteuerter Ladevorgänge mit Schema-Evolution und Fehlerstatusbehandlung. Verbesserung der Zuverlässigkeit und erneuten Ausführbarkeit.
• Datenmodellierung: Entwurf von Kimball-Sternschemata mit SCD Type 1 & 2-Dimensionen; Optimierung langsamer Abfragen und Pipelines mithilfe von Ausführungsplänen.
• Governance & Sicherheit: Einsatz von Unity Catalog RBAC, Lineage und Audit-Logging sowie Azure Key Vault-Secrets und verwalteten Identitäten zur Erfüllung der HIPAA- und GDPR-Anforderungen.
• Führung & Mentoring: Leitung eines 6-köpfigen Teams (2 Data Engineers, 2 Analysts, BI-Entwickler, QA); Mentoring von Engineers, Festlegung von Lieferstandards und Abstimmung mit internationalen Stakeholdern.
• Bereitstellung & KI-gestützte Arbeit: Durchführung von CI/CD und Aufgabenverfolgung in Azure DevOps; Aufbau von Power-BI-Semantikmodellen mit DAX und RLS; Einsatz von Genie Code, Claude und Copilot zur schnelleren Entwicklung von PySpark/SQL, DAX und Dokumentation.

Scope: Eingebettet als FP&A Data & AI Architect innerhalb der Finance-Funktion eines großen europäischen Kühlanlagenherstellers. Ich habe die Transformation von manuellem, fragmentiertem Finanzreporting hin zu einer automatisierten, governance-getriebenen Intelligence-Plattform geleitet. Der Schwerpunkt lag auf dem Wechsel von Excel-basiertem Controlling zu strukturierter Datenarchitektur, Power-BI-Analytics und AI-gestützter Finance-Operation.

Financial Data Integrity & ERP Governance

• GL- vs. Subledger-Abstimmungen angestoßen und geführt sowie strukturelle Abweichungen zwischen Hauptbuch- und Nebenbuchdaten identifiziert und behoben, die vor meinem Start unentdeckt geblieben waren
• Anlagenanalysen durchgeführt, um Posten ohne Buchung im Hauptbuch zu identifizieren und Lücken im Anlagevermögen sowie in der Periodenabgrenzung aufzudecken
• SAP-Reports validiert und damit Baseline-Standards für die Datenqualität der Finance-Nutzung etabliert
• Einen systematischen SAP-Datenvalidierungsrahmen aufgebaut, der die laufende Integrität zwischen ERP-Buchungen und nachgelagerten Reporting-Ergebnissen sicherstellt

Finance Reporting Transformation

• Einen strukturierten Transformationsansatz für die Umstellung manueller Finance-Reports in vollautomatisierte Prozesse entworfen und umgesetzt
• Das Data Reporting Audit Log erstellt und verantwortet; ein zentrales Tracking-System, das Report-Owner, Stakeholder, Datenquellen, manuellen Aufwand und Automatisierungspotenziale über die gesamte Finance-Funktion erfasst
• Die gesamte Reporting-Landschaft kartiert, um Quick-Win-Automatisierungen und strategische Power-BI-Migrationskandidaten zu identifizieren
• Den manuellen Excel- und PowerPoint-Einsatz in FP&A-Workflows aktiv reduziert; Punkt-zu-Zeitpunkt-Snapshots durch Live-Datenmodelle mit Governance ersetzt

Power BI & Analytics Enablement

• Power BI als strategische Reporting-Plattform gegenüber der Finance-Leitung eingeführt und präsentiert und damit intern Zustimmung für die BI-Transformationsroadmap aufgebaut
• Eine erste Power-BI-Architektur entworfen, abgestimmt auf SAP-, Salesforce- und Oracle-Datenstrukturen sowie auf FP&A-Reporting-Anforderungen
• Report-Ownership, Governance-Dokumentation und Standards für Data Lineage etabliert, um nachhaltige Self-Service-Analytics im Finance-Team zu ermöglichen

Transformation Infrastructure & Collaboration

• Jira als zentrales Projektmanagement-Hub für die Transformation konfiguriert und eingeführt, inklusive strukturierter Sprint-Workflows, Backlog-Management und transparenter Fortschrittssteuerung für Finance-IT-Initiativen
• Einen dedizierten FP&A Communication & Transformation Hub vorgeschlagen und angestoßen, ein strukturierter, bereichsübergreifender Austausch zur Ausrichtung von Finance, IT und Fachbereichen auf die Reporting-Transformationsroadmap
• Die Finance-Funktion als aktiven Treiber für Data Governance und digitale Transformation im Gesamtunternehmen positioniert

Outcomes

• GL-/Subledger-Abweichungen identifiziert und ein Untersuchungsrahmen innerhalb der ersten zwei Wochen des Einsatzes aufgebaut
• Data Reporting Audit Log ausgerollt; das erste strukturierte Inventar der Finance-Reporting-Landschaft in der Unternehmensgeschichte
• Power-BI-Transformationsroadmap vorgestellt und von der Finance-Leitung freigegeben
• Jira-basierte Projektgovernance live; Finance-Transformation wird nun mit voller Sprint-Transparenz verfolgt

Technologies: SAP FI/CO · Power BI · DAX · SQL · Excel (advanced) · Power Query (M) · Power Automate · VBA · Jira · Microsoft 365 · SharePoint · Salesforce (Sales Data) · Oracle HCM · Python

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten