Apache Airflow Experten

Remote-Freelance-Rolle mit Schwerpunkt auf Agentic-AI-Strategie, sicheren Anwendungsmustern und wiederverwendbaren agentischen Workflows für eine Behörde.

• Entwicklung und Umsetzung einer Open-Source-Strategie für Agentic AI für eine Behörde mit Schwerpunkt auf GDPR, Sicherheit und selbst gehosteten Lösungen
• Entwicklung wiederverwendbarer agentischer Workflows und Geschäftsanwendungen, mit denen nicht-technische Mitarbeitende Geschäftsprobleme selbstständig lösen können
• Umsetzung von neun Geschäftsanwendungen mit Single Sign-On (SSO) und Azure-PostgreSQL-Integration auf Hetzner-Linux-Servern

Techstack: Python, Streamlit, Anthropic SDK (Claude), Azure, Linux, PostgreSQL, MS SQL, Angular

Aufbau einer internationalen E-Commerce-Plattform für einen Multi-Vendor-Marktplatz für digitale Assets von Grund auf. Konzeption und Betrieb von Cloud-Native-Architekturen im Enterprise-Maßstab.

• Konzeption und Betrieb einer hochskalierbaren Microservice- und Serverless-Architektur
• Aufbau der gesamten Cloud-Infrastruktur mit Terraform + AWS CDK in AWS
• Bereitstellung von ECS/EKS-Clustern (Fargate), Application Load Balancern (Reverse Proxy) und Lambda Functions
• Observability & Tracing mit CloudWatch, DataDog, Prometheus & Grafana
• Ganzheitliches Setup aus DataDog (vorher AWS CloudWatch), Prometheus und individuellen Grafana-Dashboards
• Integration von Advanced Metrics (u.a. ORM-Mapper) und Distributed Tracing mit Jaeger
• Robuste Backup- und Disaster-Recovery-Strategien
• RDS-Postgres-Backups und stündliche Snapshots
• Schreibgeschützte, asynchron synchronisierte Replikate mit automatischem Master-Failover im Notfall
• Rollback-Fähigkeit innerhalb von Minuten über versionierte Docker-Images auf ECS und Git-gestützte CI/CD-Pipelines
• Erstellung von CI/CD-Pipelines mit GitHub Actions für automatisierte Multi-Stage-Deployments (Dev, Testing, Prod)
• Integration von Stripe zur Abwicklung des internationalen Zahlungsverkehrs
• Aufbau eines Marktplatz-Payment-Systems mit mehreren Parteien und Auszahlungsroutinen
• Einsatz von Algolia für hochperformante Echtzeitsuche nach digitalen Assets auf der Plattform
• Föderation von Services mit GraphQL und Hasura
• Spätere Migration auf GraphQL Mesh
• Test Driven Development (TDD) - Unit-, Integrations- & E2E-Testing mit Jest, Vitest und Playwright
• Einsatz von Next.js / React für moderne Frontend-Anwendungen im nx Monorepo
• Enterprise-Security-Architektur & Access Control
• Integration von JWT-Token mit Auth0, OAuth, OIDC, IP Guards, BOLA Protection und Secret Vaults
• Autorisierungskonzepte über RBAC, ABAC sowie native Postgres Row-Level-Security (RLS)
• Erstellung von internen Microfrontends mit Retool für schnelles Prototyping und operative Fachbereichsprozesse

Technologien: ABAC, AWS CDK, AWS CloudWatch, AWS ECS, AWS EKS, AWS Fargate, AWS RDS, AWS S3, Algolia, Auth0, DataDog, Docker, GitHub Actions, Grafana, GraphQL, GraphQL Mesh, Hasura, JWT, Jaeger, Java, JavaScript, Jest, Kotlin, Kubernetes, Monorepo, Next.js, OIDC, Playwright, Postgres, Postgres RLS, Prometheus, RBAC, Redis, Retool, Serverless, Stripe, Terraform, TypeScript, Vitest

• Vollständig On-Premises betriebene LLM-Plattform zur Dokumentenprüfung für einen Compliance-kritischen Bankbereich: agentenbasierte LangGraph-Pipeline mit deterministischer Verifizierung, jedes KI-Urteil strukturiert und an die Quelle gebunden; ~960 automatisierte Tests, kein Datenabfluss
• GPU-Durchsatzoptimierung (quantized serving, speculative decoding, prefix caching): 9.5-fache Beschleunigung der Extraktion, 500+ Fallakten mit mehreren Dokumenten pro Tag auf einer einzelnen A100
• KI-native EDI/EDIFACT-Integrationsplattform (~116k LOC Java 25 / Spring Boot 4, 1,900+ Tests): Von LLM erstellte Partnermappings werden vor dem Go-live maschinell verifiziert (DFDL-Konformität, Feldabdeckungsprüfungen, Testläufe), ~99.5% Byte-Übereinstimmung bei echten Kundendateien – ersetzt wochenlange manuelle Zuordnung pro Partner

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Task Engineering: Bewertung von Coding Agents.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien auf Deutsch. Entscheidend ist dabei, dass diese Assets in der Zielsprache bleiben, um den Umgang mit mehreren Sprachen wirklich zu messen.
• Prompting & Translation: Finden von Fehlerstellen, an denen die KI nicht funktioniert, auf Deutsch.
• Implementierung & Verifikation: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben sehr zuverlässiger, deterministischer Verifizierungs-Skripte (mit rubric-basierten Bewertungen nur dann, wenn es unbedingt nötig ist).
• Kalibrierung & Ausführung: Auswertung von Ausführungslogs und Kalibrierung des Aufgabenschwierigkeitsgrads (Easy bis Very Hard) mit Standard-Terminal-Bench-Run-Konfigurationen gegen verschiedene Modellstufen (Haiku, Opus).
• Qualitätssicherung: Mitarbeit in einem strengen, 4-stufigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Prüfung, Kalibrierungsprüfung und Audit) zusammen mit automatisierten LLM-basierten Checks, um Fairness, grammatikalische Korrektheit und Benchmark-Integrität sicherzustellen.
• Linguistische Prüfung: Überprüfung von KI-Benchmark-Aufgaben in Hindi, Arabisch, Japanisch, Chinesisch, Tschechisch und Türkisch.

CRM- und Umsatzplattform zur Verwaltung von Abrechnungs- und Abonnement-Workflows.

• Skalierte die Zahlungsinfrastruktur über Datenprodukte, den Ausbau von Lastschriftzahlungen und die automatisierte Missbrauchsprävention. Dadurch wurden $416K jährliche operative Einsparungen ($8K/Woche) erzielt, indem redundante Gateway-Aufrufe eliminiert wurden.
• Verantwortete Backlog und Sprint-Umsetzung für autonome Pipelines zur Erkennung von Checkout-Missbrauch und entwickelte Echtzeit-Risikoleitplanken sowie Geschwindigkeitsheuristiken, die Card-Testing-Angriffe blockierten.
• Entwickelte User Stories und Datenabgleichsmechanismen für einen Enterprise-Abrechnungsmigrator. Dadurch wurden unterbrechungsfreie Übergänge von Abonnementstatus erreicht und $60K Infrastrukturkosten eingespart.
• Erweiterte die europäischen Lastschriftfunktionen (SEPA), steuerte squadübergreifende API-Abhängigkeiten und automatisierte die Fehlerbehandlung von Webhooks, um Reibungsverluste im Checkout zu vermeiden.

• Eine neue Benachrichtigungsplattform von Grund auf entwickelt und implementiert, um bestehende und zukünftige Services zu ersetzen
• Zusammenarbeit mit anderen Teams zur Integration weiterer Fachbereiche

Tech-Stack:

• Daten: Scala 3, Apache Kafka, Python, Airflow, Astronomer
• BE-FE: TypeScript, NestJS, Java, Spring Boot, Vue
• DevOps: AWS, PostgreSQL, Docker, GitHub Actions, Kubernetes, Helm, ArgoCD

Scope: Eingebettet als FP&A Data & AI Architect innerhalb der Finance-Funktion eines großen europäischen Kühlanlagenherstellers. Ich habe die Transformation von manuellem, fragmentiertem Finanzreporting hin zu einer automatisierten, governance-getriebenen Intelligence-Plattform geleitet. Der Schwerpunkt lag auf dem Wechsel von Excel-basiertem Controlling zu strukturierter Datenarchitektur, Power-BI-Analytics und AI-gestützter Finance-Operation.

Financial Data Integrity & ERP Governance

• GL- vs. Subledger-Abstimmungen angestoßen und geführt sowie strukturelle Abweichungen zwischen Hauptbuch- und Nebenbuchdaten identifiziert und behoben, die vor meinem Start unentdeckt geblieben waren
• Anlagenanalysen durchgeführt, um Posten ohne Buchung im Hauptbuch zu identifizieren und Lücken im Anlagevermögen sowie in der Periodenabgrenzung aufzudecken
• SAP-Reports validiert und damit Baseline-Standards für die Datenqualität der Finance-Nutzung etabliert
• Einen systematischen SAP-Datenvalidierungsrahmen aufgebaut, der die laufende Integrität zwischen ERP-Buchungen und nachgelagerten Reporting-Ergebnissen sicherstellt

Finance Reporting Transformation

• Einen strukturierten Transformationsansatz für die Umstellung manueller Finance-Reports in vollautomatisierte Prozesse entworfen und umgesetzt
• Das Data Reporting Audit Log erstellt und verantwortet; ein zentrales Tracking-System, das Report-Owner, Stakeholder, Datenquellen, manuellen Aufwand und Automatisierungspotenziale über die gesamte Finance-Funktion erfasst
• Die gesamte Reporting-Landschaft kartiert, um Quick-Win-Automatisierungen und strategische Power-BI-Migrationskandidaten zu identifizieren
• Den manuellen Excel- und PowerPoint-Einsatz in FP&A-Workflows aktiv reduziert; Punkt-zu-Zeitpunkt-Snapshots durch Live-Datenmodelle mit Governance ersetzt

Power BI & Analytics Enablement

• Power BI als strategische Reporting-Plattform gegenüber der Finance-Leitung eingeführt und präsentiert und damit intern Zustimmung für die BI-Transformationsroadmap aufgebaut
• Eine erste Power-BI-Architektur entworfen, abgestimmt auf SAP-, Salesforce- und Oracle-Datenstrukturen sowie auf FP&A-Reporting-Anforderungen
• Report-Ownership, Governance-Dokumentation und Standards für Data Lineage etabliert, um nachhaltige Self-Service-Analytics im Finance-Team zu ermöglichen

Transformation Infrastructure & Collaboration

• Jira als zentrales Projektmanagement-Hub für die Transformation konfiguriert und eingeführt, inklusive strukturierter Sprint-Workflows, Backlog-Management und transparenter Fortschrittssteuerung für Finance-IT-Initiativen
• Einen dedizierten FP&A Communication & Transformation Hub vorgeschlagen und angestoßen, ein strukturierter, bereichsübergreifender Austausch zur Ausrichtung von Finance, IT und Fachbereichen auf die Reporting-Transformationsroadmap
• Die Finance-Funktion als aktiven Treiber für Data Governance und digitale Transformation im Gesamtunternehmen positioniert

Outcomes

• GL-/Subledger-Abweichungen identifiziert und ein Untersuchungsrahmen innerhalb der ersten zwei Wochen des Einsatzes aufgebaut
• Data Reporting Audit Log ausgerollt; das erste strukturierte Inventar der Finance-Reporting-Landschaft in der Unternehmensgeschichte
• Power-BI-Transformationsroadmap vorgestellt und von der Finance-Leitung freigegeben
• Jira-basierte Projektgovernance live; Finance-Transformation wird nun mit voller Sprint-Transparenz verfolgt

Technologies: SAP FI/CO · Power BI · DAX · SQL · Excel (advanced) · Power Query (M) · Power Automate · VBA · Jira · Microsoft 365 · SharePoint · Salesforce (Sales Data) · Oracle HCM · Python

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

FP&A-Tech-Transformation für ein Unternehmen mit neunstelligen Umsätzen geleitet – von der Behebung alter technischer Schulden bis zur Einführung einer AI-native EPM-Lösung

• Steuerung der FP&A-Transformation von A bis Z, vom Architektur-Redesign über die Auswahl des EPM-Tools bis zum Rollout
• Bewertung von über 12 EPM-Plattformen durchgeführt, von Verhandlungen mit Anbietern bis zu einem Auswahlrahmen, der auf die langfristige Planung ausgerichtet war
• Einschränkungen in der Architektur der Finanzplanung analysiert, die Ergebnisse dem CFO vorgestellt und das Mandat der Führungsebene zur grundlegenden Neugestaltung der FP&A-Infrastruktur gesichert

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• MVP-fokussierte Full-Stack-Architektur für einen Kunden im Gesundheitswesen bereitgestellt: Vite/React-Frontend, Backend-Services auf Google Cloud Run und Supabase für Datenbank sowie IAM/Authentifizierung.
• Produktanforderungsanalyse unterstützt und eine kostenoptimierte Workload-Platzierung priorisiert, indem Browser-/Edge-Berechnungen umgesetzt wurden, wo möglich, bevor Logik in die Backend-Services verschoben wurde.