Data Pipeline Experten in Deutschland

• Konzeption und Entwicklung einer produktionsreifen Data Platform auf Basis von Microsoft Fabric für ein E Commerce Unternehmen
• Aufbau einer skalierbaren Medallion Architektur (Bronze, Silver, Gold) mit Lakehouse und Delta Lake als Grundlage für Analytics und AI Anwendungen
• Entwicklung einer metadata driven ETL Plattform mit PySpark sowie eines generischen Incremental Loading Frameworks (SQL Server → Bronze → Silver → Gold)
• Entwicklung wiederverwendbarer Komponenten für Microsoft Fabric Notebooks zur Standardisierung von Datenintegration, Transformation und Validierung
• Implementierung automatisierter Data Pipelines inklusive Monitoring, Logging, Fehlerbehandlung und Delta MERGE Strategien für einen stabilen produktiven Betrieb
• Aufbau einer Business Layer Architektur für Reporting, Data Warehouse und wiederverwendbare Datenprodukte
• Integration heterogener Datenquellen über SQL Server, REST APIs, Amazon SP API und Google Analytics 4
• Enge Zusammenarbeit mit Fachbereichen zur Analyse fachlicher Anforderungen und Übersetzung in skalierbare Datenarchitekturen

Technologien: Microsoft Fabric, PySpark, Python, SQL Server, Delta Lake, Lakehouse, OneLake, Data Factory, Data Warehouse, REST APIs, Amazon SP-API, Google Analytics 4

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

• Entwicklung eines unternehmensweiten, auf Fabric basierenden Governance-Frameworks für Datenprodukte, Erstellung von Datenverträgen und KPIs zur Schemavalidierung, um Vollständigkeit, Aktualität und SLA-Standards für Reporting-Datenprodukte sicherzustellen.
• Einführung von Pipeline-Observability durch die Integration von Daten aus der Dagster-Orchestrierung in automatisierte Data-Health-Reports sowie proaktive Validierung von Datenintegrität und Pipeline-Zuverlässigkeit, bevor sich die Reporting-Schichten in der Produktion aktualisieren.
• Etablierung von BI-as-Code und einer durchgängigen Governance mit Git-basierter Versionskontrolle, CI/CD und Alpha→GA-Release-Management, wodurch Lineage, die Erkennung von Schemaänderungen und die Nachverfolgbarkeit von Änderungen in der Produktion verbessert wurden.

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

Stabilisierung einer Azure-/.NET-Landschaft im laufenden Betrieb.

• Architektur, DevOps und Betriebsfähigkeit; technische Entscheidungen unter Zeitdruck
• Azure DevOps, Monitoring, ETL/ELT, Cloud Security, FinOps und Data-Mesh-nahe Themen

Technologien: Azure DevOps, .NET, CI/CD, Monitoring, FinOps

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• LLM-basierte Funktionen zur automatisierten CO₂e-Datenextraktion aus unstrukturierten Dokumenten (70% Reduktion)

• Agentische AI-Pipeline für die automatisierte Berechnung von Scope 3-Emissionen mit 150.000+ validierten Datensätzen

• Intelligente API-Workflows für Echtzeit-Carbon-Footprint-Berechnungen in ERP- und ESG-Systemen

• ML-Algorithmen zur Vorhersage von Emissionshotspots und zur Optimierung des Produktdesigns

• Automatisierte Datenvalidierungs-Pipelines mit NLP zur Qualitätssicherung von CO₂e-Datensätzen

• Leitung eines 15-köpfigen cross-funktionalen Teams zur Entwicklung von 10+ AI-Funktionen

• Strategische Produktplanung und AI-Roadmap mit 35% kürzerer Time-to-Market

• Stakeholder-Management mit DAX-Unternehmen (40% höhere Zufriedenheit, 95% Retention)

• Termingerechte Projektumsetzung mit 95% Budget-Einhaltung durch datengetriebenes Backlog-Management

• Agile Methoden (Scrum, Kanban) mit kontinuierlicher AI/ML-Integration (25% Team-Velocity-Steigerung)

• Product-Market-Fit für AI-Funktionen durch A/B-Testing und Analytics (60% höhere Adoptionsrate)

• Marketingstrategie: End-to-end-Analyse und Bewertung von kanalübergreifenden Marketingkampagnen über die gesamte Customer Journey hinweg. Mein Fokus liegt darauf, Optimierungspotenziale zu erkennen und klare, umsetzbare Empfehlungen abzuleiten, die messbare Geschäftsergebnisse erzielen.
• Data Science & KI: Fortgeschrittene prädiktive Modelle (Churn, LTV), Market-Basket-Analysen, Clustering und KI-gestützte Audience Discovery in Echtzeit mit RAG/LLMs.
• Marketing Analytics & Measurement: End-to-end-Attributionsanalyse, Marketing Mix Modeling (MMM), Audience Segmentation, Conversion-Path-Analyse und A/B-Tests über alle wichtigen Plattformen hinweg.
• Data Engineering & Reporting: Aufbau und Betreuung robuster, plattformübergreifender Datenpipelines (BigQuery, GCP) für die Datenkonsolidierung, automatisierte Dashboard-Erstellung und wichtige API-Integrationen.

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

Leitung der technischen Transformation von FP&A für ein Unternehmen mit 9-stelligem Umsatz – von der Behebung technischer Altlasten bis zur Einführung eines AI-nativen EPM-Systems

• Steuerung der ganzheitlichen FP&A-Transformation, von der Neugestaltung der Architektur über die Auswahl des EPM-Tools bis zum Rollout
• Durchführung der Bewertung von mehr als 12 EPM-Plattformen, von der Verhandlung mit Anbietern bis zur Entwicklung eines Auswahlrahmens für die langfristige Planung
• Analyse von Einschränkungen in der Finanzplanungsarchitektur, Präsentation der Ergebnisse beim CFO und Einholung des Mandats der Geschäftsleitung zur grundlegenden Neugestaltung der FP&A-Infrastruktur

Entwicklung und Weiterentwicklung einer internen Plattform zur Verwaltung und Bereitstellung technischer Ressourcen, virtueller Maschinen und infrastruktureller Services. Die Plattform unterstützt Self-Service-Prozesse und bildet Funktionen ab, die konzeptionell mit Cloud-Management-Lösungen wie Azure oder AWS vergleichbar sind.

• Verantwortliche Mitarbeit an der Konzeption, Entwicklung und Umsetzung neuer Backend- und Frontend-Funktionalitäten
• Hands-on Entwicklung mit Java, Spring Boot, Python und Angular
• Umsetzung von REST-Schnittstellen, Business-Logik, Validierungen und Integrationen in bestehende Systemlandschaften
• Weiterentwicklung moderner Weboberflächen mit Angular, inkl. Anbindung an Backend-Services
• Mitarbeit an Architektur- und Designentscheidungen im Team, insbesondere im Hinblick auf Skalierbarkeit, Wartbarkeit und saubere Schnittstellen
• Containerisierung und Deployment von Anwendungen mit Docker, Kubernetes und Helm
• Unterstützung bei CI/CD-Prozessen sowie beim Deployment in Kubernetes-basierte Umgebungen
• Arbeit im Umfeld von vSphere, Broadcom, GitLab CI/CD, ArgoCD, Maven, npm und NuGet
• Enge Zusammenarbeit mit Entwicklern, Fachbereich, DevOps und weiteren technischen Stakeholdern
• Analyse technischer Anforderungen, Ableitung geeigneter Lösungen und eigenständige Umsetzung im agilen Team
• Einsatz von GitHub Copilot zur Unterstützung bei Codegenerierung, Refactoring, Testfall-Erstellung und technischer Dokumentation

Methoden/ Werkzeuge/ Technologien: Sprachen & Frameworks: Java (21), Spring Boot (4.x), Python, AngularRobot Framework, Kubernetes, Helm Persistenz: PostgreSQL, MongoDB, Hibernate, Liquibase, Architektur & Kommunikation: REST, gRPC, GraphQL, Apache-Kafka, OpenAPI, Microservices, Event Driven, Domain Driven Design Cloud & Infrastruktur: Terraform, Docker, Rancher, Helm, Ansible Security: OAuth2, MS (Entra-ID), Websecurity, Keycloak (Extensions für detaillierte Gruppenrechte) DevOps: GitLab CI/CD, Ansible, Maven, Gradle, Grafana, Prometheus, Git, GitHub Copilot Testing & QM: JUnit, Robot Framework, automatisierte Komponenten- & Integrationstests, E2E Tests mit Playwright, Testcontainers, Easymock Methodik & Vorgehen: Kanban, JIRA, Confluence, Clean Code

• Leitung der unternehmensweiten BI-Transformation mit Power BI und Microsoft Fabric durch die Bereitstellung skalierbarer Datenmodelle, automatisierter Berichte und leistungsstarker Analyselösungen für die kommerzielle und operative Führungsebene.
• Aufbau und Optimierung von Power BI Dataflows, Fabric-Lakehouse-Datensätzen, semantischen Modellen und automatisierten Reporting-Pipelines zur Verbesserung von Datenskalierbarkeit, Governance und Berichtsleistung.
• Vorantreiben der Modernisierung von Dashboards und der KPI-Governance durch die Übersetzung komplexer Geschäftsanforderungen in Erkenntnisse auf Führungsebene, interaktive Visualisierungen und entscheidungsreife Analysen.
• Entwurf von Microsoft-Fabric-Architekturen von Anfang bis Ende, einschließlich Datenaufnahme, Transformation, Virtualisierung und Unternehmensreporting über funktionsübergreifende Geschäftsbereiche hinweg, mit Migration von SAP BW über Qlik zu Power BI.
• Bereitstellung KI-gestützter Reporting-Funktionen, schwellenwertbasierter Warnmeldungen und Automatisierungs-Frameworks im Power-BI-Ökosystem zur Beschleunigung von Geschäftsentscheidungen.
• Zusammenarbeit mit der kommerziellen Führungsebene, Analytics-Teams und IT-Stakeholdern zur Standardisierung von KPIs, Optimierung der BI-Strategie und Bereitstellung skalierbarer, geschäftskritischer Reporting-Lösungen.
• Anerkannt für die Verbindung von starker Stakeholder-Führung, technischer Architekturkompetenz und geschäftsorientierten Analysen zur Umsetzung wirkungsvoller unternehmensweiter BI-Transformationsinitiativen.

• Entwicklung von Datenpipelines und Visualisierungstools zur Unterstützung nachhaltiger Energieentscheidungen
• Entwicklung von Erkenntnissen zur Optimierung des Einsatzes erneuerbarer Energien und der Strategien zur Netzintegration

• Task Engineering: Bewertung von Coding Agents.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien auf Deutsch. Entscheidend ist dabei, dass diese Assets in der Zielsprache bleiben, um den Umgang mit mehreren Sprachen wirklich zu messen.
• Prompting & Translation: Finden von Fehlerstellen, an denen die KI nicht funktioniert, auf Deutsch.
• Implementierung & Verifikation: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben sehr zuverlässiger, deterministischer Verifizierungs-Skripte (mit rubric-basierten Bewertungen nur dann, wenn es unbedingt nötig ist).
• Kalibrierung & Ausführung: Auswertung von Ausführungslogs und Kalibrierung des Aufgabenschwierigkeitsgrads (Easy bis Very Hard) mit Standard-Terminal-Bench-Run-Konfigurationen gegen verschiedene Modellstufen (Haiku, Opus).
• Qualitätssicherung: Mitarbeit in einem strengen, 4-stufigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Prüfung, Kalibrierungsprüfung und Audit) zusammen mit automatisierten LLM-basierten Checks, um Fairness, grammatikalische Korrektheit und Benchmark-Integrität sicherzustellen.
• Linguistische Prüfung: Überprüfung von KI-Benchmark-Aufgaben in Hindi, Arabisch, Japanisch, Chinesisch, Tschechisch und Türkisch.