Data Lake Experten in Germany

• Aufbau einer Datenintegrationsplattform für Hoch-, Mittel- und Niederspannungs-Assets zur kontextuellen Analyse von Zeitreihen mit Stammdaten aus dem SCADA-Leitsystem (IEC 60870 104), INIS und SAP.
• Verantwortung für Architektur und Implementierung der Lösung sowie Sparringpartner für den Product Owner.
• Einsatz von Kotlin, Spring Boot, Maven, TimescaleDB, PostgreSQL, liquibase, Elements IoT, Docker, Kubernetes, Grafana, Python, Jupyter und verschiedenen API-Gateways.

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Definition und Aufbau der Themenbereiche
• Aufbau eines Governance-Modells für die Abteilung mit den Verantwortungsbereichen
• IT-Strategie, Projektmanagement, Prozessmanagement sowie Qualitäts- und Nachhaltigkeitsmanagement
• Ausarbeiten einer Kommunikationsstrategie in den Konzern
• Erstellen der IT-Strategie
• Design von Templates, Guidelines und Prozessen für einheitliches Arbeiten
• Aufnahme strategischer Leitplanken und Gruppierung laufender Projekte – Ableitung einer Roadmap für die strategische Planung
• Review laufender Projekte
• Erstellen der Kalkulation und des Staffing-Mengengerüsts
• Definition von Stellenprofilen

• Kunde — Podimo ApS (Podcast- & Hörbuch-Streaming): Aufbau der Finance-Reporting-Schicht auf BigQuery + dbt + Airflow, inklusive der zentralen Revenue-Transaction-Fact-Tabellen, die im gesamten Finance-Reporting genutzt werden.
• API-Automatisierung: Entwurf und Aufbau einer BigQuery → Airflow → Microsoft Dynamics 365 Business Central REST-API-Pipeline zur Automatisierung der Verbuchung von Ausgangsrechnungen, mit Idempotenz und Stammdaten-Synchronisierung zwischen den Systemen.
• Delivery: alleiniger Engineer im Projekt — Anforderungen, Modellierung, Orchestrierung und Stakeholder-Kommunikation mit dem Finance-Team des Kunden, end to end.

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Projekt, strategische Beratung – Aufbau der Data Strategy und Data Governance Policy für die Niederlassung Deutschland, Kunde (Privatbank Julius Bär, Hauptsitz Zürich), März 2026 – bis heute

• Konzeption und Verhandlung der Datenstrategie mit den wichtigsten Stakeholdern sowie Einholung des Sign-offs durch den Vorstand (strategische Beratung) – in diesem Rahmen regulatorische Beratung zur Datenregulierung in der EU und speziell für Deutschland. Die Datenstrategie umfasst: Data Lifecycle Management: data capture, data storage, data usage, data retention policy, data quality incident management
• Definition von Meilensteinen und der technischen Machbarkeit zur Implementierung von TOM für die Datenstrategie, Datenqualitätsprüfungen, Metriken und ein Metadateninventar, um die Compliance der Bank mit den Anforderungen von DORA, BCBS239 und MaRisk sicherzustellen.

Projekt Kerndatenänderung, Kunde: (ING Bank, Frankfurt am Main), März – bis Dezember 2025

• Konzeption und Solution Design für neue End-to-End-Prozesse inkl. technischer Schnittstellen
• Definition von Synchronisationslogiken und Datenflüssen zwischen Legacy- und Zielsystemen (Dekommissionierung von Legacy-Systemen)
• Analyse und Validierung von Datenmodellen
• Stakeholder-Kommunikation mit Produktverantwortlichen, Feature Engineers, UX Designern und operativen Einheiten zur Entscheidungsfindung
• Analytics und Impact-Einschätzungen, z. B. zur Bewertung von Folgeeffekten und regulatorischen Anforderungen
• Dokumentation und Kommentierung technischer und fachlicher Anforderungen zur Unterstützung der Umsetzung in agilen Squads

Projekt Digitalisierung einer Usergruppe, Kunde: (ING Bank, Frankfurt am Main), als Interim Product Owner, Jan. 2025 – bis heute

• Mitgestaltung von Grundlagenentscheidungen zur Datenarchitektur und Prozesslogik im Kontext von historisierten Daten und Login-Funktionalität für User
• Entwicklung fachlicher Lösungskonzepte für die Migration zum Zielsystem, inkl. Systemintegration und Datenflüsse
• Unterstützung bei Analytics und Impact-Analysen, insbesondere zur Auskunftsfähigkeit gegenüber Ermittlungsbehörden
• Aktive Abstimmung mit Stakeholdern aus verschiedenen Squads zur Entscheidungsfindung und Sicherstellung regulatorischer Anforderungen
• Erstellung von Testszenarien für operative Teams und Backend-Systeme im Bereich API-Management unter Verwendung von Postman und Bruno.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Leitete die Discovery-Phase und den POC für die Migration von Shopware zu Shopify Plus in EMEA-Märkten und bewertete die Eignung der Plattform, die technische Architektur sowie Multi-Brand-/Multi-Country-Funktionen anhand der Business-Anforderungen.
• Entwarf die Referenzarchitektur für die Shopify-Plus-Implementierung mit Headless-Frontend-Patterns (Vue.js, Nuxt.js), CMS-Integration (Magnolia) und Azure-Middleware (APIM, Functions, Logic Apps, Service Bus) für 11 EMEA-Märkte.
• Definierte die Migrationsstrategie mit Analyse von Data Mapping, Cutover-Ansatz und Zero-Downtime-Deployment-Patterns unter Einsatz von Varnish-Cache, GitOps-Pipelines und CI/CD-Orchestrierung über sechs Vendor-Teams hinweg.
• Entwickelte ein Multi-Tenant-Governance-Modell für Shopify Plus mit zentraler Administration, lokaler Storefront-Anpassung und Compliance-Kontrollen (GDPR, Datenresidenz).
• Prototypte KI-gestützte Suchoptimierung (LLM.txt, JSON-LD) für die Auffindbarkeit von Produkten in Google-AI-Ergebnissen und zeigte damit Potenziale für die Performance nach dem Go-live auf.
• Definierte mit C-Level-Strategie-Workshops die EMEA-Expansions-Roadmap für 15+ Märkte, einschließlich gestaffeltem Rollout, marktspezifischen Konfigurationen und Ressourcenbedarf.
• Tech Stack: React, Nuxt.js, Vue.js, Magnolia CMS, Shopware, Shopify Plus, Azure (APIM, Functions, Logic Apps, Service Bus, Front Door), Varnish, SAP, MS Dynamics, Docker, Kubernetes, GitHub Actions, PostgreSQL, Kafka

• Entwicklung einer Eintrittsstrategie für den Schadenbereich eines Versicherungsdienstleisters.
• Analyse und Optimierung der bestehenden Schadenprozesse.
• Definition von Steuerungskennzahlen und KPIs zur Leistungs- und Effizienzverbesserung.
• Beratung des Managements zur Marktpositionierung und Prozessdigitalisierung.
• Führung eines IT-Teams mit 13 Mitarbeitenden im Rahmen einer Vakanzvertretung.
• Sicherstellung des stabilen IT-Betriebs und Steuerung externer IT-Dienstleister.
• Leitung regulatorischer Projekte, insbesondere zur Umsetzung der DORA-Verordnung.
• Vorbereitung und Begleitung eines IT-Sicherheitsaudits.
• Change Management und Konfliktmoderation in einem herausfordernden Transformationsumfeld (FI-Migration).

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

Ich verantworte die technische Vision und Produktstrategie für ein souveränes KI-Startup mit Fokus auf europäische Dateninfrastruktur und Compliance. Dabei leite ich ein funktionsübergreifendes Team von 7 Personen in den Bereichen Engineering, KI-Entwicklung und Betrieb in einer vollständig remote arbeitenden Umgebung.

• Definition der Produkt- und Technologieroadmap des Unternehmens, inklusive KI-gestützter Lösungen mit integrierten Zahlungsservices
• Entwicklung skalierbarer Plattformarchitekturen mit Fokus auf Datensouveränität, Sicherheit und europäische regulatorische Vorgaben
• Aktive Mitgestaltung der Full-Stack-Entwicklung sowie Etablierung von Engineering-Best-Practices und DevOps-Workflows
• Förderung der Entwicklerproduktivität durch Mentoring, architektonische Beratung und Tool-Entscheidungen
• Mitgestaltung der langfristigen technischen Strategie, um das Unternehmen für nachhaltiges Wachstum zu positionieren

Großes Versicherungsunternehmen – Consultant Wiesbaden: Beratungsunterstützung bei der Einführung eines integrierten Planungs- und Performance-Management-Frameworks (operativ, finanziell, Kunde) zur Verbesserung der kundenzentrierten Transparenz, der Entscheidungsqualität und der Steuerungsfähigkeit über alle Geschäftsbereiche innerhalb eines Versicherungsunternehmens:

• Analyse bestehender Prozesse, Reports, KPIs und Methoden zur KPI-Berechnung
• Konzeption und Einführung neuer, standardisierter Kunden-KPIs (brutto/netto) sowie zentraler Steuerungskennzahlen mit konsistenter Verknüpfung über alle Geschäftsbereiche hinweg
• Neuberechnung, Validierung und Plausibilitätsprüfungen von KPIs auf Basis bestehender und neu integrierter Datenquellen
• Konzeptionelle Unterstützung beim Aufbau eines integrierten Reporting- und Performance-Management-Setups
• Durchführung von Customer-Insights-Analysen zur Identifikation von Mustern und Auffälligkeiten in Kunden-Datenclustern

Großes Handelsunternehmen – Consultant in Karlsruhe: Beratungsleistungen für den Aufbau und die schrittweise Implementierung einer international einsetzbaren RELEX-Lösung im Umfeld des Supply-Chain-Managements:

• Beratung der Gesamt- und Teilprojektleitung bei Methodik, Projektaufsetzung und Steuerung (z. B. agiler Ansatz, Jira-Konfiguration, RELEX-Phasen, Jira Structure PPM)
• Strategisch-operative Beratung bei der Einführung von RELEX einschließlich Best Practices
• Unterstützung bei der Definition übergeordneter Ziele und Anforderungen (2-Jahres-Zielbild)
• Begleitung bei der Eingrenzung eines relevanten Supply-Chain-Netzwerksegments für das Projekt
• Entwicklung einer Roadmap für den iterativen, inkrementellen RELEX-Aufbau und Rollout
• Bewertung von Projektabhängigkeiten (Schnittstellen, Konfigurationen etc.)
• Beratung zur priorisierten Umsetzung von fachlichen Anforderungen und Datenschnittstellen
• Unterstützung bei der Testplanung (Datenvalidierung, Systemtest, UAT)
• Beratung zu Internationalisierung, Change Management, Training und Wissenstransfer
• Stakeholder-Beratung und Abstimmung zwischen Kunde, Implementierungspartner und RELEX

Versicherungsunternehmen – Management Consultant in München: Analyse, Beratung und Unterstützung bei der Optimierung einer groß angelegten Business- und IT-Transformation. Fokus auf strategisch wichtige Programme und Modernisierungsprojekte im Bereich Managed Services Operations und Prozesse:

• Prüfung von Projektplänen und Deliverables; Analyse von Programmen und Projekten (z. B. Cloud-Ansatz, Prozessstandardisierung, Systemintegration, Roadmaps)
• Identifikation technischer, fachlicher und personeller Risiken und Herausforderungen; Entwicklung inhaltlicher Maßnahmen und Alternativen
• Vorschläge zur Qualitätsverbesserung für Programm- und Modernisierungsmaßnahmen
• Sparringspartner sowie fachliche, technische, strukturelle und organisatorische Beratung für Projekt- und Programmmanagement

Großer Handelskonzern – Management Consultant & Stream Lead in Köln: Beratung, Prozess-, Projekt- und Produktmanagement für die Einführung und Umsetzung eines großen strategischen Programms im Bereich Advanced Analytics, Sortiment und Flächenmanagement:

• Aufbau, Test und Rollout eines neuen Flächenplanungs-, Automatisierungs- und Optimierungsprodukts auf Basis des bestehenden clusterbasierten Merchandising-Ansatzes
• Definition und Aufbau neuer Prozesse sowie Transformations- und Change-Management-Maßnahmen für den neuen filialspezifischen Merchandising-Ansatz
• Zusammenarbeit mit Advanced Analytics und IT (intern und extern) bei Softwareeinführungen, Automatisierungen, Erweiterungen und Schnittstellen
• MVP-Ansatz und Pilotierung in Phasen mit schrittweisem Rollout (Pilot mit 80 Filialen, Region mit 500 Filialen, nationale Ebene mit 4000 Filialen)

Großes Handelsunternehmen – Agile Coach & Change Agent in Köln: Agile Coach, OKR Master und Facilitator für die Einführung des OKR-Ansatzes in einem großen strategischen Digitalisierungsprogramm für Einzelhandelsfilialen:

• Coaching des Kernteams mit Themenverantwortlichen und Teamleitern
• Einführung in das OKR-Thema und Aufbau des OKR-Zyklus
• Etablierung des OKR-Ansatzes in den Teams und auf bereichsübergreifender Ebene

Dienstleistungs- und Logistikunternehmen – Management Consultant in Großbritannien: Beratung und Coaching bei der Umstrukturierung der Data-Analytics-Abteilung:

• Analyse der aktuellen Herausforderungen
• Definition übergeordneter Ziele
• Entwicklung eines Vorschlags für eine neue Teamstruktur
• Identifikation benötigter Kompetenzen, Fähigkeiten und Verantwortlichkeiten
• Beratung und Abstimmung zur Kommunikations- und Change-Management-Strategie

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).