Azure Data Factory Experten

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Arbeitete als freiberuflicher Senior DevOps Consultant vor Ort für IBM bei einer Agentur der Europäischen Union in einer hochsicheren, air-gapped Umgebung mit klassifizierten Systemen.
• Leitete Automatisierungs- und DevOps-Initiativen für eine große OpenShift-Plattform (>400 Nodes) und trieb die Deployment-Effizienz, GitOps-Einführung und operative Automatisierung mit Ansible, Python und Bash voran, während die Sicherheitsanforderungen eingehalten wurden.
• Übernahm die Automatisierung von Release- und Deployment-Workflows in einer Private-Cloud-Umgebung mit 400+ OpenShift-Nodes und verbesserte dadurch die Deployment-Geschwindigkeit und Zuverlässigkeit deutlich.
• Migrierte bestehende Playbooks, Rollen und Templates von Ansible Tower zu Ansible Automation Platform (AAP), stellte die vollständige Einhaltung von Fully Qualified Collection Names (FQCN) sicher und bereitete eigene Execution Environments (EE) für containerisierte Automatisierung vor.
• Implementierte den GitOps-Agent für AAP Controller Configuration as Code und ermöglichte damit die automatische Synchronisierung (CRUD) von Ansible-Controller-Objekten auf Basis von im Repository gespeicherten Konfigurationsdefinitionen über GitHub-Webhooks.
• Entwarf und automatisierte komplexe mehrstufige Betriebsabläufe, darunter Environment Cleanup, die Neuerstellung von Helix-Clusterkomponenten, Kafka-Topic-Management und das Lifecycle-Management von OpenShift-Objekten über rund 100 Umgebungen hinweg.
• Erreichte durch Automatisierungsverbesserungen über mehrere AAP-Cluster und OpenShift-Umgebungen hinweg eine Reduzierung von mehrtägigen manuellen Tätigkeiten auf weniger als wenige Stunden.
• Integrierte Ansible Automation Platform über ein Lookup-Plugin mit Thycotic (Delinea) Secret Server, um das sichere Credential-Management in automatisierten Prozessen zu verbessern.
• Verwaltete Deployment-Aufgaben, Platform-Troubleshooting und Istio-Netzwerkkonfigurationen unter Einhaltung strenger EU-PSC-Sicherheits- und Compliance-Standards.
• Arbeitete mit Infrastruktur- und Anwendungsteams zusammen, um Deployment-Prozesse zu verfeinern, Namenskonventionen zu entwickeln und die Automatisierungsabdeckung in einer air-gapped, klassifizierten Umgebung kontinuierlich zu verbessern.

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• Leitete die ganzheitliche Umsetzung von ML-/KI-Anwendungen für die QuantistryLab-Simulationsplattform – von der Anforderungsdefinition und Lösungsplanung über Entwicklung, Tests und Bereitstellung bis zur Unterstützung im Produktivbetrieb. Dabei koordinierte ich die Zusammenarbeit der Back-End-, DevOps- und ML-Teams.
• Entwarf und implementierte ein System zur Suche nach Verbindungen mit einem LLM mit offenen Gewichten, dem Agenten-Framework Pydantic AI und dem Model Context Protocol (MCP) und stellte es über FastAPI-Endpunkte bereit.
• Stellte den LLM-Service auf Basis von vLLM auf Kubernetes bereit und konfigurierte ihn.
• Entwickelte CI/CD-Pipelines und Helm-Charts, um Bereitstellungen in Staging- und Produktionsumgebungen zu automatisieren.
• Ergänzte das Suchsystem um OpenTelemetry-Spans und -Traces und integrierte es in die Observability-Plattform Honeycomb, um die Latenz einzelner Komponenten und Funktionsfehler zu überwachen.
• Entwickelte einen benutzerdefinierten Evaluierungsdatensatz und setzte Auswertungen für die Relevanz der Suchergebnisse, die Richtigkeit der Antworten, die Genauigkeit von Tool-Aufrufen und den Erfolg der Aufgaben von Anfang bis Ende um.
• Verkürzte die Vorhersagezeit für Infrarotspektren um 83 % (von 60 auf 10 Minuten), indem ich ein quantenmechanisches Modell durch ein vortrainiertes graph-neuronales Netzwerk ersetzte. Ich trainierte das Modell mit PyTorch weiter, entwickelte und containerisierte die Inferenzpipeline mit Docker und integrierte sie in die Plattform.
• Implementierte eine MLflow-Modellregistrierung mit MinIO-gestützter Artefaktspeicherung.
• Beriet Vertriebs- und Wissenschaftsteams zu ML-/KI-Anwendungen für potenzielle Kundenprojekte und brachte technisches Fachwissen in die Entwicklung vorgeschlagener Lösungen und Prototypen ein.

Technologien: AWS, Hetzner, Kubernetes, Helm, Docker, vLLM, Pydantic AI, MCP, Qwen, Llama 3, MLflow, MinIO, GitHub Actions, Python, FastAPI, OpenTelemetry, Honeycomb, PyTorch, Polars, pytest

Modernisierung der Enterprise-Analytics – In Deutschland ansässige Enterprise-Reporting-Plattform für Betriebs- und Managementanalysen, die von 1,000+ internen Nutzern aus mehreren Abteilungen genutzt wird.

• Leitung von Power-BI- und Microsoft-Fabric-Reporting-Initiativen von Anfang bis Ende; Bereitstellung skalierbarer Dashboards und semantischer Modelle zur Unterstützung täglicher operativer und strategischer Entscheidungen, wodurch die Geschwindigkeit von Entscheidungen um 30% und die Effizienz der Berichterstattung um 25% verbessert wurden.
• Entwicklung einheitlicher Unternehmensdatensätze mit Microsoft Fabric Lakehouse und OneLake, Automatisierung der Verarbeitung historischer Daten und Reduzierung des manuellen Reporting-Aufwands um 40%.
• Aufbau und Pflege automatisierter Datenaufnahmepipelines mit Fabric Dataflows Gen2 und Data Pipelines, Verbesserung der Zuverlässigkeit der Datenaktualisierung auf 99.8% Verfügbarkeit und Sicherstellung einer gleichbleibenden Datenqualität.
• Umsetzung einer unternehmensweiten Reporting-Governance einschließlich Row-Level Security (RLS), Workspace-Strategie, Deployment-Pipelines und Dokumentation; dadurch Steigerung der Dashboard-Nutzung um 35%.

Verwendete Technologien: Power BI, Microsoft Fabric, DAX, Power Query, SQL, Azure Data Fundamentals, Semantic Modeling, RLS, Agile

• Aufbau des Lakehouse: Entwurf und Aufbau der Mitglieder- und Anspruchsberechtigungsdomäne eines Azure-Databricks-Healthcare-Lakehouses. Erfassung von Daten aus SQL Server sowie Datei- und REST/SFTP-Quellen (JSON, CSV, XML, Parquet) über Azure Data Factory in ADLS Gen2.
• Medallion-Pipelines: Transformation von Daten durch die Bronze-, Silber- und Gold-Schichten von Delta Lake mit PySpark und Spark SQL; Einsatz von Delta Live Tables / Lakeflow mit integrierten Erwartungen für deklarative Pipelines mit Qualitätsprüfungen.
• Modernisierung der Plattform: Bereitstellung einer Plattform für den Wechsel von SQL Server in die Cloud: ADF → ADLS Gen2 → Databricks → dbt Core-Modelle → Snowflake → Power BI. Ablösung älterer Berichte durch kontrollierte Analysen.
• Robustes ETL: Aufbau metadatengesteuerter, idempotenter vollständiger und inkrementeller Ladevorgänge sowie Watermark-gesteuerter Ladevorgänge mit Schema-Evolution und Fehlerstatusbehandlung. Verbesserung der Zuverlässigkeit und erneuten Ausführbarkeit.
• Datenmodellierung: Entwurf von Kimball-Sternschemata mit SCD Type 1 & 2-Dimensionen; Optimierung langsamer Abfragen und Pipelines mithilfe von Ausführungsplänen.
• Governance & Sicherheit: Einsatz von Unity Catalog RBAC, Lineage und Audit-Logging sowie Azure Key Vault-Secrets und verwalteten Identitäten zur Erfüllung der HIPAA- und GDPR-Anforderungen.
• Führung & Mentoring: Leitung eines 6-köpfigen Teams (2 Data Engineers, 2 Analysts, BI-Entwickler, QA); Mentoring von Engineers, Festlegung von Lieferstandards und Abstimmung mit internationalen Stakeholdern.
• Bereitstellung & KI-gestützte Arbeit: Durchführung von CI/CD und Aufgabenverfolgung in Azure DevOps; Aufbau von Power-BI-Semantikmodellen mit DAX und RLS; Einsatz von Genie Code, Claude und Copilot zur schnelleren Entwicklung von PySpark/SQL, DAX und Dokumentation.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

• Entwicklung und Pflege analytischer Kundenreporting-Lösungen zur Identifizierung von Umsatztrends, Leistungstreibern, Risiken und Optimierungsmöglichkeiten, um datengestützte Entscheidungen in den Bereichen Vertrieb, Finanzen, Produkt, Data Engineering und Controlling sicherzustellen.
• Definition und Analyse von Kundentrends und Leistungskennzahlen zur Identifizierung von Ursachen für Abweichungen, Anomalien und aufkommende Risiken in verschiedenen Geschäftsbereichen, um umsetzbare Empfehlungen zu liefern.
• Entwicklung und Verantwortung für analytische Datenmodelle und Reporting-Schichten, um Skalierbarkeit, Leistung und analytische Belastbarkeit sicherzustellen und Management- sowie operatives Reporting in verschiedenen Geschäftsbereichen zu unterstützen.
• Planung, Nachverfolgung und Durchführung von Projekten unter Sicherstellung der Einhaltung von Zeitplänen, Datengenauigkeit, Konsistenz, Liefergegenständen, Zuverlässigkeit und Datenqualitätsstandards durch gründliche Validierungs- und Abstimmungsprozesse.
• Steigerung der analytischen Reife durch die Formalisierung analytischer Arbeitsabläufe, Dokumentation von Datenprozessen und Standardarbeitsanweisungen (SOPs) sowie Durchführung von Schulungen, um die Nutzung von Self-Service-Analytics zu fördern und eine datengestützte Kultur in operativen und geschäftlichen Teams zu verankern.
• Verantwortung für die End-to-End-Roadmap von der Anforderungserhebung, Datensammlung und Transformation über die Entwicklung robuster Geschäftslogiken bis hin zu Data Storytelling und der Präsentation vor Stakeholdern.
• Komplexität in strukturierte Klarheit übersetzt, indem Anforderungen und Geschäftsprozesse in analytische Empfehlungen überführt wurden, um die Abstimmung zwischen nichttechnischen und technischen Stakeholdern sicherzustellen.
• Durchführung fortgeschrittener SQL-basierter Analysen komplexer Geschäftsdaten zur Aufdeckung von Trends, Zusammenhängen und Möglichkeiten zur Leistungsverbesserung.
• Vorantreiben von Prozessautomatisierung und Effizienzsteigerungen durch den Einsatz von Python, SQL-Optimierung und KI-gestützten Tools, um die Verarbeitungszeit zu reduzieren und die Zuverlässigkeit in analytischen und operativen Arbeitsabläufen zu erhöhen.
• Standardisierung von KPI-Definitionen und Reporting-Logik, um Konsistenz und Vertrauen in allen Reporting-Lösungen sicherzustellen.
• Entwicklung von Dashboards und Analysen zur Prozessüberwachung, um Ineffizienzen, Engpässe und Compliance-Abweichungen in ganzheitlichen Geschäftsprozessen zu identifizieren und umsetzbare Empfehlungen für Prozessverbesserung und Automatisierung abzuleiten.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Entwicklung von Power-BI-Reports, Measures und KPIs für Vertrieb, Einkauf, Materialwirtschaft, Lager und Produktion
• Analyse der proALPHA-Datenbank (Progress OpenEdge) und performante SQL-Abfragen für Extraktion und Transformation
• Datenmodelle, ETL-Prozesse und Pipelines inkl. automatisierter Aktualisierung über Power BI Service und Data Gateway
• Anforderungsaufnahme und Umsetzung in enger Abstimmung mit den Fachabteilungen

Ausgewählte Projekte:

• Vertriebsreport: Umsatz, Auftragseingang und Auftragsstatus
• Einkaufsreport mit automatisierten Bestellvorschlägen (Power Automate)
• Fehlteileüberwachung für Produktion und Materialwirtschaft
• Produktionsstücklisten auf Microsoft Fabric inkl. Deployment-Pipeline (Dev → Prod)
• Forecast-Vergleichsreport
• Zentrale Power-BI-Apps, die alle Reports je Abteilung bündeln

Technologien: Power BI, DAX, Power Query (M), SQL, proALPHA, Progress OpenEdge, Microsoft Fabric, Power Automate, Python

Als unabhängiger BI-Berater für eine FinTech-SaaS-Plattform tätig, Aufbau und Wartung des gesamten Microsoft-Azure- und Fabric-Analytics-Stacks hinter einem mandantenfähigen Buchhaltungsprodukt, mit dem Geschäftsinhaber ihre eigene finanzielle Entwicklung verfolgen.

• Zusammenarbeit mit Finanz-Stakeholdern, um komplexe Buchhaltungsabläufe in Echtzeit-BI-Dashboards (P&L, Cash Flow, Balance Sheet) zu übersetzen und 2000+ Geschäftsinhabern zu ermöglichen, Cashflow und finanzielle Gesamtsituation einfach zu verfolgen.
• Entwicklung von 10+ interaktiven Dashboards, die jedem Geschäftsinhaber eine personalisierte Echtzeitübersicht über die eigene Vertriebsleistung, die Überfälligkeit von Forderungen und die Betriebskosten bieten.
• Sicherstellung einer strengen Data Governance durch die Implementierung dynamischer Row-Level Security (RLS) mit DAX, um die Daten jedes Geschäftsinhabers innerhalb des gemeinsamen mandantenfähigen Modells zu isolieren.
• Wartung und Erweiterung einer Azure-ELT-Pipeline (Azure Data Factory, Azure SQL Database, Azure Synapse) zur automatisierten Datenaufnahme und -transformation.
• Mitwirkung an der teamweiten Plattformmigration von Azure zu Microsoft Fabric zur Optimierung der Lizenzkosten für die Kapazität.
• Konzeption und Implementierung einer Microsoft-Fabric-ELT-Pipeline (Lakehouse, Pipelines, PySpark) zur automatisierten Datenaufnahme und -transformation als Ersatz für die vorherige Azure-Pipeline.
• Modellierung der bereinigten Daten in einem Star Schema innerhalb des Data Warehouse mit T-SQL als Grundlage für das Power BI Semantic Model.
• Einsatz von KI-Tools, einschließlich Copilot und Claude, als Entwicklungspartner entlang der gesamten ELT-Pipeline, von der Datenaufnahme bis zu KPI-Reporting und Visualisierung.
• Unterstützung agiler Bereitstellungsprozesse mit Jira zur Nachverfolgung von Entwicklungsaufgaben und Confluence zur Pflege technischer und projektbezogener Dokumentation.

• Leitung der Migration des bestehenden DWHs einschließlich HR-Daten, Bewerbungsprozessen, Projektgeschäft und Zeiterfassung von einer MS SQL Server-Umgebung zu Azure Databricks
• Überarbeitung der bestehenden Datenmodelle und ETL-Prozesse sowie Erweiterung um neue Objekte und Funktionalitäten
• Einsatz von Azure Databricks (Unity Catalog, Notebooks, Spark SQL, Databricks Dataflows) und Power BI
• Technologien: MS SQL Server 2019 (SSMS, SSIS), Power BI, Delta Lake, Azure Databricks