Azure Data Factory Experten

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

Modernisierung der Enterprise-Analytics – In Deutschland ansässige Enterprise-Reporting-Plattform für Betriebs- und Managementanalysen, die von 1,000+ internen Nutzern aus mehreren Abteilungen genutzt wird.

• Leitung von Power-BI- und Microsoft-Fabric-Reporting-Initiativen von Anfang bis Ende; Bereitstellung skalierbarer Dashboards und semantischer Modelle zur Unterstützung täglicher operativer und strategischer Entscheidungen, wodurch die Geschwindigkeit von Entscheidungen um 30% und die Effizienz der Berichterstattung um 25% verbessert wurden.
• Entwicklung einheitlicher Unternehmensdatensätze mit Microsoft Fabric Lakehouse und OneLake, Automatisierung der Verarbeitung historischer Daten und Reduzierung des manuellen Reporting-Aufwands um 40%.
• Aufbau und Pflege automatisierter Datenaufnahmepipelines mit Fabric Dataflows Gen2 und Data Pipelines, Verbesserung der Zuverlässigkeit der Datenaktualisierung auf 99.8% Verfügbarkeit und Sicherstellung einer gleichbleibenden Datenqualität.
• Umsetzung einer unternehmensweiten Reporting-Governance einschließlich Row-Level Security (RLS), Workspace-Strategie, Deployment-Pipelines und Dokumentation; dadurch Steigerung der Dashboard-Nutzung um 35%.

Verwendete Technologien: Power BI, Microsoft Fabric, DAX, Power Query, SQL, Azure Data Fundamentals, Semantic Modeling, RLS, Agile

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Entwickelte und pflegte analytische Reporting-Lösungen für Kunden, um Umsatztrends, Leistungsfaktoren, Risiken und Optimierungspotenziale zu identifizieren und datengetriebene Entscheidungen in Sales, Finance, Product, Data Engineering und Controlling zu unterstützen.
• Definierte und analysierte Kundentrends und Leistungskennzahlen, um Ursachen für Abweichungen, Anomalien und neue Risiken in verschiedenen Geschäftsbereichen zu identifizieren und umsetzbare Empfehlungen abzuleiten.
• Entwickelte und verantwortete analytische Datenmodelle und Reporting-Layer, um Skalierbarkeit, Performance und analytische Robustheit für Executive- und Operational-Reporting in verschiedenen Geschäftsbereichen sicherzustellen.
• Plante, verfolgte und setzte Projekte um und stellte dabei durch strenge Validierungs- und Abgleichsprozesse die Einhaltung von Zeitplänen, Datenqualität, Konsistenz, Lieferergebnissen, Zuverlässigkeit und Datenqualitätsstandards sicher.
• Erhöhte die analytische Reife durch die Formalisierung analytischer Workflows, die Dokumentation von Datenprozessen und Standard Operating Procedures (SOPs) sowie durch Schulungen zur Förderung von Self-Service-Analytics und zur Verankerung einer datengetriebenen Kultur in operativen und fachlichen Teams.
• Übernahm die Verantwortung für die End-to-End-Roadmap von der Anforderungserhebung und Datensammlung über Transformation und die Entwicklung robuster Business-Logiken bis hin zum Data Storytelling und zur Übergabe an Stakeholder.
• Übersetzte Komplexität in strukturierte Klarheit, indem Anforderungen und Geschäftsprozesse in analytische Empfehlungen überführt wurden, um die Abstimmung zwischen nicht-technischen und technischen Stakeholdern sicherzustellen.
• Führte fortgeschrittene SQL-basierte Analysen komplexer Geschäftsdaten durch, um Trends, Zusammenhänge und Möglichkeiten zur Leistungsverbesserung aufzudecken.
• Trieb Prozessautomatisierung und Effizienzsteigerungen voran, indem Python, SQL-Optimierung und KI-gestützte Tools genutzt wurden, um Verarbeitungszeiten zu reduzieren und die Zuverlässigkeit analytischer und operativer Workflows zu erhöhen.
• Standardisierte KPI-Definitionen und Reporting-Logiken, um Konsistenz und Vertrauen in Reporting-Lösungen sicherzustellen.
• Entwickelte Dashboards und Analysen zur Prozessüberwachung, um Ineffizienzen, Engpässe und Compliance-Abweichungen in End-to-End-Geschäftsprozessen zu identifizieren und umsetzbare Empfehlungen für Prozessverbesserung und Automatisierung abzuleiten.

• Entwicklung von KPI-Dashboards mit Power BI und DAX für 4+ Geschäftsbereiche, wodurch die Transparenz im Reporting und die strategische Entscheidungsunterstützung verbessert wurden.
• Migration von unternehmensweiten Finanzdatenansichten in dbt-Modelle mit modularen SQL-Transformationen, versionierten Datenpipelines und automatisierter Dokumentation zum Aufbau einer skalierbaren Analytics-Schicht.
• Aufbau dimensionaler Datenmodelle in Snowflake für unternehmensweite Finanzdaten zur Unterstützung skalierbarer Prognosen und von Managemententscheidungen.
• Entwicklung von End-to-End-ETL/ELT-Pipelines mit Snowflake und SAP HANA unter Integration von Daten aus 3+ Unternehmenssystemen.
• Automatisierung monatlicher Reporting-Workflows mit SQL und Power BI, wodurch der manuelle Aufwand um 80% reduziert und ein deutlicher Geschäftsnutzen erzielt wurde.
• Zusammenarbeit mit Stakeholdern aus dem Finanzbereich zur Überführung von Geschäftsanforderungen in analytische Datenmodelle, die strategische Entscheidungsprozesse unterstützen.
• Erstellung von Ad-hoc-Finanzberichten mit Power BI, wodurch die Bearbeitungszeit um 60% reduziert wurde.
• Implementierung von Datenvalidierungslogik in SQL und Behebung von 95% der wiederkehrenden Datenqualitätsprobleme.

• Leitete Design, Entwicklung und Bereitstellung von Datenlösungen zur Unterstützung einer großen Pharma-Übernahme für die Takeda Pharmaceutical Company und lieferte Transparenz-Reporting-Systeme auf den Plattformen Azure, Databricks (Python und Shell-Skripting).
• Verantwortete, entwarf und entwickelte skalierbare ELT-Pipelines, um Kunden- und Produktdaten mit Azure, komplexem SQL, Databricks und Shell-Skripting zu verarbeiten und so eine effiziente Datenintegration und -verarbeitung aus mehreren Quellen zu ermöglichen, einschließlich Job-Orchestrierung und Workflow-Automatisierung.
• Implementierte Performance-Optimierungstechniken (Query-Tuning, Parallelität, Workload-Optimierung) und verbesserte die Systemeffizienz sowie die Verarbeitungszeit.
• Setzte starke Analyse- und Problemlösungsfähigkeiten ein, um technische Lösungen zu bewerten und Geschäftsanforderungen für Compliance- und Transparenz-Reporting zu unterstützen.
• Entwarf skalierbare Datenfundamente für Downstream-Analysen und AI-Workloads.
• Leitete Data-Quality-Initiativen, indem mehrere Quelldaten geprüft, Qualitätsmetriken definiert und Prozesse für Monitoring und kontinuierliche Verbesserung etabliert wurden.

Als freiberufliche IT-Lehrkraft und IT-Coach habe ich mich darauf spezialisiert, Menschen Themen wie Cloud Computing, Business Intelligence, Python-Programmierung und agile Frameworks zu vermitteln. Mein Ziel ist es, komplexe technische Inhalte in praktisches, umsetzbares Wissen zu übersetzen. Durch meine umfangreiche Erfahrung als IT-Berater in verschiedenen Branchen und Rollen weiß ich, wie wichtig IT-Schulungen sind - sowohl für Unternehmen als auch für Mitarbeitende.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlags- und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für Echtzeit-Plattformüberwachung
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch wiederverwendbares Automatisierungsmodul für 7 Kunden-Domains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offenliegende Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• 3-Team-Integration in 1 Sprint geliefert

KI-Assistenz und Zielbild für teilautonome Energieportfolio-Steuerung

Aufbau einer KI-Steuerungsschicht direkt auf dem tagesaktuellen Live-Portfolio eines großen Energieversorgers — nicht als isolierter Pilot, sondern als operative Erweiterung der bestehenden DB1- und Portfolio-Steuerung. Ziel ist die schrittweise Entwicklung von Assistenz über Monitoring/Alerting bis zu Analyse-Agenten mit Human-in-the-Loop-Freigaben, ergänzt um ein rollenspezifisches System of Engagement neben dem BI-System of Record. Parallel werden Business Case, Zielbild und Management-Pitch gegenüber statischem Monatsreporting erarbeitet.

• KI-Steuerungsschicht: Konzeption und Aufbau auf dem bestehenden Live-Portfolio-Datenprodukt (mehrere Mio. Verträge) — Ausbaustufen Assistenz → Monitoring/Alerting → Agenten mit Human-in-the-Loop-Freigaben.
• LLM-gestützte Datenanalyse: Semantische Abfragen, SQL-/Tool-Anbindung und ergänzende RAG-Komponenten auf Portfolio-, Plan-Ist- und Datenqualitätsdaten (Azure OpenAI, Snowflake) mit Drill-downs bis auf Einzelvertragsebene.
• Analyse-Agenten: Mehrstufige Agenten für Abweichungs- und Treiberanalysen zu Churn, Preisanpassungen, Mengen und Beschaffungskosten.
• Sichtenkonzept: Rollenspezifische Oberflächen für Fachbereich, Management und C-Level als System of Engagement neben dem BI-System of Record.
• Business Case & Pitch: Zielbild und Kosten-Nutzen-Argumentation gegenüber statischem Monatsreporting.
• LLM-Setup (Datenschutz & Security): Abstimmung mit IT-Security und Datenschutz — EU-Region, Datentrennung, Freigabeprozesse.
• Agenten-Architektur: Mehrstufige Agenten-Pipelines (Analyse → Validierung → Zusammenfassung) mit dokumentierten Datenquellen, Tool-Aufrufen, Prüfschritten und Quellenbezug je Aussage.
• Datenfundament: Aufsatz auf dem tagesaktuellen DB1-Datenprodukt (Snowflake, dbt) — Portfolio-, Plan-Ist- und Datenqualitätskennzahlen als gemeinsame Basis aller KI-Analysen.
• Guardrails & Evaluation: Evaluations- und Freigabeprozesse für LLM-Antworten bei steuerungsrelevanten Aussagen — Testsets, Metriken, Human-Review.
• Prototyping & Validierung: Iterative Validierung der Agenten-Antworten mit dem Fachbereich — Testfragen-Katalog, Feedback-Schleifen, Antwortqualität je Release.
• Roadmap & Ausbaustufen: Detaillierung der Stufen Assistenz → Monitoring/Alerting → teilautonome Steuerung inkl. Übergangskriterien und Governance je Stufe.
• Integration: Einbettung in die bestehende BI- und Datenlandschaft — BI bleibt System of Record, die KI-Schicht liefert interaktive Drill-down-Pfade als System of Engagement.
• Enablement: Befähigung der Anwender im Fachbereich — Prompting-Leitfäden, Schulungen und Betriebsmodell für den laufenden Einsatz.
• Steuerung: Koordination Fachbereich, Data Engineering, IT-Security & Datenschutz.
• Change Management: Kommunikation und Erwartungsmanagement gegenüber Fachbereich und Management entlang der Ausbaustufen.

Ergebnisse:

• Auf bestehendes tagesaktuelles Datenprodukt mit mehreren Millionen Verträgen aufgesetzt
• Mit Datenschutz und IT-Security abgestimmtes LLM-Setup in EU-Region mit Datentrennung und Freigaben etabliert
• Drei Ausbaustufen bis zur teilautonomen Steuerung definiert
• Rollenspezifische Sichten für Fachbereich, Management und C-Level konzipiert
• Business Case und Management-Pitch für die Ausbaustufen erarbeitet
• Iterativer Validierungsprozess für Antwortqualität mit dem Fachbereich etabliert
• Betriebsmodell für den Assistenzbetrieb konzipiert und in Validierung

Stack: Azure OpenAI, Azure AI Foundry, Snowflake, dbt, React, TypeScript, Entra ID, RAG, Agentic AI, Analyse-Agenten, Human-in-the-Loop, Prompt Engineering, LLM Evaluation, LLMOps, DSGVO / EU-Region, Azure DevOps, Python, SQL, Change Management