Azure Data Factory Experten in München

• Arbeitete als freiberuflicher Senior DevOps Consultant vor Ort für IBM bei einer Agentur der Europäischen Union in einer hochsicheren, air-gapped Umgebung mit klassifizierten Systemen.
• Leitete Automatisierungs- und DevOps-Initiativen für eine große OpenShift-Plattform (>400 Nodes) und trieb die Deployment-Effizienz, GitOps-Einführung und operative Automatisierung mit Ansible, Python und Bash voran, während die Sicherheitsanforderungen eingehalten wurden.
• Übernahm die Automatisierung von Release- und Deployment-Workflows in einer Private-Cloud-Umgebung mit 400+ OpenShift-Nodes und verbesserte dadurch die Deployment-Geschwindigkeit und Zuverlässigkeit deutlich.
• Migrierte bestehende Playbooks, Rollen und Templates von Ansible Tower zu Ansible Automation Platform (AAP), stellte die vollständige Einhaltung von Fully Qualified Collection Names (FQCN) sicher und bereitete eigene Execution Environments (EE) für containerisierte Automatisierung vor.
• Implementierte den GitOps-Agent für AAP Controller Configuration as Code und ermöglichte damit die automatische Synchronisierung (CRUD) von Ansible-Controller-Objekten auf Basis von im Repository gespeicherten Konfigurationsdefinitionen über GitHub-Webhooks.
• Entwarf und automatisierte komplexe mehrstufige Betriebsabläufe, darunter Environment Cleanup, die Neuerstellung von Helix-Clusterkomponenten, Kafka-Topic-Management und das Lifecycle-Management von OpenShift-Objekten über rund 100 Umgebungen hinweg.
• Erreichte durch Automatisierungsverbesserungen über mehrere AAP-Cluster und OpenShift-Umgebungen hinweg eine Reduzierung von mehrtägigen manuellen Tätigkeiten auf weniger als wenige Stunden.
• Integrierte Ansible Automation Platform über ein Lookup-Plugin mit Thycotic (Delinea) Secret Server, um das sichere Credential-Management in automatisierten Prozessen zu verbessern.
• Verwaltete Deployment-Aufgaben, Platform-Troubleshooting und Istio-Netzwerkkonfigurationen unter Einhaltung strenger EU-PSC-Sicherheits- und Compliance-Standards.
• Arbeitete mit Infrastruktur- und Anwendungsteams zusammen, um Deployment-Prozesse zu verfeinern, Namenskonventionen zu entwickeln und die Automatisierungsabdeckung in einer air-gapped, klassifizierten Umgebung kontinuierlich zu verbessern.

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

KI-Assistenz und Zielbild für teilautonome Energieportfolio-Steuerung

Aufbau einer KI-Steuerungsschicht direkt auf dem tagesaktuellen Live-Portfolio eines großen Energieversorgers — nicht als isolierter Pilot, sondern als operative Erweiterung der bestehenden DB1- und Portfolio-Steuerung. Ziel ist die schrittweise Entwicklung von Assistenz über Monitoring/Alerting bis zu Analyse-Agenten mit Human-in-the-Loop-Freigaben, ergänzt um ein rollenspezifisches System of Engagement neben dem BI-System of Record. Parallel werden Business Case, Zielbild und Management-Pitch gegenüber statischem Monatsreporting erarbeitet.

• KI-Steuerungsschicht: Konzeption und Aufbau auf dem bestehenden Live-Portfolio-Datenprodukt (mehrere Mio. Verträge) — Ausbaustufen Assistenz → Monitoring/Alerting → Agenten mit Human-in-the-Loop-Freigaben.
• LLM-gestützte Datenanalyse: Semantische Abfragen, SQL-/Tool-Anbindung und ergänzende RAG-Komponenten auf Portfolio-, Plan-Ist- und Datenqualitätsdaten (Azure OpenAI, Snowflake) mit Drill-downs bis auf Einzelvertragsebene.
• Analyse-Agenten: Mehrstufige Agenten für Abweichungs- und Treiberanalysen zu Churn, Preisanpassungen, Mengen und Beschaffungskosten.
• Sichtenkonzept: Rollenspezifische Oberflächen für Fachbereich, Management und C-Level als System of Engagement neben dem BI-System of Record.
• Business Case & Pitch: Zielbild und Kosten-Nutzen-Argumentation gegenüber statischem Monatsreporting.
• LLM-Setup (Datenschutz & Security): Abstimmung mit IT-Security und Datenschutz — EU-Region, Datentrennung, Freigabeprozesse.
• Agenten-Architektur: Mehrstufige Agenten-Pipelines (Analyse → Validierung → Zusammenfassung) mit dokumentierten Datenquellen, Tool-Aufrufen, Prüfschritten und Quellenbezug je Aussage.
• Datenfundament: Aufsatz auf dem tagesaktuellen DB1-Datenprodukt (Snowflake, dbt) — Portfolio-, Plan-Ist- und Datenqualitätskennzahlen als gemeinsame Basis aller KI-Analysen.
• Guardrails & Evaluation: Evaluations- und Freigabeprozesse für LLM-Antworten bei steuerungsrelevanten Aussagen — Testsets, Metriken, Human-Review.
• Prototyping & Validierung: Iterative Validierung der Agenten-Antworten mit dem Fachbereich — Testfragen-Katalog, Feedback-Schleifen, Antwortqualität je Release.
• Roadmap & Ausbaustufen: Detaillierung der Stufen Assistenz → Monitoring/Alerting → teilautonome Steuerung inkl. Übergangskriterien und Governance je Stufe.
• Integration: Einbettung in die bestehende BI- und Datenlandschaft — BI bleibt System of Record, die KI-Schicht liefert interaktive Drill-down-Pfade als System of Engagement.
• Enablement: Befähigung der Anwender im Fachbereich — Prompting-Leitfäden, Schulungen und Betriebsmodell für den laufenden Einsatz.
• Steuerung: Koordination Fachbereich, Data Engineering, IT-Security & Datenschutz.
• Change Management: Kommunikation und Erwartungsmanagement gegenüber Fachbereich und Management entlang der Ausbaustufen.

Ergebnisse:

• Auf bestehendes tagesaktuelles Datenprodukt mit mehreren Millionen Verträgen aufgesetzt
• Mit Datenschutz und IT-Security abgestimmtes LLM-Setup in EU-Region mit Datentrennung und Freigaben etabliert
• Drei Ausbaustufen bis zur teilautonomen Steuerung definiert
• Rollenspezifische Sichten für Fachbereich, Management und C-Level konzipiert
• Business Case und Management-Pitch für die Ausbaustufen erarbeitet
• Iterativer Validierungsprozess für Antwortqualität mit dem Fachbereich etabliert
• Betriebsmodell für den Assistenzbetrieb konzipiert und in Validierung

Stack: Azure OpenAI, Azure AI Foundry, Snowflake, dbt, React, TypeScript, Entra ID, RAG, Agentic AI, Analyse-Agenten, Human-in-the-Loop, Prompt Engineering, LLM Evaluation, LLMOps, DSGVO / EU-Region, Azure DevOps, Python, SQL, Change Management

• Ablösung einer Java Anwendung und der Oracle DB zur Beladung des internen System WerWasWo mittels SSIS.
• Entwicklung von SSIS Paketen zum Laden von Textdateien in die Datenbank (SQL Server)
• Entwicklung eines Datenbankprojektes zum Deployment auf verschiedenen Servern
• Entwicklung von Queries zum Monitoring der Beladungsläufe
• Entwicklung eines PowerShell Skriptes zum automatisierten Bereitstellen der SSDT – Projekte.
• Oracle, SQL Developer, Microsoft SQL-Server 2022 on Prem, SQL Server Management Studio v21, Visual Studio 2022, SSIS, SSDT, PowerShell.

• Entwarf und implementierte eine fortschrittliche, agentenbasierte RAG-Pipeline mit LangChain und LangGraph zur strukturierten Datenextraktion aus PDFs. Dabei kamen Tools, Zustandsverwaltung und OpenAI-LLMs (GPT-4) zum Einsatz, um die Genauigkeit zu verbessern und komplexe Dokumentstrukturen zu verarbeiten.
• Entwickelte einen Google-KI-Agenten zur Extraktion strukturierter Informationen aus PDF-Dokumenten und stellte ihn auf Vertex AI bereit.
• Entwickelte Datenpipelines mit Azure Data Factory und Databricks, um Daten aus Azure Blob Storage aufzunehmen, mit PySpark zu verarbeiten und über Linked Services in Azure SQL Database zu laden.
• Verpackte KI-Agenten und Dienste mit Docker in Container, um eine einheitliche lokale Entwicklung und Bereitstellung zu ermöglichen.
• Verwendete PySpark und Dask für Datenbankabfragen in Verbindung mit Azure Blob Storage und Document Storage.
• Entwickelte einen ReAct-Agenten, der mithilfe von Tools und der Integration von Azure Document Intelligence strukturierte Daten aus PDF-Dokumenten extrahiert.
• Wirkte am Projekt zur Validierung von CPO-Rechnungen mit. Dabei wurden mit Databricks vorhandene CDRs ermittelt und die gesamten gültigen Kosten berechnet.
• Entwickelte einen dialogfähigen KI-Agenten (Chatbot) mit einem FastAPI-Backend, integrierte RAG für eine präzise Tariferkennung und stellte den Dienst mit Azure Container Apps bereit.
• Verwendete Tools: Azure, Azure OpenAI, Azure Document Intelligence, Azure Blob Storage, Google ADK, Google Cloud, Vertex AI, Gemini, Databricks, LangChain, LlamaIndex Ollama, Docker, PySpark, Azure SQL, Azure Data Factory, Azure AI Agent, Microsoft SQL Server

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Entwicklung und Validierung eines Datenmodells und einer ESG-Bewertungspipeline
• GenAI-Governance

• Entwurf, Entwicklung und Pflege vollständiger ETL-Pipelines für eine skalierbare und zuverlässige Datenintegration
• Unterstützung bei Datenqualitätsprüfungen, Tests und Migrationen
• Entwicklung und Pflege von dbt-Modellen für strukturierte, modulare und wiederverwendbare Datentransformationen
• Einsatz von KI-gestützter Entwicklung, um ETL-Jobs und die Codequalität zu verbessern
• Entwicklung von CI/CD-Pipelines für die automatisierte Bereitstellung

• Projekt: SAP-Migration (ECC zu S/4HANA) – US-basierte interne Analytics-Lösung zur Verwaltung von Finanz- und Personal-Performance-Insights für über 10.000 Nutzer in Nord- und Südamerika.
• Leitete die Cloud-Migration von einem Legacy-Data-Warehouse zu Azure Data Lake und Databricks und steigerte so die Systemskalierbarkeit um 40% sowie reduzierte manuelle Eingriffe um 60%.
• Übernahm die End-to-End-Produktverantwortung für 3 cross-funktionale Agile-Teams mit der SAFe-Methodik und Azure DevOps.
• Entwarf und implementierte Datenpipelines mit Azure Data Factory, wodurch die Datenübernahme um 30% schneller wurde und Datenfehler um 25% sanken.
• Definierte die Produkt-Roadmap, den Backlog und Sprint-Ziele in Zusammenarbeit mit Stakeholdern und sicherte, dass 95% der Ergebnisse den Geschäftserwartungen entsprachen.
• Verwaltete den Produkt-Backlog und priorisierte die Feature-Entwicklung basierend auf Stakeholder-Bedürfnissen, was zu einer 25% Steigerung der Sprint-Velocity und einer Sprint-Abschlussquote von 100% führte.
• Moderierte Agile-Zeremonien (Sprint-Planning, Reviews, Retrospektiven), die die Zusammenarbeit im Team verbesserten und die Lieferzeiten um 20% verkürzten.
• Führte Anforderungsaufnahme und -analyse durch, verbesserte die Datenqualität und die Ausrichtung an den Geschäftszielen und steigerte so die Migrationseffizienz um 25%.
• Arbeitete eng mit Geschäftsverantwortlichen zusammen, wodurch die Zeit zur Streitbeilegung um 15% sank und die Ausrichtung am Geschäftswert gestärkt wurde.
• Erstellte KPI-Dashboards zur Messung der Produktakzeptanz und Plattformstabilität, was die Stakeholder-Zufriedenheit um 20% steigerte.

• Entwickelte Energieschätzmodelle, um den Stromlade- und Wasserstoffbetankungsbedarf an Lade- und Tankstellen für Logistik-Lkw in Deutschland zu ermitteln.
• Schätzte die zukünftige Güterverkehrsnachfrage in Deutschland mithilfe eines hausinternen Verkehrsbedarfsmodells.
• Entwarf ein Netzwerk aus Stromlade- und Wasserstofftankstellen auf Basis der Ergebnisse des Verkehrsmodells und unterstützte so die datenbasierte Infrastrukturplanung.