Microsoft Certified: Azure Data Engineer Associate (DP-203)

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlag und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für die Echtzeit-Überwachung der Plattform
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch ein wiederverwendbares Automatisierungsmodul für 7 Kundendomains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offengelegte Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• Integration von 3 Teams in 1 Sprint geliefert

• Beratung zur Architektur der Databricks Lakehouse Platform
• Migration bestehender Datenservices für die Fertigung auf Databricks. Bestehende Services laufen auf verschiedenen Plattformen und Tools und werden auf der Zielplattform zusammengeführt
• Umsetzung neuer Data- & KI-Use-Cases auf der Databricks-Plattform (z. B. Anbindung neuer Systeme, Entwicklung von Prototypen für KI-Agents, …)

Tech Stack: Databricks, Azure, PySpark, Python

• Untersuchung der Beziehung zwischen Wirbelstromprüfungs-(ECT)-Signalen und mikrostrukturellen Eigenschaften
• Erkennung verborgener Muster in ECT-Daten, die intrinsische Materialeigenschaften widerspiegeln
• Entwicklung und Validierung prädiktiver Modelle zur Klassifizierung und Quantifizierung der Mikrostruktur unter Verwendung von Härte und Randschichttiefe als Referenz
• Anwendung bayesscher Strukturgleichungsmodellierung für fortgeschrittene Datenanalysen

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• KI-gestützte Automatisierung mit Fokus auf Effizienz, Informationsverarbeitung und Assistenzsysteme
• Automatisierte E-Mail-Klassifizierung (OpenAI, FastAPI)
• Vertragsanalyse für LegalTech (Llama 3, LangGraph)
• Interne Wissenssuche mit RAG (VLLM, Hugging Face)
• Anomalieerkennung auf Edge-Geräten (LLAVA, TensorRT)
• Agentensystem für Management-Reports (LangGraph, Zapier)

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

Durchgeführte Projekte:

Projekt: RWE – Aufbau einer konzernweiten Zero-Trust-Cybersecurity-Architektur (CITADEL) Rolle: Senior Enterprise Cybersecurity-Architekt / Zero-Trust-Architekt Unternehmen: RWE AG Beschreibung: Konzeption und Umsetzung der strategischen Cybersecurity-Zielarchitektur CITADEL bei RWE, basierend auf dem Zero-Trust-Architekturprinzip und ausgerichtet an regulatorischen Anforderungen wie NIS2, ISO 27001 und konzernweiten Security-Governance-Vorgaben. Ziel war der Aufbau einer messbaren, auditierbaren und skalierbaren Sicherheitsarchitektur mit starkem Fokus auf Identity Governance, Compliance-Transparenz und operative Steuerbarkeit. Aufgaben & Erfolge:

• Zero-Trust-Architekturdesign: Entwicklung einer unternehmensweiten Zero-Trust-Referenzarchitektur (Identity, Device, Network, Application, Data) inkl. Trust-Zonen, Kontrollpunkten und Durchsetzungsmechanismen gemäß NIS2.
• Identity & Access Governance (IGA): Design und Einführung von IGA-Governance-Strukturen inkl. Rollenmodellen, Rezertifizierungsprozessen, Segregation of Duties (SoD) und Lifecycle-Management für Identitäten und Zugriffe.
• Security Governance & KPIs: Definition und Implementierung von Security-KPIs und Metriken zur Steuerung von Zero-Trust-Reifegrad, Identitätsrisiken und Compliance-Erfüllung auf Management-Ebene.
• Compliance & Reporting: Aufbau standardisierter Compliance-Reports und Dashboards zur Unterstützung interner Audits, externer Prüfungen und regulatorischer Nachweispflichten (u. a. NIS2).
• Architektur- & Stakeholder-Alignment: Enge Abstimmung mit Enterprise Architecture, IT-Betrieb und Fachbereichen zur Integration der CITADEL-Architektur in bestehende IT- und Security-Landschaften.
• Strategische Sicherheitsberatung: Beratung von Programmen und Projekten hinsichtlich Zero-Trust-Konformität, Identity-Zentrierung und regulatorischer Anforderungen im Energie- und KRITIS-Umfeld. Technologien & Methoden: Zero Trust Architecture, NIS2, Identity Governance & Administration (IGA), IAM, RBAC, SoD, Entra ID, Sailpoint, Zscaler, Terraform / IaC, Policy as Code, Security KPIs, Compliance Reporting, NIS2, NIST 2.0, ISO 27001, Enterprise Security Architecture, Governance Frameworks, Risk & Control Management

Projekt: Aufbau einer skalierbaren AI Workbench Plattform auf Microsoft Azure Rolle: Cloud-Architekt und -Ingenieur Unternehmen: Siemens Energy Beschreibung: Konzeption, Entwicklung und Betrieb einer sicheren, modularen Cloud-Infrastruktur zur Unterstützung von Data Science, Machine Learning und KI-Anwendungen für verschiedene Engineering-Teams bei Siemens Energy. Aufgaben & Erfolge:

• Cloud-Architektur: Entwurf und Implementierung einer Infrastructure-as-Code-Lösung (Terraform) zur automatisierten Bereitstellung von Azure-Ressourcen (Resource Groups, Storage Accounts, Cosmos DB, Application Insights, Netzwerk, PostgreSQL Flexible Server, Azure Container Apps, Azure Container Registry).
• Developer Portal: Um Self-Service und die Befähigung von Entwicklern, Data Scientists und KI/ML-Ingenieuren zu ermöglichen, wurde Backstage mit benutzerdefinierten Frontend- und Backend-Plugins (Node.js, TypeScript, React.js, PostgreSQL, Container-Apps) verwendet.
• Rollenbasierte Zugriffskontrolle: Umsetzung von Azure RBAC, um Engineering-Gruppen (z. B. AI Engineers) gezielten Zugriff (z. B. Storage Blob Data Contributor, Reader) auf relevante Ressourcen zu ermöglichen.
• Datenplattform-Engineering: Aufbau und Konfiguration einer mehrstufigen Storage-Landschaft (Raw, Curated, Vektordaten) inkl. automatisierter Container-Erstellung und Zugriffssteuerung für fortgeschrittene Analyse- und KI-Workloads.
• DevOps-Integration: Anbindung von Azure DevOps für CI/CD-Pipelines zur automatisierten Bereitstellung, Überwachung und Einhaltung von Sicherheitsstandards.
• Sicherheit & Compliance: Implementierung von Private Endpoints, Netzwerkrichtlinien und Managed Identities zur Sicherstellung von Datenschutz und regulatorischer Konformität.
• Zusammenarbeit: Enge Abstimmung mit interdisziplinären Teams zur Ausrichtung der Cloud-Infrastruktur an geschäftlichen und technischen Anforderungen und zur Förderung der digitalen Transformation bei Siemens Energy. Technologien: Azure, Terraform, Azure DevOps, Cosmos DB, Application Insights, Azure Storage, Private Endpoints, Azure Synapse, Azure Machine Learning, Azure Entra ID, RBAC, Backstage, Node.js, React.js, PostgreSQL, Python (Automatisierung), Git

Projekt: Aufbau einer skalierbaren Data Plattform POC auf Azure Kubernetes Service (AKS) Rolle: Cloud-Architekt und -Ingenieur Unternehmen: Hannover Rück SE Beschreibung: Entwicklung und Bereitstellung einer modularen, containerisierten KI-Plattform auf Microsoft Azure zur Unterstützung von Data Engineering und Data Science Teams bei der Hannover Rück SE. Die Plattform basiert auf AKS und integriert JupyterHub, Spark, Kafka, Airflow sowie eine zentrale Benutzeroberfläche zur Verwaltung. Ziel war es, eine wiederverwendbare, sichere Umgebung für datengetriebene Anwendungen und Experimente bereitzustellen. Aufgaben & Erfolge:

• Cloud- und Plattformarchitektur: Aufbau einer Kubernetes-basierten Infrastruktur mittels Terraform und Helm, unterstützt durch Azure Container Registry (ACR) für die Bereitstellung containerisierter Komponenten.
• Workbench-Design: Integration von JupyterHub (Bitnami Helm Chart), Spark-Cluster, Kafka-Streaming, Apache Airflow und Redpanda in ein konsistentes System mit rollenbasierter Steuerung.
• DevOps-Automatisierung: Entwicklung von PowerShell-Skripten und CI/CD-Prozessen für Image-Vorbereitung, Chart-Deployment und Secrets-Management mit Helm.
• Self-Service & Skalierbarkeit: Ermöglichung einer standardisierten, reproduzierbaren Bereitstellung für Data Science Umgebungen auf Mandantenbasis. Katalog und Entwicklerportal wurden über Backstage mit einer benutzerdefinierten Integration mit Azure DevOps bereitgestellt, um Pipelines auszulösen und zu überwachen (Node.js, TypeScript, React.js, Spotify Backstage mit Custom Plugins, gehostet auf AKS).
• Netzwerk & Sicherheit: Einsatz privater Endpunkte, Netzwerkrichtlinien, Key Vault und RBAC zur Sicherstellung von Sicherheit und Governance-Vorgaben im Versicherungskontext.
• Interdisziplinäre Zusammenarbeit: Enge Abstimmung mit Data Scientists, DevOps-Teams und Security Offices zur Integration von Anforderungen in Design und Betrieb. Technologien: Azure, AKS, Helm, Terraform, Azure Container Registry, PowerShell, Apache Spark, JupyterHub, Airflow, Kafka, Redpanda, Azure Key Vault, Azure Monitor, RBAC, Kubernetes Secrets, Backstage, Node.js, React.js, PostgreSQL

Projekt: Data & AI Plattform Engineer Unternehmen: Allianz Technology Beschreibung:

• Befähigung und Unterstützung der Nutzer der Allianz Data Platform (ADP) – insbesondere Data Engineers, Data Scientists und Machine Learning Engineers – zur optimalen Nutzung der Plattform auf Basis von Azure Synapse und Azure Machine Learning, um ihre geschäftlichen Ziele effizient zu erreichen.
• Beratung zu Architektur, Best Practices und effizientem Einsatz der ADP für End-to-End-Anwendungsfall-Pipelines – von der Datenaufnahme über Datenverarbeitung bis hin zu Softwarebereitstellung und Feedbackschleifen.
• Erklärung von Vor- und Nachteilen vorgeschlagener Plattformlösungen gegenüber internen und externen Stakeholdern, um fundierte Entscheidungen zu ermöglichen.
• Definition und Implementierung von Best Practices (insbesondere in PySpark) sowie kontinuierliche Verbesserung des ADP-Stacks und der finalen Produktionsumgebung.
• Identifikation und Umsetzung von Optimierungsmöglichkeiten zur Steigerung von Leistung, Zuverlässigkeit und Automatisierung der Plattform.
• Erstellung technischer Dokumentation sowie interner Ankündigungen und Blogbeiträge, um Neuerungen, Funktionen und Best Practices der ADP zu kommunizieren.

Projekt: OneTenant – Post-Merger Azure & M365 Consolidation Rolle: Projektleiter / Azure Workstream Lead Unternehmen: Alliance Healthcare Deutschland / GEHE

• Post-Merger Tenant-Konsolidierung: Migration und Zusammenführung von zwei bestehenden Microsoft-Tenants in einen neuen Ziel-Tenant im Rahmen eines M&A-Projekts, inkl. Azure, Entra ID (Azure AD) und Microsoft 365.
• End-to-End-Migrationssteuerung: Planung, Koordination und Durchführung von Cloud-to-Cloud- und On-Prem-to-Cloud-Migrationen unter Berücksichtigung von Business Continuity, regulatorischen Anforderungen (u. a. Datenschutz, IT-Compliance) und Cutover-Strategien.
• Azure Plattform-Setup: Design, Aufbau und Härtung der neuen Azure-Landing-Zone inkl. Subscription-Struktur, Netzwerk-Topologie, Identity-Architektur, Security-Baseline und Governance-Framework (RBAC, Policies, Blueprints).
• IAM & Security-Integration: Konsolidierung und Neustrukturierung von Entra ID (Azure AD), Rollenmodellen, Conditional Access, Privileged Identity Management (PIM) und Identity-Governance für eine sichere Post-Merger-Zielarchitektur.
• Microsoft 365 Migration: Durchführung der mandantenübergreifenden M365-Migration (Exchange Online, OneDrive, SharePoint, Teams) mit AvePoint Fly, inkl. Benutzer-, Daten- und Berechtigungsübernahme.
• Problem- & Cutover-Management: Identifikation, Priorisierung und Lösung technischer und organisatorischer Risiken während der Migrationswellen, inkl. Go-Live-Vorbereitung und Hypercare-Phase.
• Stakeholder- & Programmsteuerung: Enge Abstimmung mit IT, Security, Compliance, Business Units und externen Migrationspartnern zur Sicherstellung einer stabilen und revisionssicheren Post-Merger-IT-Plattform.
• Service Transition: Überführung von Applikationen, Plattformen und Betriebsmodellen in eine konsolidierte Zielorganisation.
• Kommunikation: Steuerung internationaler Projektteams in Deutsch und Englisch in einem unternehmenskritischen Post-Merger-Transformationsprogramm.
• Technologien: Azure Cloud: Aufbau und Betrieb einer M&A-fähigen Cloud-Plattform mit Azure Networking, Compute, Storage, Entra ID, Security Center und Governance-Services; Microsoft 365 & AvePoint Fly: Tenant-to-Tenant Migration von Collaboration-, Mail- und Identitätsdaten.

Projekt: Aufbau einer Azure KI & Analytics Plattform für Single Risk Reporting Unternehmen: Hannover Rück SE

• Entwickelte eine skalierbare und leistungsstarke Azure Data & AI Analytics Plattform für das Single Risk Reporting.
• Implementierte die Infrastruktur automatisiert mit Infrastructure as Code (IaC) mittels Tools wie PowerShell/Bicep.
• Entwickelte und optimierte Datenpipelines für die Verarbeitung und Validierung großer Datenmengen.
• Setzte eine Self-Hosted Integration Runtime auf, um eine sichere Verbindung zu SAP-Systemen zu gewährleisten.
• Integrierte die aufbereiteten Daten in MicroStrategy und erstellte interaktive Dashboards und Berichte für datenbasierte Entscheidungen.
• Sicherstellte Datenschutzkonformität und Sicherheitsanforderungen durch rollenbasierte Zugriffskontrolle und Compliance-Maßnahmen. Technologien: Azure Synapse Analytics, Azure Machine Learning, RAG, LLMs, Infrastructure as Code (IaC), Azure Data Pipelines, Self-Hosted Integration Runtime, SAP, MicroStrategy

Integrations-Engineering Azure / CI/CD Unternehmen: Mercedes-Benz Tech Innovation Tätigkeiten & Verantwortlichkeiten:

• Systemanalyse & Anforderungsdefinition: Bewertung geplanter Systemlandschaften zur Identifikation von Integrations- und Sicherheitsanforderungen.
• Integrationsarchitektur & Design: Definition und Umsetzung von Anforderungen zur Integration von Microsoft Dynamics 365 in bestehende Azure-basierte Infrastrukturen.
• Architektur & Infrastruktur: Aufbau sicherer, skalierbarer Azure Landing Zones, Design von Cloud-Architekturen und Implementierung von Infrastructure-as-Code (IaC) mittels Bicep, YAML und PowerShell.
• Entwicklung von KI-Lösungen: Design & Implementierung einer RAG-Lösung (Retrieval Augmented Generation) auf Basis von Azure OpenAI, Azure AI Search, Cosmos DB, Data Lake und Azure Machine Learning Workspace.
• Programmierung & Services: Entwicklung und Integration von Lösungen mit C#, TypeScript, PowerShell und X++ sowie Einsatz von Azure Functions, Azure Logic Apps, Power Platform und weiteren Services.
• API-Management: Verwaltung und Sicherstellung des sicheren Datenflusses durch Azure API Management und Implementierung von RESTful APIs.
• DevSecOps: Aufbau und Betrieb sicherer DevSecOps-Pipelines in Azure DevOps und GitHub, inklusive automatisierter Security- und Compliance-Checks.
• Fehlerbehebung & Optimierung: Identifizierung, Analyse und Behebung von Integrationsproblemen in Echtzeit sowie kontinuierliche Optimierung von Prozessen für Performance und Effizienz.
• Dokumentation & Wissenstransfer: Erstellung umfassender technischer Dokumentation (inkl. IaC) sowie Schulung von Teammitgliedern und Endanwendern. Eingesetzte Technologien & Tools: Microsoft Azure (Landing Zones, Data Lake, API Management, Logic Apps, Functions, Cosmos DB, Machine Learning Workspace), Microsoft Dynamics 365 Finance & Operations (ERP in der Public Cloud), C#, TypeScript, PowerShell, YAML, Bicep, Azure DevOps, GitHub Actions, Security- und Compliance-Tools.

Projekt: Sirius: Weiterentwicklung von Single Risk Solution Unternehmen: Hannover Rück SE

• Weiterentwicklung des Systems: Verbesserung der bestehenden Module für die Erfassung, Verarbeitung und Administration von Policydaten.
• Integration neuer Features: Einführung neuer Funktionen, die den aktuellen geschäftlichen Anforderungen entsprechen.
• Optimierung der Benutzererfahrung: Verbesserung der Interaktion zwischen Benutzern und System, insbesondere durch Anpassungen in der UI/UX.
• Datenverwaltung: Entwicklung von Lösungen für die Verwaltung und Konsistenz von Single-Risk-Daten, inklusive automatisierter Validierung und Berichterstattung.
• Sicherstellung der Skalierbarkeit: Optimierung der Software-Architektur, um zukünftige Anforderungen und eine wachsende Datenmenge zu unterstützen.
• Technologien: Azure DevOps, C# und .NET Core, Angular, RabbitMQ

Projekt: Cloud Native Anwendung für Security und Compliance Management Unternehmen: Münchener Rückversicherungs-Gesellschaft AG

• Das Projekt entwickelt eine interne cloud-native Webanwendung für das Sicherheits- und Compliance-Management in der Azure Cloud.
• Architekturkonzeption, Prototyping, POC, MVP und vollständige Produktentwicklung. Bereitstellung der Azure-Infrastruktur.
• Aufbau von CI/CD-Pipelines mit Azure DevOps. Azure Cloud Verwaltung.
• Azure DevOps, Azure AD, App-Registrierung und Sicherheit. Entwicklung von Diensten in .NET Core.
• Selbstverwaltung und Onboarding von Anwendungen auf der Plattform über Spotify Backstage mit benutzerdefinierten Plugins zur Integration mit Azure DevOps und zur Automatisierung von Richtlinienbereitstellung und Überwachungstools.
• IaC mit YAML und Bicep / ARM-Vorlagen. SQL Server DB, App Services, Functions.
• Microsoft Graph API, Single Sign-On, Azure AD Services. Betrieb und Sicherheitsüberwachung der Dienste.

Projekt: Semis Rollout Unternehmen: GEA Gruppe

• OTSec - PSec Projektkombination aus Azure DevOps Pipeline, Terraform, Kubernetes, CAF.

Projekt: Entwicklung einer Cloud Native Data Platform Unternehmen: Carl Zeiss Digital Innovation GmbH Teil des Teams der Gesundheitsdatenplattform

• Konzeption, Prototyping, POC, MVP und Full-Product-Entwicklung. Bereitstellung von Azure-Infrastruktur, Sicherheit und Compliance, Serverless-Architektur, CI/CD und Qualitätssicherung.
• Terraform IaC und Bash-Scripting. TypeScript und Node.js für Azure Functions.
• Verwendung von Azure API Management, Azure Functions, Azure FHIR APIs, Azure Data Lake, DICOM, Azure Health Services, Azure Cosmos DB