Datadog-Experten in München

In meiner Rolle als Senior Cloud DevOps Architect bei BP, einem Öl- und Gasunternehmen, hatte ich die Aufgabe, die Plattform für das Laden von Elektrofahrzeugen der EV Division von On-Premises und Azure in die AWS-Cloud zu migrieren, was zu einer hybriden Multi-Cloud-, Multi-Tenant-SaaS-Lösung führte.

Der Einsatz von Kubernetes für die Anwendungsebene bedeutete die Bereitstellung von Kubernetes-Clusters, die von EKS und AKS verwaltet wurden, mit Fokus auf die Integration in eine Multi-Tenant-Umgebung. Diese Integration wurde durch den Einsatz von Kubernetes-Namespace und Zugriffskontrollen erreicht, um Datenisolation und Datenschutz sicherzustellen.

Auf der Datenbankebene entschieden wir uns für eine RDS-Instanz mit PostgreSQL zur Unterstützung der Backend-Infrastruktur unserer Anwendungen. Die Mandanten teilten sich dieselbe RDS-Instanz, hatten aber jeweils ein eigenes Schema.

Um nahezu in Echtzeit Daten von physischen Ladestationen (CPOs) als IoT-Geräte über das OCPI-Protokoll aufzunehmen, stießen wir bei der Batch-Verarbeitung auf erhebliche Verzögerungen. Daher entwickelten wir eine Streaming-Datenpipeline in Echtzeit mit Apache Kafka und setzten dabei auf eine eventgetriebene Architektur.

Ich leitete die Zusammenarbeit über mehrere interne Teams, externe Anbieter, Cloud-Provider und Partner vor Ort hinweg, um über fünf Systeme in eine einheitliche Lösung zu integrieren.

Erfolge:

• Erfolgreich hybride Multi-Cloud-Lösungen entworfen und umgesetzt, die mehrere Cloud-Plattformen (AWS, Azure) mit On-Premises-Infrastruktur unter Einsatz von Site-to-Site-VPNs, Firewalls und Load Balancing integrierten.
• Die Migration der On-Premises-Infrastruktur zu einer Multi-Cloud-, Multi-Tenant-Infrastruktur geleitet, was zu 30 % schnelleren Verarbeitungszeiten führte.
• Workloads aus VMware- und Hyper-V-Umgebungen auf cloudbasierte VMs migriert und dabei Cloud-native Services genutzt, um Leistung, Kosteneffizienz und Skalierbarkeit zu optimieren.
• Eine Multi-Tenant-Kubernetes-Plattform entworfen, die das Kubernetes-Ökosystem nutzt, mit Karpenter für die dynamische Bereitstellung von EC2-Nodes, KEDA für eventgesteuertes Pod-Autoscaling (z. B. Kafka-Message-Lag) und Rancher für das zentrale Monitoring mehrerer Cluster (EKS, AKS oder On-Prem K8s), als Ersatz für den Microsoft-zentrierten Azure-Arc-Management-Service.
• Python-basierte FastAPI-Microservices als Teil des EV-Core-Backends auf der AWS-EKS-Anwendungsebene entworfen und umgesetzt, die Datenaufnahme- und Kundenanalyse-Pipelines antreiben.
• Asynchrone, eventgetriebene APIs (Python-FastAPI) für die Echtzeit-Integration mit CPOs entwickelt, mit Unterstützung für OCPI 2.3 und OICP-Protokolle.
• Eine sichere, produktionsreife Azure-Databricks-Plattform mit Terraform entworfen und umgesetzt und dabei Skalierbarkeit und Kosteneffizienz sichergestellt.
• On-Premises-ERP auf eine hybride Dynamics-365-Architektur migriert, mit ERP lokal gehostet und CRM in Azure betrieben, integriert über Azure Arc.
• CI/CD-Pipelines für Databricks-Notebooks und Jobs mit GitHub Actions und Databricks CLI automatisiert, wodurch die Bereitstellungszeit reduziert wurde. Die Bereitstellungszeit für Infrastruktur durch Automatisierung der Cloud-Ressourcenbereitstellung mit GitOps um 70 % reduziert.
• Die Einhaltung interner Audit- und Data-Governance-Standards (GDPR) durch OAuth2/OIDC-basierte Authentifizierung und fein abgestufte rollenbasierte Zugriffskontrollen sichergestellt.
• Ein Zero-Trust-Sicherheitsmodell entwickelt, das Least-Privilege-Zugriffe und Mikrosegmentierung durchsetzt und die Sicherheitslage sowie die Compliance mit GDPR und NIST verbessert.
• Interaktive Analytics-Dashboards in Amazon QuickSight erstellt, die Daten aus S3 und Redshift integrieren, um Echtzeit-Business-Insights und Visualisierungen mit eingebettetem Zugriff für Multi-Tenant-Nutzer bereitzustellen.
• Cloud-Sicherheitsbewertungen und eine Sicherheitsintegration über den gesamten Lebenszyklus während M&A geleitet, einschließlich AWS, Azure, IAM (Entra ID) und Datenschutz, und dabei die Sicherheitslage mit NIST, ISO 27001 und GDPR über hybride und cloud-native Umgebungen hinweg ausgerichtet.
• Die Cloud-Kosten für eine Dev-Umgebung eines Kunden um 64 % gesenkt, indem automatisierte Start-/Stopp-Zeitpläne für EC2- und RDS-Instanzen über AWS CDK mit EventBridge Scheduler oder AWS Systems Manager implementiert wurden.

Tech-Stack:

• Infrastructure as Code: Terraform, AWS CDK, Ansible.
• Container: Kubernetes auf EKS, AKS, Docker.
• Streaming-Datenverarbeitung: Kafka zu Confluent Cloud, nach AWS MSK.
• Frontend: TypeScript, React, NextJS, Hooks, Styled Components.
• Backend: Python mit FastAPI, außerdem Node.js mit NestJS.
• Datenbank: Aurora auf PostgreSQL mit TypeORM, RDS auf SQL Server, vollständiges Setup und Administration von Azure Databricks, ETL-Pipelines.
• CI/CD und GitOps: GitHub Actions, Azure DevOps, ArgoCD.
• Monitoring und Observability: Prometheus und Grafana.
• Virtualisierung: Hyper-V, VMware Cloud on AWS, Azure Migrate.
• ERP-Systeme: Odoo, Microsoft Dynamics 365 Business Central auf Azure, integriert mit Azure Arc.
• Netzwerke: Site-to-Site-VPNs, AWS Direct Connect, Azure ExpressRoute, Firewalls (AWS Network Firewall, Azure Firewall).
• Sicherheit: IAM, NIST Framework, Zero-Trust-Sicherheit, AWS WAF, AWS Shield, GuardDuty.

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).

• Entwickelte einen Middleware-Service, der EDI-Anbieter und Marketplace-Partner mit Microsoft Dynamics 365 integriert, um Verkaufsaufträge zu empfangen und Sendungen, Rechnungen, Lagerbestände und Preiskataloge zu übermitteln
• Nutze eine Mischung aus REST-APIs und ereignisgesteuerten Datenverarbeitungs-Pipelines

• Aufbau einer eigenständigen Unternehmens-IT — Cloud-Strategie, Netzwerk, AWS Landing Zone, Sicherheitsanforderungen, Vertragsverhandlungen.
• Migration aller Anwendungen; Vermeidung hoher Vertragsstrafen für den Kunden.
• Onboarding und Steuerung inte...

Eine Enterprise-Plattform für Process Mining und Execution Management, die Unternehmen dabei hilft, ihre Geschäftsprozesse mit Eventdaten zu analysieren, zu visualisieren und zu optimieren.

• Über 40 Engineering-Squads in 5 Ländern aufeinander abgestimmt, um Plattformfunktionen im großen Maßstab auszuliefern, und dabei Release-Infrastruktur, Change Management und Rollout-Governance für mehr als 1000 Enterprise-Kunden mit null Fehlern nach dem Launch vorangetrieben
• Priorisierung der Roadmap der Celonis-Studio-Plattform verantwortet, technische Investitionen, kommerzielle Ziele und operative Anforderungen ausbalanciert und damit ein Wachstum des Marktanteils von über 50 % gegenüber Legacy-Produkten erzielt
• Anforderungen gemeinsam mit Engineering und UI/UX in Spezifikationen, Architectural Decision Records und Umsetzungspläne übersetzt, was zu einer Steigerung des Nutzer-Engagements um 20–30 % geführt hat
• Die Go-to-Launch-Strategie vorangetrieben, Pilotprogramme und Customer-Discovery-Sessions durchgeführt, um die operative Einsatzbereitschaft und die Einführung im Enterprise-Bereich zu validieren

• Beteiligte sich an der schrittweisen Modernisierung von Komponenten zu Cloud-nativen 12-Factor-Anwendungen.
• Arbeitete eng mit dem Business Operations Team zusammen, um manuelle Prozesse zu eliminieren und mehrere Performance-Engpässe zu beheben.
• Entwarf und implementierte eine CI/CD-Pipeline, um die Produktivität der Entwickler zu steigern, Qualitäts- und Sicherheitsprüfungen durchzusetzen und die Produktbereitstellung zu automatisieren.
• Migrierte mehrere Komponenten in den OpenShift-Kubernetes-Cluster.
• Baute einen Monitoring-Stack von Grund auf mit Prometheus und Grafana auf, um die in OpenShift laufenden Services zu überwachen.
• Entwickelte Dashboards sowohl in Grafana als auch in Splunk für die operative Transparenz.
• Implementierte eine OIDC/OAuth2-basierte Single-Sign-On (SSO)-Lösung mit Keycloak, um mehrere Anwendungen zu sichern.
• Technologien: Java, Spring, Quarkus, Kafka, MySQL, Cassandra, Redis, Spring Data, Hibernate, Docker, Kubernetes, OpenShift, Keycloak, OIDC, OAuth2, Helm, Prometheus, Grafana, Splunk, Spark.

• Testkonzepterstellung
• Erstellung von Testprozessen
• Koordination der TC-Entwicklung: Stresstests, Funktionstests, Leistungstests, Tests mit hoher Datenrate, Integrationstests usw.
• HW-Testing: FPGA, RF
• Testautomatisierung und Regressionstests
• Gewährleistung des 24/7-Betriebs des Testsystems
• Analyse & Berichterstattung
• Regelmäßige Koordination des Testteams, Meetings mit anderen Stakeholdern
• Kommunikation und Koordination mit Stakeholdern und Projektleiter

• Fullstack-Entwicklung auf Basis von Next.js und TypeScript
• Entwicklung und Optimierung von Geodatenbankabfragen für PostgreSQL/PostGIS
• Visualisierung von Geodaten mit Mapbox
• Konzeption und Durchführung von Lasttests sowie Performance-Optimierungen
• Code-Reviews und Dokumentationsaufgaben
• Technologien: JavaScript, TypeScript, Next.js, React, Zod, tRPC, Storybooks, PostgreSQL/PostGIS, MicroORM, Knex, Material UI, Mapbox, BullMQ, Jest, Playwright, Artillery.io, K6, Sentry, Figma, GitLab, Grafana, GTFS

• Sensordaten zur Extraktion von Fahrspurbegrenzungen in die interne Fingerprint-Pipeline integriert und damit die KI-basierte Lokalisierung für autonome Fahrzeuge mit Python unterstützt.
• In einer cloudbasierten Umgebung mit AWS-Diensten für die Datenspeicherung und -verarbeitung gearbeitet.
• Onboarding- und technische Dokumentation erstellt und dadurch die Effizienz des Teams sowie den Wissenstransfer verbessert.
• Mit anderen Ingenieuren zusammengearbeitet, um Datenanforderungen unter Einhaltung der Vertraulichkeitsrichtlinien in technische Lösungen zu übersetzen.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Pentest von Mobile Anwendungen
• Code Review
• Gematik Audit
• Entwicklung von Secure Software Development Methoden
• Erstellung von Sicherheits- und Testkonzept
• Penetration Testing von Software und Architektur
• Analyse der Schwachstellen
• Automatisierung und Informationssicherheit
• Einsatz von Confluence und Jira
• Arbeit mit Datenbanken, J2EE, JavaServer Faces, Liquibase, Apache, Maven, Mercurial, Oracle Financials
• Dokumentation und Erstellung von Sicherheitsrichtlinien
• Verwaltung von Software Systemen, SharePoint, PrimeFaces, Git
• Einhaltung von Sicherheitsbestimmungen und .NET, AWS, API
• Tools: MobSF, Frida, Android Studio, Drozer, Objection, Azure

• Weiterentwicklung der personalisierten Werbeflächen im Otto Webshop
• Fullstack-Entwicklung im Kanban-getriebenen Team von etwa 15 Personen
• Technologien: Microservices, Kotlin, Spring, Spring Boot, Gradle, MongoDB, HTML, JS, Node, SCSS, AWS
• Entwicklungsprozess: Kanban; Continuous Integration mit AWS Code Pipeline und GitHub Actions