Amazon EventBridge Experten in Deutschland

In meiner Rolle als Senior Cloud DevOps Architect bei BP, einem Öl- und Gasunternehmen, hatte ich die Aufgabe, die Plattform für das Laden von Elektrofahrzeugen der EV Division von On-Premises und Azure in die AWS-Cloud zu migrieren, was zu einer hybriden Multi-Cloud-, Multi-Tenant-SaaS-Lösung führte.

Der Einsatz von Kubernetes für die Anwendungsebene bedeutete die Bereitstellung von Kubernetes-Clusters, die von EKS und AKS verwaltet wurden, mit Fokus auf die Integration in eine Multi-Tenant-Umgebung. Diese Integration wurde durch den Einsatz von Kubernetes-Namespace und Zugriffskontrollen erreicht, um Datenisolation und Datenschutz sicherzustellen.

Auf der Datenbankebene entschieden wir uns für eine RDS-Instanz mit PostgreSQL zur Unterstützung der Backend-Infrastruktur unserer Anwendungen. Die Mandanten teilten sich dieselbe RDS-Instanz, hatten aber jeweils ein eigenes Schema.

Um nahezu in Echtzeit Daten von physischen Ladestationen (CPOs) als IoT-Geräte über das OCPI-Protokoll aufzunehmen, stießen wir bei der Batch-Verarbeitung auf erhebliche Verzögerungen. Daher entwickelten wir eine Streaming-Datenpipeline in Echtzeit mit Apache Kafka und setzten dabei auf eine eventgetriebene Architektur.

Ich leitete die Zusammenarbeit über mehrere interne Teams, externe Anbieter, Cloud-Provider und Partner vor Ort hinweg, um über fünf Systeme in eine einheitliche Lösung zu integrieren.

Erfolge:

• Erfolgreich hybride Multi-Cloud-Lösungen entworfen und umgesetzt, die mehrere Cloud-Plattformen (AWS, Azure) mit On-Premises-Infrastruktur unter Einsatz von Site-to-Site-VPNs, Firewalls und Load Balancing integrierten.
• Die Migration der On-Premises-Infrastruktur zu einer Multi-Cloud-, Multi-Tenant-Infrastruktur geleitet, was zu 30 % schnelleren Verarbeitungszeiten führte.
• Workloads aus VMware- und Hyper-V-Umgebungen auf cloudbasierte VMs migriert und dabei Cloud-native Services genutzt, um Leistung, Kosteneffizienz und Skalierbarkeit zu optimieren.
• Eine Multi-Tenant-Kubernetes-Plattform entworfen, die das Kubernetes-Ökosystem nutzt, mit Karpenter für die dynamische Bereitstellung von EC2-Nodes, KEDA für eventgesteuertes Pod-Autoscaling (z. B. Kafka-Message-Lag) und Rancher für das zentrale Monitoring mehrerer Cluster (EKS, AKS oder On-Prem K8s), als Ersatz für den Microsoft-zentrierten Azure-Arc-Management-Service.
• Python-basierte FastAPI-Microservices als Teil des EV-Core-Backends auf der AWS-EKS-Anwendungsebene entworfen und umgesetzt, die Datenaufnahme- und Kundenanalyse-Pipelines antreiben.
• Asynchrone, eventgetriebene APIs (Python-FastAPI) für die Echtzeit-Integration mit CPOs entwickelt, mit Unterstützung für OCPI 2.3 und OICP-Protokolle.
• Eine sichere, produktionsreife Azure-Databricks-Plattform mit Terraform entworfen und umgesetzt und dabei Skalierbarkeit und Kosteneffizienz sichergestellt.
• On-Premises-ERP auf eine hybride Dynamics-365-Architektur migriert, mit ERP lokal gehostet und CRM in Azure betrieben, integriert über Azure Arc.
• CI/CD-Pipelines für Databricks-Notebooks und Jobs mit GitHub Actions und Databricks CLI automatisiert, wodurch die Bereitstellungszeit reduziert wurde. Die Bereitstellungszeit für Infrastruktur durch Automatisierung der Cloud-Ressourcenbereitstellung mit GitOps um 70 % reduziert.
• Die Einhaltung interner Audit- und Data-Governance-Standards (GDPR) durch OAuth2/OIDC-basierte Authentifizierung und fein abgestufte rollenbasierte Zugriffskontrollen sichergestellt.
• Ein Zero-Trust-Sicherheitsmodell entwickelt, das Least-Privilege-Zugriffe und Mikrosegmentierung durchsetzt und die Sicherheitslage sowie die Compliance mit GDPR und NIST verbessert.
• Interaktive Analytics-Dashboards in Amazon QuickSight erstellt, die Daten aus S3 und Redshift integrieren, um Echtzeit-Business-Insights und Visualisierungen mit eingebettetem Zugriff für Multi-Tenant-Nutzer bereitzustellen.
• Cloud-Sicherheitsbewertungen und eine Sicherheitsintegration über den gesamten Lebenszyklus während M&A geleitet, einschließlich AWS, Azure, IAM (Entra ID) und Datenschutz, und dabei die Sicherheitslage mit NIST, ISO 27001 und GDPR über hybride und cloud-native Umgebungen hinweg ausgerichtet.
• Die Cloud-Kosten für eine Dev-Umgebung eines Kunden um 64 % gesenkt, indem automatisierte Start-/Stopp-Zeitpläne für EC2- und RDS-Instanzen über AWS CDK mit EventBridge Scheduler oder AWS Systems Manager implementiert wurden.

Tech-Stack:

• Infrastructure as Code: Terraform, AWS CDK, Ansible.
• Container: Kubernetes auf EKS, AKS, Docker.
• Streaming-Datenverarbeitung: Kafka zu Confluent Cloud, nach AWS MSK.
• Frontend: TypeScript, React, NextJS, Hooks, Styled Components.
• Backend: Python mit FastAPI, außerdem Node.js mit NestJS.
• Datenbank: Aurora auf PostgreSQL mit TypeORM, RDS auf SQL Server, vollständiges Setup und Administration von Azure Databricks, ETL-Pipelines.
• CI/CD und GitOps: GitHub Actions, Azure DevOps, ArgoCD.
• Monitoring und Observability: Prometheus und Grafana.
• Virtualisierung: Hyper-V, VMware Cloud on AWS, Azure Migrate.
• ERP-Systeme: Odoo, Microsoft Dynamics 365 Business Central auf Azure, integriert mit Azure Arc.
• Netzwerke: Site-to-Site-VPNs, AWS Direct Connect, Azure ExpressRoute, Firewalls (AWS Network Firewall, Azure Firewall).
• Sicherheit: IAM, NIST Framework, Zero-Trust-Sicherheit, AWS WAF, AWS Shield, GuardDuty.

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

• Beratung einer NGO im Bereich Rechenzentrumsnachhaltigkeit in öffentlich geförderten Projekten (BMUKN mit NADIKI und Umweltbundesamt mit SIEC)
• Entwicklung von Python-APIs und Webanwendungen, Bereitstellung auf AWS/ECS mit Terraform
• Erfassung von Kennzahlen zum Stromverbrauch von Servern, CPUs und GPUs für KI-Workloads
• Verwendete Technologien: AWS, EC2, ECS, Fargate, CloudMap, VPC, Route53, Lambda, EventBridge, CodeBuild/CodePipeline/CodeDeploy, Terraform, Docker, Linux, Bash-Scripting, Python, Flask, SQLAlchemy, SQL, MariaDB, InfluxDB, Telegraf, Prometheus, Zabbix, Kubernetes, Letsencrypt, Zertifikatsverwaltung

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Konzeption neuer Apps sowie Weiterentwicklung und Betrieb von 29 Angular-Apps für die digitale Schadenmeldung im Nx-Monorepo
• Pflege und Weiterentwicklung einer gemeinsamen Komponentenbibliothek mit ca. 300 Bibliotheken für mehrere Produktteams
• Migration aller Apps auf ein neues Designsystem inkl. zugehöriger Komponentenbibliothek und systematischem Refactoring
• Weiterentwicklung und Pflege der CI/CD-Pipelines (Jenkins, Azure DevOps, Terraform, AWS)
• Eigenverantwortliche Releases inkl. Branch-Verwaltung, Versionierung, PR-Koordination und Produktivsetzung
• Implementierung und Pflege des Trackings (Adobe Analytics)
• Umsetzung der Barrierefreiheit nach BFSG/WCAG
• Testgetriebene Entwicklung (TDD) mit Jest und Cypress
• Code-Reviews, Mentoring und Etablierung von Best Practices im Team
• Technologien: TypeScript, Angular 16–20, RxJS, NgRx, Nx (Monorepo), npm, HTML, (S)CSS, Storybook, Jest, Cypress, Cucumber, Husky, Node.js, Git, AWS, Azure DevOps (Repos & Pipelines), Jenkins, Terraform, TDD, BFSG, WCAG, Nexus, IntelliJ, Adobe Analytics

• Entwurf, Aufbau und Wartung skalierbarer ETL/ELT-Datenpipelines mit Python, SQL, REST APIs, AWS Lambda, S3, RDS PostgreSQL, EventBridge, CloudWatch, Docker, Apache Airflow und BigQuery – Integration von Daten aus GA4, Google Ads, Meta Ads, CMS, CRM, Newslettern, Events und B2C-Bestellsystemen in analyseoptimierte Datensätze.
• Aufbau einer markenübergreifenden Lakehouse-Architektur von AWS zu BigQuery – Umwandlung von Roh-JSON/CSV-Daten in strukturierte, partitionierte und wiederverwendbare Reporting-Schichten mit Staging-, Intermediate-, Canonical- und Mart-Modellen.
• Entwurf relationaler und dimensionaler Datenmodelle: 3NF-Staging-Modelle, Star-Schemas, Faktentabellen, Dimensionstabellen, tägliche KPI-Aggregate und Dashboard-optimierte Marts für Marketing-, Content-, Abonnement-, Event-, CRM- und Umsatzanalysen.
• Implementierung produktionstauglicher Datenqualitäts- und Pipeline-Zuverlässigkeitsfunktionen: inkrementelle Loads, idempotente Upserts, Deduplizierung, Schema-Validierung, Zeilenabgleich, Null-Checks, Anomalieerkennung, Frische-Monitoring, Logging, Wiederholungsversuche und Fehlerbenachrichtigungen.
• Automatisierung markenübergreifender Reporting-Prozesse und Datenprodukte – Pipelines für 73 Newsletter-Kampagnen, 31 Lead-Listen-Synchronisierungen, 52 Event-Partner-Berichte und eine 500K-Datensatz-Unternehmensabgleich-Pipeline; Reduzierung der manuellen Datenvorbereitung um ca. 70 % und Steigerung der Analyst-Produktivität um ca. 30 %.

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Testkonzepterstellung
• Erstellung von Testprozessen
• Koordination der TC-Entwicklung: Stresstests, Funktionstests, Leistungstests, Tests mit hoher Datenrate, Integrationstests usw.
• HW-Testing: FPGA, RF
• Testautomatisierung und Regressionstests
• Gewährleistung des 24/7-Betriebs des Testsystems
• Analyse & Berichterstattung
• Regelmäßige Koordination des Testteams, Meetings mit anderen Stakeholdern
• Kommunikation und Koordination mit Stakeholdern und Projektleiter

• Mobile: Kotlin Multiplatform (KMP), Kotlin, Swift, SwiftUI, Jetpack Compose, Ktor, Room, Koin
• Backend: Spring Boot, GCP Cloud Run, GCP Load Balancing, GCP Eventarc
• Planung und Entwicklung einer Cloud-Backend-Architektur mit Google Cloud Platform
• Entwicklung einer plattformübergreifenden Architektur mit Kotlin Multiplatform (KMP)
• Tech Lead für ein umfassendes Großprojekt mit Webshop, zwei Apps und einem Omnichannel-Backend

• Mitverfasst Unternehmens-Cloud-Strategie inklusive Sicherheits- und Governance-Rahmen für 5 Tochtergesellschaften und Teil der Governance-Automatisierung umgesetzt.
• Regelmäßige Cloud-Kostenoptimierungs-Reviews für 10 Teams durchgeführt, was zu einer Kostenreduzierung von ca. 20 % führte.
• Die Technologieauswahl für die Migration des internen CIAM mit über 25 Mio. Accounts in eine SaaS-Lösung geleitet und das Produktteam während der Migration unterstützt.
• Überwachte die Technologiewahl und entwarf Architektur sowie Delivery-Pipelines für eine mandantenfähige digitale Nachrichten- und Sport-Publishing-Plattform, wodurch rund 250 Redakteure bereits ca. 6 Monate nach Projektstart arbeiten konnten.
• Führte die Umsetzung eines Multi-Brand-Designsystems von der Idee und dem technischen Konzept bis zur Implementierung und Rollout, was in wenigen Stunden schnelles UI-Prototyping für neue Produkte ermöglichte.
• Führte ein Team von 4 Architekten und förderte das berufliche Wachstum der Teammitglieder.
• Technologien: AWS Cloud, Microservices, Docker, Python, Kafka, JavaScript, TypeScript, React.js, Node.js, GraphQL, REST, GitLab CI, Visual Studio Code, git.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Erweiterung des Dokumenten-Management-Systems um eine standardisierte CMIS-Schnittstelle (Content Management Interoperability Services)
• Implementierung von CMIS-Basisdiensten wie Navigation, Zugriffsrechten, Suche, CRUD-Operationen und Versionierung in Java
• Umsetzung basierend auf RESTful/OpenAPI-Services
• Bereitstellung als Fat-JAR und natives Container-Image
• Deployment On-Premises und serverlos als Azure Container Application mit Terraform
• Steigerung der Team-Autonomie durch Infrastruktur-Engineering und kurze Feedback-Schleifen
• Observability mit OpenTelemetry, Azure Monitor und Azure Logic Apps
• Einführung von Terraform- und Trunk-Based-Development-Prozessen
• Qualitätssicherung mit BDD-Tests in C# mit SpecFlow und Testcontainers
• Azure DevOps Pipeline Integrationstests
• Etablierung von Cloud-Deployment-Prozessen
• Schulung der Mitarbeiter in Cloud und Terraform

• Aufbau und Wartung einer Event-driven Microservice-Architektur um Shopify
• Dokumentation mit Confluence und IcePanel (C4)
• Nutzung von PHP 8.2, Symfony, Shopify, Bref, AWS, SQS, EventBridge, Cloud, DevOps, Datadog, Docker, Kubernetes, Jira, GitHub, Scrum, Kanban, PHPUnit, Prophecy und Swagger

• Entwickelte automatisierte ETL-Pipelines mit AWS Glue und Athena zur Sicherstellung konsistenter Datenqualität und Governance-Anforderungen
• Implementierte Maßnahmen zur Validierung, Anonymisierung und Verschlüsselung von Daten im Einklang mit DSGVO
• Optimierte Cloud-Kosten durch Einführung von FinOps-Verfahren und erhöhte die Transparenz für Fachbereiche
• Überwachte Performance, führte Ursachenanalysen durch und stellte die Einhaltung von SLAs sicher
• Unterstützte Daten- und Lösungsarchitekten beim Aufbau tragfähiger Datenmodelle für ML- und Analytics-Szenarien