Amazon EventBridge Experten in Deutschland

• Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Entwurf, Aufbau und Wartung skalierbarer ETL/ELT-Datenpipelines mit Python, SQL, REST APIs, AWS Lambda, S3, RDS PostgreSQL, EventBridge, CloudWatch, Docker, Apache Airflow und BigQuery – Integration von Daten aus GA4, Google Ads, Meta Ads, CMS, CRM, Newslettern, Events und B2C-Bestellsystemen in analyseoptimierte Datensätze.
• Aufbau einer markenübergreifenden Lakehouse-Architektur von AWS zu BigQuery – Umwandlung von Roh-JSON/CSV-Daten in strukturierte, partitionierte und wiederverwendbare Reporting-Schichten mit Staging-, Intermediate-, Canonical- und Mart-Modellen.
• Entwurf relationaler und dimensionaler Datenmodelle: 3NF-Staging-Modelle, Star-Schemas, Faktentabellen, Dimensionstabellen, tägliche KPI-Aggregate und Dashboard-optimierte Marts für Marketing-, Content-, Abonnement-, Event-, CRM- und Umsatzanalysen.
• Implementierung produktionstauglicher Datenqualitäts- und Pipeline-Zuverlässigkeitsfunktionen: inkrementelle Loads, idempotente Upserts, Deduplizierung, Schema-Validierung, Zeilenabgleich, Null-Checks, Anomalieerkennung, Frische-Monitoring, Logging, Wiederholungsversuche und Fehlerbenachrichtigungen.
• Automatisierung markenübergreifender Reporting-Prozesse und Datenprodukte – Pipelines für 73 Newsletter-Kampagnen, 31 Lead-Listen-Synchronisierungen, 52 Event-Partner-Berichte und eine 500K-Datensatz-Unternehmensabgleich-Pipeline; Reduzierung der manuellen Datenvorbereitung um ca. 70 % und Steigerung der Analyst-Produktivität um ca. 30 %.

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Mobile: Kotlin Multiplatform (KMP), Kotlin, Swift, SwiftUI, Jetpack Compose, Ktor, Room, Koin
• Backend: Spring Boot, GCP Cloud Run, GCP Load Balancing, GCP Eventarc
• Planung und Entwicklung einer Cloud-Backend-Architektur mit Google Cloud Platform
• Entwicklung einer plattformübergreifenden Architektur mit Kotlin Multiplatform (KMP)
• Tech Lead für ein umfassendes Großprojekt mit Webshop, zwei Apps und einem Omnichannel-Backend

• Migrierte die SaaS-App der EV-Division für Elektrofahrzeug-Ladeinfrastruktur von On-Premises und Azure in die AWS-Cloud und schuf damit eine hybride Multi-Cloud-Multi-Tenant-Lösung.
• Entwickelte eine Streaming-Daten-Pipeline mit AWS MSK für Apache Kafka und implementierte eine ereignisgesteuerte Architektur, um nahezu Echtzeitdaten von OCPI-Protokoll-IoT-Geräten zu erfassen und zu verarbeiten.
• Implementierte Multi-Tenant-Strategien, einschließlich Datenbankschema-Isolierung, Bridge-Modell für Ressourcenteilung und mandantenbasierter RBAC-Kontrollen.
• Provisionierte Kubernetes-Cluster auf AWS EKS mit Namespaces und RBAC zur Mandantentrennung.
• Leitete die Migration von On-Premises und Azure in die AWS-Cloud unter Nutzung von AWS DataSync, Snowball und Database Migration Service.
• Koordinierte die Zusammenarbeit zwischen über fünf Systemen, Anbietern, Dienstleistern und Vor-Ort-Teams.
• Unterstützte die Entwicklung und Pflege der IT-Strategie in Übereinstimmung mit den Geschäftszielen.
• Verwaltete ein Infrastruktur-Budget von 40 Mio. € und optimierte Kosten in AWS und Azure, was 15 % Einsparungen brachte.
• Führte über 50 Entwickler bei der Umsetzung komplexer Datenbankprozeduren, wodurch die Produktivität um 20 % stieg.
• Leitete die Multi-Cloud-Multi-Tenant-Infrastrukturmigration und erzielte 30 % schnellere Verarbeitungszeiten.
• Verhandelte mit Anbietern über Preise, um die Kosten für Lohn- und Leistungsverwaltung um 20 % zu senken.
• Erarbeitete eine zweijährige Technologie-Roadmap für die Infrastruktur, die 25 % Kosteneinsparungen brachte.
• Technologie-Stack: Kubernetes auf AWS EKS, Docker, Kafka/AWS MSK, Terraform, AWS CDK, TypeScript, React, NextJS, Node.js, NestJS, Python, Aurora Serverless, RDS (MySQL, SQL Server), GitHub Actions, Azure DevOps, ArgoCD, AWS Lambda, API Gateway, AWS Security Hub, AWS Database Migration Service, AWS DataSync, AWS Organizations, AWS Control Tower, Odoo, Microsoft Navision, MS Dynamics.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Mitverfasst Unternehmens-Cloud-Strategie inklusive Sicherheits- und Governance-Rahmen für 5 Tochtergesellschaften und Teil der Governance-Automatisierung umgesetzt.
• Regelmäßige Cloud-Kostenoptimierungs-Reviews für 10 Teams durchgeführt, was zu einer Kostenreduzierung von ca. 20 % führte.
• Die Technologieauswahl für die Migration des internen CIAM mit über 25 Mio. Accounts in eine SaaS-Lösung geleitet und das Produktteam während der Migration unterstützt.
• Überwachte die Technologiewahl und entwarf Architektur sowie Delivery-Pipelines für eine mandantenfähige digitale Nachrichten- und Sport-Publishing-Plattform, wodurch rund 250 Redakteure bereits ca. 6 Monate nach Projektstart arbeiten konnten.
• Führte die Umsetzung eines Multi-Brand-Designsystems von der Idee und dem technischen Konzept bis zur Implementierung und Rollout, was in wenigen Stunden schnelles UI-Prototyping für neue Produkte ermöglichte.
• Führte ein Team von 4 Architekten und förderte das berufliche Wachstum der Teammitglieder.
• Technologien: AWS Cloud, Microservices, Docker, Python, Kafka, JavaScript, TypeScript, React.js, Node.js, GraphQL, REST, GitLab CI, Visual Studio Code, git.

• Beratung einer NGO im Bereich Rechenzentrum-Nachhaltigkeit in öffentlich geförderten Projekten (BMUKN mit NADIKI und Umweltbundesamt mit SIEC)
• Entwicklung von Python-APIs und Webanwendungen, Bereitstellung auf AWS/ECS mit Terraform
• Erfassung des Stromverbrauchs von Servern, CPUs und GPUs bei KI-Workloads
• Verwendete Technologien: AWS, EC2, ECS, Fargate, CloudMap, VPC, Route53, Lambda, EventBridge, CodeBuild/CodePipeline/CodeDeploy, Terraform, Docker, Linux, Bash-Scripting, Python, Flask, SQLAlchemy, SQL, MariaDB, InfluxDB, Telegraf, Prometheus, Zabbix, Kubernetes, Letsencrypt, Zertifikatsverwaltung

• Erweiterung des Dokumenten-Management-Systems um eine standardisierte CMIS-Schnittstelle (Content Management Interoperability Services)
• Implementierung von CMIS-Basisdiensten wie Navigation, Zugriffsrechten, Suche, CRUD-Operationen und Versionierung in Java
• Umsetzung basierend auf RESTful/OpenAPI-Services
• Bereitstellung als Fat-JAR und natives Container-Image
• Deployment On-Premises und serverlos als Azure Container Application mit Terraform
• Steigerung der Team-Autonomie durch Infrastruktur-Engineering und kurze Feedback-Schleifen
• Observability mit OpenTelemetry, Azure Monitor und Azure Logic Apps
• Einführung von Terraform- und Trunk-Based-Development-Prozessen
• Qualitätssicherung mit BDD-Tests in C# mit SpecFlow und Testcontainers
• Azure DevOps Pipeline Integrationstests
• Etablierung von Cloud-Deployment-Prozessen
• Schulung der Mitarbeiter in Cloud und Terraform

• Aufbau und Wartung einer Event-driven Microservice-Architektur um Shopify
• Dokumentation mit Confluence und IcePanel (C4)
• Nutzung von PHP 8.2, Symfony, Shopify, Bref, AWS, SQS, EventBridge, Cloud, DevOps, Datadog, Docker, Kubernetes, Jira, GitHub, Scrum, Kanban, PHPUnit, Prophecy und Swagger

• Entwickelte automatisierte ETL-Pipelines mit AWS Glue und Athena zur Sicherstellung konsistenter Datenqualität und Governance-Anforderungen
• Implementierte Maßnahmen zur Validierung, Anonymisierung und Verschlüsselung von Daten im Einklang mit DSGVO
• Optimierte Cloud-Kosten durch Einführung von FinOps-Verfahren und erhöhte die Transparenz für Fachbereiche
• Überwachte Performance, führte Ursachenanalysen durch und stellte die Einhaltung von SLAs sicher
• Unterstützte Daten- und Lösungsarchitekten beim Aufbau tragfähiger Datenmodelle für ML- und Analytics-Szenarien

• Erstellung von Testkonzepten
• Erstellung von Testprozessen
• Koordination der Testfall-Entwicklung: Stresstests, Funktionstests, Leistungstests, Tests mit hoher Datenrate, Integrationstests usw.
• Hardware-Tests: FPGA, RF
• Testautomatisierung und Regressionstests
• Sicherstellung des 24/7-Betriebs des Testsystems
• Analyse und Berichterstattung
• Regelmäßige Koordination des Testteams, Abstimmungen mit anderen Stakeholdern
• Kommunikation und Abstimmung mit Stakeholdern und Projektleitung

• Entwickelte ein Tool zur Erstellung von Gebührenvorschlägen, das die Honorarberechnung für Finanzberater automatisiert und die manuelle Bearbeitung von Stunden auf Sekunden verkürzt.
• Entwickelte Spring Boot Microservices mit REST-APIs auf Azure SQL, ersetzte Mainframe-Prozeduren und verbesserte die Latenz um 60%.
• Migrierte Tomcat-Anwendungen von lokalen RHEL-Servern zu Azure Kubernetes Service (AKS).
• Automatisierte Test- und Deploy-Prozesse mit CI/CD-Pipelines in GitLab und reduzierte die Bereitstellungszeit um 90%.
• Optimierte wiederkehrende Reporting-Workflows durch Automatisierung der Berichtserstellung mit Spring Batch.