AWS Step Functions Experten in Deutschland

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• Mentor eines Teams aus 6 ML-Platform-Engineers durch wöchentliche 1:1s, technische Design-Reviews und Best Practices; Verbesserung der Team-Produktivität um 35% durch strukturierte Sprint-Planung und Programme zur Skill-Entwicklung
• Definition der ML-Plattform-Roadmap 2025–2026 in Zusammenarbeit mit Data Science, Cloud Engineering und Product Teams; Priorisierung von automatisierter Model Governance, Cost-Attribution-Systemen und Multi-Environment-Deployment-Strategien
• Zusammenarbeit mit Stakeholdern aus Data Science, SRE und Product, um die Fähigkeiten der ML-Plattform mit den Geschäftszielen abzustimmen; Reduktion der Deployment-Hürden für Data Scientists um 60% durch Self-Service-Plattformen
• Architektur und Lieferung einer produktionsreifen MLOps-Plattform für 50+ Modelle in Produktion mit automatisierten Promotion-Pipelines, Versionierung und Rollback-Funktionen; Erreichung eines SLA von 99,5% Plattform-Uptime
• Design einer verteilten ML-Pipeline-Architektur mit Metaflow und Argo Workflows (Vertex Pipelines-kompatibel); Verkürzung der Modell-Trainingszeit um 30% und der Deployment-Zyklen von 2 Wochen auf 3 Tage durch vollständige CI/CD-Automatisierung
• Aufbau containerisierter ML-Services auf Kubernetes mit Auto-Scaling-Policies, Resource Quotas und Multi-Tenancy-Isolation; Optimierung der Infrastrukturkosten um 180K $ pro Jahr (25% Reduktion)
• Implementierung von Monitoring, Alerting und Performance-Tracking mit Prometheus, Grafana und Custom Instrumentation; Reduktion der Debugging-Zeit für Modelle um 50% und Einführung von SLOs für die Modell-Performance
• Leitung der Entwicklung einer RAG-basierten Document-Intelligence-Plattform mit LangChain, LangGraph und Vektor-Datenbanken; Implementierung von Agentic-AI-Workflows für die automatisierte Verarbeitung von Finanzdokumenten
• Implementierung von Infrastructure-as-Code mit Terraform für reproduzierbare Umgebungseinrichtung und GitOps-Workflows; Reduktion von Infrastruktur-Drift-Vorfällen um 80%
• Design von rollenbasiertem Zugriff für die ML-Plattform, Implementierung von Model-Lineage-Tracking und Aufbau von Audit Trails für regulatorische Compliance nach Enterprise-IAM-Best Practices

In meiner Rolle als Senior Cloud DevOps Architect bei BP, einem Öl- und Gasunternehmen, hatte ich die Aufgabe, die Plattform für das Laden von Elektrofahrzeugen der EV Division von On-Premises und Azure in die AWS-Cloud zu migrieren, was zu einer hybriden Multi-Cloud-, Multi-Tenant-SaaS-Lösung führte.

Der Einsatz von Kubernetes für die Anwendungsebene bedeutete die Bereitstellung von Kubernetes-Clusters, die von EKS und AKS verwaltet wurden, mit Fokus auf die Integration in eine Multi-Tenant-Umgebung. Diese Integration wurde durch den Einsatz von Kubernetes-Namespace und Zugriffskontrollen erreicht, um Datenisolation und Datenschutz sicherzustellen.

Auf der Datenbankebene entschieden wir uns für eine RDS-Instanz mit PostgreSQL zur Unterstützung der Backend-Infrastruktur unserer Anwendungen. Die Mandanten teilten sich dieselbe RDS-Instanz, hatten aber jeweils ein eigenes Schema.

Um nahezu in Echtzeit Daten von physischen Ladestationen (CPOs) als IoT-Geräte über das OCPI-Protokoll aufzunehmen, stießen wir bei der Batch-Verarbeitung auf erhebliche Verzögerungen. Daher entwickelten wir eine Streaming-Datenpipeline in Echtzeit mit Apache Kafka und setzten dabei auf eine eventgetriebene Architektur.

Ich leitete die Zusammenarbeit über mehrere interne Teams, externe Anbieter, Cloud-Provider und Partner vor Ort hinweg, um über fünf Systeme in eine einheitliche Lösung zu integrieren.

Erfolge:

• Erfolgreich hybride Multi-Cloud-Lösungen entworfen und umgesetzt, die mehrere Cloud-Plattformen (AWS, Azure) mit On-Premises-Infrastruktur unter Einsatz von Site-to-Site-VPNs, Firewalls und Load Balancing integrierten.
• Die Migration der On-Premises-Infrastruktur zu einer Multi-Cloud-, Multi-Tenant-Infrastruktur geleitet, was zu 30 % schnelleren Verarbeitungszeiten führte.
• Workloads aus VMware- und Hyper-V-Umgebungen auf cloudbasierte VMs migriert und dabei Cloud-native Services genutzt, um Leistung, Kosteneffizienz und Skalierbarkeit zu optimieren.
• Eine Multi-Tenant-Kubernetes-Plattform entworfen, die das Kubernetes-Ökosystem nutzt, mit Karpenter für die dynamische Bereitstellung von EC2-Nodes, KEDA für eventgesteuertes Pod-Autoscaling (z. B. Kafka-Message-Lag) und Rancher für das zentrale Monitoring mehrerer Cluster (EKS, AKS oder On-Prem K8s), als Ersatz für den Microsoft-zentrierten Azure-Arc-Management-Service.
• Python-basierte FastAPI-Microservices als Teil des EV-Core-Backends auf der AWS-EKS-Anwendungsebene entworfen und umgesetzt, die Datenaufnahme- und Kundenanalyse-Pipelines antreiben.
• Asynchrone, eventgetriebene APIs (Python-FastAPI) für die Echtzeit-Integration mit CPOs entwickelt, mit Unterstützung für OCPI 2.3 und OICP-Protokolle.
• Eine sichere, produktionsreife Azure-Databricks-Plattform mit Terraform entworfen und umgesetzt und dabei Skalierbarkeit und Kosteneffizienz sichergestellt.
• On-Premises-ERP auf eine hybride Dynamics-365-Architektur migriert, mit ERP lokal gehostet und CRM in Azure betrieben, integriert über Azure Arc.
• CI/CD-Pipelines für Databricks-Notebooks und Jobs mit GitHub Actions und Databricks CLI automatisiert, wodurch die Bereitstellungszeit reduziert wurde. Die Bereitstellungszeit für Infrastruktur durch Automatisierung der Cloud-Ressourcenbereitstellung mit GitOps um 70 % reduziert.
• Die Einhaltung interner Audit- und Data-Governance-Standards (GDPR) durch OAuth2/OIDC-basierte Authentifizierung und fein abgestufte rollenbasierte Zugriffskontrollen sichergestellt.
• Ein Zero-Trust-Sicherheitsmodell entwickelt, das Least-Privilege-Zugriffe und Mikrosegmentierung durchsetzt und die Sicherheitslage sowie die Compliance mit GDPR und NIST verbessert.
• Interaktive Analytics-Dashboards in Amazon QuickSight erstellt, die Daten aus S3 und Redshift integrieren, um Echtzeit-Business-Insights und Visualisierungen mit eingebettetem Zugriff für Multi-Tenant-Nutzer bereitzustellen.
• Cloud-Sicherheitsbewertungen und eine Sicherheitsintegration über den gesamten Lebenszyklus während M&A geleitet, einschließlich AWS, Azure, IAM (Entra ID) und Datenschutz, und dabei die Sicherheitslage mit NIST, ISO 27001 und GDPR über hybride und cloud-native Umgebungen hinweg ausgerichtet.
• Die Cloud-Kosten für eine Dev-Umgebung eines Kunden um 64 % gesenkt, indem automatisierte Start-/Stopp-Zeitpläne für EC2- und RDS-Instanzen über AWS CDK mit EventBridge Scheduler oder AWS Systems Manager implementiert wurden.

Tech-Stack:

• Infrastructure as Code: Terraform, AWS CDK, Ansible.
• Container: Kubernetes auf EKS, AKS, Docker.
• Streaming-Datenverarbeitung: Kafka zu Confluent Cloud, nach AWS MSK.
• Frontend: TypeScript, React, NextJS, Hooks, Styled Components.
• Backend: Python mit FastAPI, außerdem Node.js mit NestJS.
• Datenbank: Aurora auf PostgreSQL mit TypeORM, RDS auf SQL Server, vollständiges Setup und Administration von Azure Databricks, ETL-Pipelines.
• CI/CD und GitOps: GitHub Actions, Azure DevOps, ArgoCD.
• Monitoring und Observability: Prometheus und Grafana.
• Virtualisierung: Hyper-V, VMware Cloud on AWS, Azure Migrate.
• ERP-Systeme: Odoo, Microsoft Dynamics 365 Business Central auf Azure, integriert mit Azure Arc.
• Netzwerke: Site-to-Site-VPNs, AWS Direct Connect, Azure ExpressRoute, Firewalls (AWS Network Firewall, Azure Firewall).
• Sicherheit: IAM, NIST Framework, Zero-Trust-Sicherheit, AWS WAF, AWS Shield, GuardDuty.

• Konzeption und Implementierung einer Python-basierten ETL-Pipeline mit dem Dagster-Framework für die Transformation von Energierohdaten aus heterogenen Quellen mit InfluxDB und Visualisierungen in Grafana
• Definition von zeitlich gesteuerten und abhängigkeitsbasierten Jobs
• Bereitstellung auf einem verwalteten Kubernetes-Cluster mit Helm
• Anbindung von InfluxDB Cloud
• Aufbereitung von Daten für Nutzung in Grafana inkl. Säuberung und Normalisierung plus zeitliches Resampling in Python
• Entwicklung von Dashboards und Visualisierungen in Grafana
• Entwicklung von Unit-Tests inkl. Mocking mit pytest
• Aufbau von CI/CD-Pipeline in GitLab

Technologien: Python, Dagster, InfluxDB, Grafana, pandas, pytest, REST, CI/CD, GitLab, Container, Kubernetes, Helm, Docker, Cloud

Konzeption und Umsetzung eines modular aufgebauten Kundenportals auf Basis von Laravel.

Schwerpunkte waren die Definition einer wartbaren Systemarchitektur unter weitgehender Anwendung von Domain-Driven-Design-Prinzipien (im Rahmen der Laravel-Architektur), die Einführung automatisierter Qualitätssicherungsprozesse (Teststrategie, CI-Integration) sowie die Vorbereitung eines auditierbaren Betriebs (Logging, Nachvollziehbarkeit von Änderungen) in einer AWS-basierten Infrastruktur unter Berücksichtigung von IT-Sicherheitsstandards nach NIST und Prozessanforderungen nach ISO 9001.

Leistungen:

• Analyse und Strukturierung fachlicher Anforderungen in enger Abstimmung mit den Stakeholdern
• Dokumentation der Systemarchitektur und Infrastruktur inkl. Change- und Release-Management
• Konzeption und Umsetzung einer Schnittstelle zur Integration von SAP-Systemen
• Planung und Implementierung automatisierter Tests zur Qualitätssicherung
• Umsetzung von Security- und Compliance-Anforderungen, u. a. SBOM-Generierung, Software-Lizenzmanagement und QS-Prozesse
• Technische Beratung und Unterstützung des internen IT-Teams
• Einführung und Etablierung KI-gestützter Entwicklungsprozesse (Spec-Driven Development) inkl. KI-lesbarer Spezifikationen, Integration von KI-Anweisungen in die Entwicklungsumgebung sowie Schulung der Entwickler im produktiven Einsatz

Techniken und Tools: SAP, Docker, ddev, PHP 8.4, Laravel, Filament, C4 Model, Architecture Decision Records (ADR), Mermaid, PlantUML, Spec-Driven Development, Claude, GitHub Copilot, Codex

• Migration von Kundendaten von einer Private Cloud zu AWS
• Optimierung von Daten-Transformations-Jobs und Migration von Talend zu AWS Glue
• Automatisierung aller Migrationsschritte
• Verwendete Technologien: AWS, Python, Lambda, CloudFormation, SQLServer, AWS Stepfunctions, Glue, PySpark

• Technische Leitung und Architektur für Enterprise-Kunden (u.a. LR Health & Beauty, Deutsche Bahn, Trusted Shops)
• Cloud-Migration, Microservices-Architekturen, CI/CD-Optimierung

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Unterstützung beim Entwurf der AWS-Infrastruktur, integrierter Dienste und der Backend-Architektur für Use Cases einer On-Premise-Lösung und teilweiser Migrationen zu AWS mit schnellen Reaktionszeiten
• Implementierung automatisierter AWS-Integrationstest-Suiten
• Umsetzung von geschäftskritischen Komponenten und Lieferung vor Fristtermin in produktionsreifer Form mit Betriebs- und Überwachungskonzepten
• Dieses zweimonatige Teilprojekt drehte sich um den Aufbau einer datenintensiven Pipeline (5 TB), die kontinuierlich mit Daten angereichert wird
• Entwurf und Implementierung wiederverwendbarer AWS-CDK-Komponenten für Teams im Unternehmen, um ein schnelleres Onboarding in AWS zu ermöglichen
• Coaching zu AWS-Themen, verteilten Softwaremustern, Sicherheit, Domain-Driven Design, agiler Zusammenarbeit und Dokumentation zur Verbesserung von Performance und Zusammenarbeit
• Technologien: AWS, GitHub Actions, ETL, Monitoring, Betrieb, TypeScript, Python, AWS CDK, CloudFormation, Java, Docker, AWS ECS, AWS Lambda, Serverless, Jenkins, DevOps-Prinzipien

• Weiter- und teilweise Neuentwicklung einer verteilten Cloud-Anwendung zur Bereitstellung von Daten im Energiehandel
• Selbstständige Implementierung der Infrastruktur (IaC)
• Erstellung von automatisierten CI/CD-Pipelines, Containern, REST-APIs und Lambdas
• Ständige Kosten- und Performanceoptimierung
• Zusammenarbeit im internationalen Scrum-Team und mit Experten im Energiehandel
• Technologien: C#/ASP.NET Core; EF Core; PostgreSQL; Terraform/AWS CloudFormation; HTTP; REST/Web API; Swagger/OpenAPI; Azure DevOps; Rider; VS Code; git; Docker; AWS (S3, EC2, Fargate, Lambda, Step Functions, Secrets Manager, VPCs, ALB/NLB, RDS, Cloudwatch, AWS CLI, Amazon MQ); Redis; OAuth; OpenID Connect
• Sprachen: C#; TypeScript; HCL; Docker; Bash; PowerShell; YML; JSON

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Bootstrapping eines CloudOps-Teams und Aufbau eines Multi-Cloud Provider-Backends für eine Low-Code Internal Developer Platform (IDP) mit env zero

• Einführung von User Story Mapping, ADRs, Meilensteinen und Backlog-Management

• Konzeption und Entwicklung der Kern-APIs, Setup von CI/CD-Pipelines, OpenTofu/Terraform-Skripte

• Vertretung und Kommunikation des Teams bei Third-Party Stakeholdern (z. B. env zero)

• (Cross-)Team-Coaching zu DevOps, Softwaredesign, Terraform, Golang und Agilen Methoden

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte sowie höhere Transparenz und Reproduzierbarkeit
• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur
• Pipeline-Orchestrierung mit Azure Data Factory
• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions
• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)
• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses
• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs
• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS SharePoint, Mural