AWS Glue Experten in Deutschland

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Von MILLA Group (Hersteller autonomer Shuttles) beauftragt, einen sicherheitskritischen AD-Stack für die Produktion zu integrieren und abzusichern: Architektur über Perception, HD-Karten und Positionierung geprüft und eine Gap-Analyse mit Maßnahmenplan geliefert.
• Root-Cause-Analyse von Sensorfehlern in einer ausgerollten Shuttle-Flotte geleitet; die Behebung in einem versionierten AD-Release umgesetzt und die Fahrzeugvalidierung vor Ort an mehreren Einsatzstandorten vorangetrieben.
• Schnittstellen zwischen Perception, Lokalisierung und Fahrzeugsystemen in C++ entworfen und implementiert; Integrationsrisiken identifiziert und die Lösung subsystemübergreifender technischer Themen im AD-Stack vorangetrieben.
• Den Software-Entwicklungszyklus des Kunden durch Agile-Workflows und CI/CD-Pipelines standardisiert und so Integrations- und Validierungszyklen verkürzt.

• Hatte direkte Linienverantwortung für ein Team von 4 Platform Engineers — inklusive Hiring, Performance Reviews und Karriereentwicklung — und habe dabei einen gemeinsamen Rahmen für Engineering-Standards sowie eine Coaching-Kultur aufgebaut, die die Delivery über Kundenprojekte hinweg beschleunigt hat.
• Habe ein Team von Engineers geführt, um ein cloud-natives Voice-AI-System für einen großen Inspektionskunden zu entwerfen. Damit konnten 2.500 Außendienst-Inspektoren ihre Arbeit komplett freihändig per Echtzeit-Transkription und AI Agents dokumentieren — manuelle Dateneingabe über 440.000 Inspektionen pro Monat wurde eliminiert und die Kosten pro Nutzer von 9 $ auf 1 $ gesenkt. Stack: AWS (DynamoDB, S3, Transcribe, CloudFront, API Gateway, Bedrock), ElevenLabs, Claude.
• Habe ein Team von Engineers geführt, um das Management von Kubernetes-Clustern über mehrere Regionen für einen globalen SaaS-Marktführer zu automatisieren. Dadurch sank die Bereitstellungszeit von 3 Wochen auf unter einen Tag und 90 % der Konfigurationsfehler wurden eliminiert. Stack: EKS, Terragrunt, Python, Bash, ArgoCD.
• Accelerator - Cloud-agnostische KI-Plattform: Ich habe eine cloud-agnostische, Kubernetes-native Plattform als Accelerator entworfen und ausgeliefert. Damit wurde das Multi-Tenant-Management von selbst gehosteten LLMs im Enterprise-Maßstab ermöglicht, inklusive gleichzeitiger Bereitstellung mehrerer Basismodelle und dynamischem Serving von LoRA-Adaptoren. Ich habe die Produktionsinfrastruktur mit Open-Source-Tools (ArgoCD, Karpenter, vLLM, SGLang) entworfen, inklusive automatisiertem Modell-Lifecycle-Management, API-Security (Keycloak + LiteLLM) und kostenoptimierter GPU-Bereitstellung.

• KI- und Data-Science-Lösungen geliefert, darunter LLM-basierte Chatbots und Datenpipelines, wodurch die operative Effizienz verbessert wurde.
• An Produktfunktionen mitgearbeitet, messbare Wirkung erzielt und starke Kundenbeziehungen gepflegt.

• Entwickelte und implementierte skalierbare ETL/ELT-Pipelines mit Python, SQL, dbt, AWS und Informatica, um Daten aus Quellen wie APIs, relationalen Datenbanken und Flat Files in Snowflake zu laden, und verringerte die Pipeline-Laufzeit um ca. 30 %.
• Migrierte umfangreiche Datensätze von On-Premises Teradata zu Snowflake unter Nutzung von AWS-Diensten (S3, Glue, Step Functions, IAM) und stellte so Datenkonsistenz und Integrität sicher.
• Setzte die Kimball-Methodik zur Gestaltung von Stern- und Schneeflockenschemas ein, verbesserte die Abfrageleistung und senkte die Snowflake-Kosten.
• Implementierte automatisierte Datenqualitätsprüfungen mit SQL-basierten dbt-Tests und dem Great Expectations-Framework, um Anomalien zu erkennen und die Datenkorrektheit vor Produktionsläufen sicherzustellen.
• Orchestrierte ETL-Workflows in Airflow mit Python und verwaltete Code-Bereitstellungen über Git nach CI/CD-Best-Practices, um die Zuverlässigkeit zu steigern und die Pipeline-Verfügbarkeit zu gewährleisten.
• Erstellte interaktive Power-BI-Dashboards und kuratierte Datensätze, um datenbasierte Entscheidungen für Stakeholder zu ermöglichen.
• Pflegte technische Dokumentation in Confluence für ETL-Workflows und leitete Wissensaustauschsitzungen für neue Teammitglieder.

traigo ist die digitale Bahnlogistik- und Flottenmanagement-Plattform von VTG. Sie verarbeitet große Mengen an Telemetrie-, Kilometer-, Geofence-, Sensor- und Wagenbewegungs-Ereignissen nahezu in Echtzeit und bietet operative Services für Kunden aus der Bahnlogistik in ganz Europa.

Als Teil des Teams Customer Selfcare habe ich an der Konzeption, Implementierung, Optimierung und dem Betrieb von Backend-Services im großen Maßstab und eventgetriebenen Verarbeitungspipelines gearbeitet — sowohl bei der Feature-Entwicklung als auch mit operativer Verantwortung für geschäftskritische Produktionssysteme. Außerdem war ich regelmäßig erster Ansprechpartner bei Produktionsvorfällen, Dateninkonsistenzen und Performance-Analysen über mehrere verteilte Services hinweg.

• Konzeption und Implementierung eventgetriebener Backend-Services.
• Migration und Ersatz von Legacy-Verarbeitungspipelines.
• Entwicklung von Replay- / Rebuild-Mechanismen für große Event-Datensätze.
• Asynchrone Eventverarbeitung mit hohem Durchsatz auf SNS / SQS.
• Datenbank- und Query-Optimierung für PostgreSQL und DynamoDB.
• Konzeption skalierbarer Read-/Write-Modelle und Aggregationspipelines.
• Fehlersuche in der Produktion und operativer Support.
• Performance-Tuning und Skalierung der Infrastruktur.
• Konzeption und Stabilisierung von Integrations- und Systemtests.
• Technische Konzepte, Architekturdokumentation und Zusammenarbeit über Teams hinweg.
• Unterstützung bei der Weiterentwicklung bestehender GitLab CI/CD-Pipelines

Geofence- & Wagon-Stay-Verarbeitung

• Algorithmus zur Erkennung von Fahrzeugen innerhalb von Geofences (Eintritt, Austritt, Verweildauer).
• Event Sourcing mit garantierter chronologischer Reihenfolge innerhalb des betroffenen Zeitfensters.
• Überarbeitete Geofence-Event- und Wagon-Stay-Verarbeitungslogik für bessere Performance.
• Behebung von Race Conditions und Event-Reihenfolgeproblemen in verteilten Services; serverseitiges Filtern, Aggregieren und optimierte Query-Pipelines.
• Reparatur- und Replay-Tools für beschädigte oder inkonsistente Bewegungsdaten.

Flotten-Metadaten & Kilometerleistung

• Modernisierung des Services; Migration des Speichers von DynamoDB zu PostgreSQL, um die Nachvollziehbarkeit zu verbessern und neue Features schneller umzusetzen.
• Skalierbare Aggregations- und Replay-Mechanismen für Kilometerdaten.
• Read-/Write-Modelle und optimierte Queries für Berechnungen mit hohem Datenvolumen.

Sensor- & Telematik-Integration

• Integration von Telemetrie- und Sensorverarbeitungspipelines.
• Snapshot- und Zustandsberechnungslogik für Sensorsysteme.
• APIs und Persistenzmodelle für Wagonsensordaten; Verbesserungen der Datenqualität.
• Weiterentwicklung eines Services mit gRPC für die Kommunikation zwischen Services.

Verarbeitung von Bewegungssegmenten & Routing

• Migration von Services auf neue Event-Streams für Bewegungssegmente.
• Entwicklung von Replay- und Rebuild-Tools für Segmentkorrekturen.
• Optimierung von Durchsatz und Zuverlässigkeit für Eventverarbeitung mit hohem Volumen.

Zustandsüberwachung & Wagon-Analysen

• APIs und Backend-Services für die Zustandsüberwachung von Wagen.
• Verarbeitung zur Vorhersage von Bremsverschleiß und Funktionen für Wagon-Analysen.
• PostgreSQL-Views und optimierte Query-Modelle für operative Dashboards.

Operative Zuverlässigkeit - First Responder

• Analyse von Produktionsvorfällen und Ausfällen verteilter Systeme; DLQ-Analyse, Replay und operative Wiederherstellung.
• Tuning der Datenbankleistung und AWS-Infrastruktur unter Produktionslast.
• Verbesserte Observability, Monitoring und operative Tools.
• Unterstützung von Rollout-Strategien, Monitoring und Stabilisierung nach Deployments.

• Leitete Design, Entwicklung und Bereitstellung von Datenlösungen zur Unterstützung einer großen Pharma-Übernahme für die Takeda Pharmaceutical Company und lieferte Transparenz-Reporting-Systeme auf den Plattformen Azure, Databricks (Python und Shell-Skripting).
• Verantwortete, entwarf und entwickelte skalierbare ELT-Pipelines, um Kunden- und Produktdaten mit Azure, komplexem SQL, Databricks und Shell-Skripting zu verarbeiten und so eine effiziente Datenintegration und -verarbeitung aus mehreren Quellen zu ermöglichen, einschließlich Job-Orchestrierung und Workflow-Automatisierung.
• Implementierte Performance-Optimierungstechniken (Query-Tuning, Parallelität, Workload-Optimierung) und verbesserte die Systemeffizienz sowie die Verarbeitungszeit.
• Setzte starke Analyse- und Problemlösungsfähigkeiten ein, um technische Lösungen zu bewerten und Geschäftsanforderungen für Compliance- und Transparenz-Reporting zu unterstützen.
• Entwarf skalierbare Datenfundamente für Downstream-Analysen und AI-Workloads.
• Leitete Data-Quality-Initiativen, indem mehrere Quelldaten geprüft, Qualitätsmetriken definiert und Prozesse für Monitoring und kontinuierliche Verbesserung etabliert wurden.

• Migration von Kundendaten von einer Private Cloud zu AWS
• Optimierung von Daten-Transformations-Jobs und Migration von Talend zu AWS Glue
• Automatisierung aller Migrationsschritte
• Verwendete Technologien: AWS, Python, Lambda, CloudFormation, SQLServer, AWS Stepfunctions, Glue, PySpark

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Verantwortlich für die Administration von OpenShift/Kubernetes On-Prem und den Entwickler-Support.
• Automatisierte die URP-Infrastruktur mit Python, Ansible, Kustomize sowie dem ArgoCD- und Argo Workflow/Events-Stack.
• Schrieb Smoke- und Lasttests für die URP-Infrastruktur mit Python, Kustomize und ApplicationSets.
• Unterstützte beim Aufbau und der Bereitstellung der URP-Infrastruktur in Google Cloud (GKE).
• Implementierte Monitoring für die URP- und ArgoCD-Umgebung mit Splunk Cloud.
• Führte Systemadministrationsaufgaben auf RedHat Linux, Kubernetes/OpenShift, ArgoCD, GitLab, Bitbucket Enterprise, Kafka und MongoDB durch.

• Entwicklung und Implementierung von maßgeschneiderten IT-Lösungen für Schlüsselkunden.
• Über 15 Jahre Erfahrung im IT- und Projektmanagement, disziplinarische Führung bis zu 80 Mitarbeiter.

• Bestandsaufnahme der bestehenden Reporting-Landschaft und strategische Bündelung des Bedarfs
• Migration und Konsolidierung von Reports auf Metabase, Anbindung an ClickHouse als Datengrundlage
• Aufbau und Pflege von Datenpipelines

Stack: Metabase · ClickHouse · Appsmith · Airflow

• Entwickle und präsentiere Lösungen mit GenAI-Software wie langchain, vercel ai sdk, copilotkit
• Arbeite mit Kunden zusammen, um ihre Herausforderungen zu verstehen und die besten Lösungen auf Basis von Open-Source-Datenprodukten zu liefern
• Baue RAG- und GraphRAG-Lösungen mit Neo4j, lancedb und Postgres
• Setze eine LLMOps-Plattform mit kubernetes, terraform, helmfile, Arize phoenix, mlflow auf
• Entwerfe und baue Datenpipelines mit dbt, Trino, Spark, Iceberg, Airflow, ArgoCD, terraform, kubernetes
• Lieferte eine nutzerzentrierte technische Strategie für Agriculture 4.0 und Precision Livestock Farming und half meinem Kunden, Fördermittel von Bpifrance zu sichern
• Entwickelte ein Prospecting-Tool für einen führenden französischen Solar-Carport-Installateur mit Geospatial Computing (GIS), wodurch der Vertriebsprozess schneller wurde
• Baute eine Digital-Twin-Architektur für Solar-Carports und EV-Ladestationen, die Echtzeit-Monitoring und intelligentes Laden möglich machte