Apache Spark Experten in Hamburg

traigo ist die digitale Plattform von VTG für Bahnlogistik und Flottenmanagement. Sie verarbeitet große Mengen an Telemetrie-, Kilometer-, Geofence-, Sensor- und Wagenbewegungs-Events nahezu in Echtzeit und stellt operative Services für Kunden aus der Bahnlogistik in ganz Europa bereit.

Als Teil von Team Customer Selfcare habe ich an Design, Implementierung, Optimierung und Betrieb großer Backend-Services und eventgesteuerter Verarbeitungspipelines gearbeitet — sowohl an der Feature-Entwicklung als auch an der operativen Verantwortung für geschäftskritische Produktionssysteme. Außerdem war ich regelmäßig erster Ansprechpartner bei Produktionsvorfällen, Dateninkonsistenzen und Performance-Analysen über mehrere verteilte Services hinweg.

• Design und Implementierung eventgesteuerter Backend-Services.
• Migration und Ablösung von Legacy-Verarbeitungspipelines.
• Entwicklung von Replay-/Rebuild-Mechanismen für große Event-Datenmengen.
• Asynchrone Event-Verarbeitung mit hohem Durchsatz auf SNS / SQS.
• Datenbank- und Query-Optimierung für PostgreSQL und DynamoDB.
• Design skalierbarer Read-/Write-Modelle und Aggregationspipelines.
• Fehlersuche in der Produktion und operativer Support.
• Performance-Tuning und Skalierung der Infrastruktur.
• Design und Stabilisierung von Integrations- und Systemtests.
• Technische Konzepte, Architektur-Dokumentation und bereichsübergreifende Zusammenarbeit.
• Unterstützung bei der Weiterentwicklung bestehender GitLab CI/CD-Pipelines

Geofence- und Wagenstand-Verarbeitung

• Algorithmus zur Erkennung von Fahrzeugen innerhalb von Geofences (Eintritt, Austritt, Verweildauer).
• Event Sourcing mit garantierter chronologischer Reihenfolge innerhalb des betroffenen Zeitfensters.
• Refactoring der Logik für Geofence-Events und Wagenstand-Verarbeitung für bessere Performance.
• Behebung von Race Conditions und Problemen mit der Event-Reihenfolge in verteilten Services; serverseitiges Filtern, Aggregieren und optimierte Query-Pipelines.
• Reparatur- und Replay-Tools für beschädigte oder inkonsistente Bewegungsdaten.

Flotten-Metadaten & Kilometerstände

• Modernisierung des Services; Migration des Speichers von DynamoDB nach PostgreSQL, um die Nachverfolgbarkeit zu verbessern und neue Features schneller umzusetzen.
• Skalierbare Aggregation von Kilometerständen und Replay-Mechanismen.
• Read-/Write-Modelle und optimierte Queries für Berechnungen mit hohen Datenmengen.

Sensor- & Telematik-Integration

• Integration von Telemetrie- und Sensor-Verarbeitungspipelines.
• Snapshot- und Zustandsberechnungslogik für Sensorsysteme.
• APIs und Persistenzmodelle für Wagensensordaten; Verbesserungen der Datenqualität.
• Weiterentwicklung eines Services mit gRPC für die Kommunikation zwischen Services.

Verarbeitung von Bewegungssegmenten & Routing

• Migration von Services auf neue Event-Streams für Bewegungssegmente.
• Aufbau von Replay- und Rebuild-Tools für Segmentkorrekturen.
• Optimierung von Durchsatz und Zuverlässigkeit bei der Verarbeitung großer Event-Mengen.

Zustandsüberwachung & Wagenanalyse

• APIs und Backend-Services für die Zustandsüberwachung von Wagen.
• Verarbeitung zur Vorhersage von Bremsverschleiß und Funktionen für Wagenanalysen.
• PostgreSQL-Views und optimierte Query-Modelle für operative Dashboards.

Operative Zuverlässigkeit - First Responder

• Analyse von Produktionsvorfällen und Ausfällen verteilter Systeme; DLQ-Analyse, Replay und operative Wiederherstellung.
• Tuning der Datenbank-Performance und der AWS-Infrastruktur unter Produktionslast.
• Verbesserung von Observability, Monitoring und operativen Tools.
• Unterstützung bei Rollout-Strategien, Monitoring und Stabilisierung nach dem Deployment.

• Migration von Kundendaten von einer Private Cloud zu AWS
• Optimierung von Daten-Transformations-Jobs und Migration von Talend zu AWS Glue
• Automatisierung aller Migrationsschritte
• Verwendete Technologien: AWS, Python, Lambda, CloudFormation, SQLServer, AWS Stepfunctions, Glue, PySpark

• Aufbau einer AI & Data Consultancy Practice mit dem Ziel, europäische Unternehmen bei der Adoption von Artificial Intelligence und modernen Datenplattformen zu unterstützen
• End-2-End Weiterentwicklung eines Produktivsystems unter Einsatz von modifizierten Coding-Agenten (OpenCode). Techstack: Kubernetes, Argo, Keycloak, Typescript, Grafana, GitOps, DevOps, Playwright
• Internes Forschungsprojekt zum Einsatz Coding Agenten im Bereich mathematischer Logik für das Erstellen von formalen Modellen. Einsatz von Cursor IDE und Codex, Codex CLI. Architektur-Entwurf, Qualitätskontrolle und Refactoring, sowie das Schreiben von Code und Tests. Repository (open source) in Pre-launch verfügbar
• Forschung zur Rolle von mathematischer Logik als formale Sprache, die IT und KI mit Unternehmensprozessen verbindet.
• Projektleiter für das Erheben und Ausspielen von Abstellempfehlungen für Schienenfahrzeuge mit erheblichem Einsparpotential auf Basis von Echtzeitdaten in einem Mobilitäts- und Verkehrskonzern
• Projektleiter für das Erheben und Verteilen von Prozess-Meßpunkten in der Bereitstellung für Echtzeitsteuerung in einem Mobilitäts- und Verkehrskonzern
• Stellvertretender Anwendungsverantwortlicher für eine App zur Kommunikation in der Zuführung und Bereitstellung von Schienenfahrzeugen

• Entwarf und implementierte LLM-basierte KI-Agenten, RAG-Pipelines und Vektorsuchlösungen zur Entscheidungsunterstützung in der Retail-Banking-Abteilung.
• Entwickelte und lieferte robuste KI-Pipelines mit Schutzmechanismen, Fehlerbehandlung, Monitoring und Fallback-Logik, um hohe Zuverlässigkeit und Einhaltung der Datenschutzbestimmungen zu gewährleisten.
• Entwickelte und implementierte ML-Modelle zur Erkennung von Transaktionsanomalien, wodurch die Betrugserkennung und Risikobewertung in großen Datensätzen für das Kreditrisikomodell verbessert wurden.
• Erstellte, bewertete und optimierte ML-Modelle zur Generierung von Propensity Scores für Kunden, die in personalisierten Targeting-Kampagnen für Kreditkarten und Privatkreditprodukte eingesetzt wurden.
• Entwickelte eine NLP-Pipeline mit BERT-Embeddings und spaCy NER für SMS-/E-Mail-Analysen und Kundenanfragenprotokolle.
• Trainierte Machine-Learning-Modelle mit Isolation Forest, um Nutzerverhalten zu klassifizieren und Anomalien zu erkennen.
• Extrahierte, bereinigte, angereicherte und feature-engineerte Datensätze aus verschiedenen Quellen, um Feature Stores zu erstellen, die das Training von ML-Modellen ermöglichten.
• Leitete die Entwicklung von Dashboards mit Power BI, Grafana und Prometheus zur Überwachung der Modellleistung, KPI-Trends und Marketing-Kennzahlen.
• Erstellte Multi-Touch-Attributionsmodelle mit logistischer Regression und zeitverfallbasierten Gewichtungen zur Bewertung der Lead-Qualität.
• Entwickelte skalierbare ETL-Pipelines aus CRM, T24, SAP und ERP zur Unterstützung von Millionen monatlicher Transaktionen.
• Integrierte Testverfahren und CI/CD-Workflows für eine stabile Bereitstellung von Datenpipelines.

• Aufbau von Teams für Datenfachleute – BI-Analysten, Data Scientists, Data Engineers
• Definition der Datenstrategie für alle Geschäftsbereiche zur Unterstützung kurz-, mittel- und langfristiger Unternehmensziele
• Zusammenarbeit mit Produktverantwortlichen, Management und Abteilungsleitern zur Datenunterstützung
• Budgetfestlegung, um alle Maßnahmen zu ermöglichen
• Abstimmung der Ziele des Datenteams mit Unternehmensvision, -strategie und -zielen
• Verantwortung für Data Governance sowie für die strategische Entwicklungsplanung
• Definition und Entwicklung gemeinsamer OKRs
• Direkte Berichtslinie an CTO und CEO

• Erlangte die AWS Certified Cloud Practitioner-Zertifizierung.

• Beherrschte Rust durch Selbststudium mit Büchern, Online-Kursen und Beiträgen zu Open Source.

• Entwickelte eine serverlose Webanwendung mit AWS (RDS, Lambda, Polly, Amplify) und TypeScript/React/D3; verwaltete die Infrastruktur mit CDK.

• Hielt mich kontinuierlich über Branchentrends auf dem Laufenden durch Selbststudium, Webinare und Workshops und erkundete Data Mesh und FastAPI.

• Datenpipelines für rohe und kuratierte Datenschichten mit AWS S3, Glue, Athena und Lake Formation erstellen
• CI/CD mit GitHub Actions oder GitLab CI und CodePipeline einrichten
• Modelle in Demo-APIs prototypisch umsetzen, mit Docker verpacken, in Git versionieren, Grundtests mit pytest hinzufügen und Deployments auf AWS SageMaker Endpoint unterstützen
• Explorative Datenanalyse und Feature Engineering mit pandas und PySpark durchführen; Experimente in MLflow oder Weights and Biases nachverfolgen
• A/B-Tests entwerfen und durchführen, um das Nutzerengagement zu optimieren und datenbasierte Entscheidungen zu treffen

• Backend-APIs mit Quarkus, Kotlin, MongoDB, Docker Compose und NGINX erstellt
• Frontend mit React, TypeScript und Ant Design entwickelt