Amazon CloudWatch Experten in Hamburg

• Konzeption und Implementierung einer Python-basierten ETL-Pipeline mit dem Dagster-Framework für die Transformation von Energierohdaten aus heterogenen Quellen mit InfluxDB und Visualisierungen in Grafana
• Definition von zeitlich gesteuerten und abhängigkeitsbasierten Jobs
• Bereitstellung auf einem verwalteten Kubernetes-Cluster mit Helm
• Anbindung von InfluxDB Cloud
• Aufbereitung von Daten für Nutzung in Grafana inkl. Säuberung und Normalisierung plus zeitliches Resampling in Python
• Entwicklung von Dashboards und Visualisierungen in Grafana
• Entwicklung von Unit-Tests inkl. Mocking mit pytest
• Aufbau von CI/CD-Pipeline in GitLab

Technologien: Python, Dagster, InfluxDB, Grafana, pandas, pytest, REST, CI/CD, GitLab, Container, Kubernetes, Helm, Docker, Cloud

traigo ist die digitale Bahnlogistik- und Flottenmanagement-Plattform von VTG. Sie verarbeitet große Mengen an Telemetrie-, Kilometer-, Geofence-, Sensor- und Wagenbewegungs-Ereignissen nahezu in Echtzeit und bietet operative Services für Kunden aus der Bahnlogistik in ganz Europa.

Als Teil des Teams Customer Selfcare habe ich an der Konzeption, Implementierung, Optimierung und dem Betrieb von Backend-Services im großen Maßstab und eventgetriebenen Verarbeitungspipelines gearbeitet — sowohl bei der Feature-Entwicklung als auch mit operativer Verantwortung für geschäftskritische Produktionssysteme. Außerdem war ich regelmäßig erster Ansprechpartner bei Produktionsvorfällen, Dateninkonsistenzen und Performance-Analysen über mehrere verteilte Services hinweg.

• Konzeption und Implementierung eventgetriebener Backend-Services.
• Migration und Ersatz von Legacy-Verarbeitungspipelines.
• Entwicklung von Replay- / Rebuild-Mechanismen für große Event-Datensätze.
• Asynchrone Eventverarbeitung mit hohem Durchsatz auf SNS / SQS.
• Datenbank- und Query-Optimierung für PostgreSQL und DynamoDB.
• Konzeption skalierbarer Read-/Write-Modelle und Aggregationspipelines.
• Fehlersuche in der Produktion und operativer Support.
• Performance-Tuning und Skalierung der Infrastruktur.
• Konzeption und Stabilisierung von Integrations- und Systemtests.
• Technische Konzepte, Architekturdokumentation und Zusammenarbeit über Teams hinweg.
• Unterstützung bei der Weiterentwicklung bestehender GitLab CI/CD-Pipelines

Geofence- & Wagon-Stay-Verarbeitung

• Algorithmus zur Erkennung von Fahrzeugen innerhalb von Geofences (Eintritt, Austritt, Verweildauer).
• Event Sourcing mit garantierter chronologischer Reihenfolge innerhalb des betroffenen Zeitfensters.
• Überarbeitete Geofence-Event- und Wagon-Stay-Verarbeitungslogik für bessere Performance.
• Behebung von Race Conditions und Event-Reihenfolgeproblemen in verteilten Services; serverseitiges Filtern, Aggregieren und optimierte Query-Pipelines.
• Reparatur- und Replay-Tools für beschädigte oder inkonsistente Bewegungsdaten.

Flotten-Metadaten & Kilometerleistung

• Modernisierung des Services; Migration des Speichers von DynamoDB zu PostgreSQL, um die Nachvollziehbarkeit zu verbessern und neue Features schneller umzusetzen.
• Skalierbare Aggregations- und Replay-Mechanismen für Kilometerdaten.
• Read-/Write-Modelle und optimierte Queries für Berechnungen mit hohem Datenvolumen.

Sensor- & Telematik-Integration

• Integration von Telemetrie- und Sensorverarbeitungspipelines.
• Snapshot- und Zustandsberechnungslogik für Sensorsysteme.
• APIs und Persistenzmodelle für Wagonsensordaten; Verbesserungen der Datenqualität.
• Weiterentwicklung eines Services mit gRPC für die Kommunikation zwischen Services.

Verarbeitung von Bewegungssegmenten & Routing

• Migration von Services auf neue Event-Streams für Bewegungssegmente.
• Entwicklung von Replay- und Rebuild-Tools für Segmentkorrekturen.
• Optimierung von Durchsatz und Zuverlässigkeit für Eventverarbeitung mit hohem Volumen.

Zustandsüberwachung & Wagon-Analysen

• APIs und Backend-Services für die Zustandsüberwachung von Wagen.
• Verarbeitung zur Vorhersage von Bremsverschleiß und Funktionen für Wagon-Analysen.
• PostgreSQL-Views und optimierte Query-Modelle für operative Dashboards.

Operative Zuverlässigkeit - First Responder

• Analyse von Produktionsvorfällen und Ausfällen verteilter Systeme; DLQ-Analyse, Replay und operative Wiederherstellung.
• Tuning der Datenbankleistung und AWS-Infrastruktur unter Produktionslast.
• Verbesserte Observability, Monitoring und operative Tools.
• Unterstützung von Rollout-Strategien, Monitoring und Stabilisierung nach Deployments.

• Rolle: Entwickler, Architekt
• Technologien: java, typescript, golang, spring (boot, web, security, data), Angular, AWS (OpenSearch, Aurora, SNS/SQS, CloudWatch, EC2, IAM), Kubernetes, Terraform, Helm, OAuth, Keycloak, CI/CD, gradlew, Liquibase, Testgetriebene Entwicklung, Shell-Skripting

• Erweiterung des Dokumenten-Management-Systems um eine standardisierte CMIS-Schnittstelle (Content Management Interoperability Services)
• Implementierung von CMIS-Basisdiensten wie Navigation, Zugriffsrechten, Suche, CRUD-Operationen und Versionierung in Java
• Umsetzung basierend auf RESTful/OpenAPI-Services
• Bereitstellung als Fat-JAR und natives Container-Image
• Deployment On-Premises und serverlos als Azure Container Application mit Terraform
• Steigerung der Team-Autonomie durch Infrastruktur-Engineering und kurze Feedback-Schleifen
• Observability mit OpenTelemetry, Azure Monitor und Azure Logic Apps
• Einführung von Terraform- und Trunk-Based-Development-Prozessen
• Qualitätssicherung mit BDD-Tests in C# mit SpecFlow und Testcontainers
• Azure DevOps Pipeline Integrationstests
• Etablierung von Cloud-Deployment-Prozessen
• Schulung der Mitarbeiter in Cloud und Terraform

• Mitarbeit bei der Realisierung des Redaktionssystems Rubix
• Implementierung diverser Microservices auf Basis von Java, AWS S3, AWS SQS, AWS SNS und Spring Boot mit Deployment auf AWS ECS und AWS Fargate
• Konzeption und Entwicklung von AWS Lambdas auf Basis von Typescript
• Verwendung der Datenbanksysteme PostgreSQL in einem AWS RDS Aurora Cluster sowie AWS DynamoDB
• Continuous Deployment mit GitLab Pipelines
• Aufbau einer Infrastructure-as-Code-Umgebung mit AWS CDK
• Aufbau und Betrieb einer Monitoring-Plattform auf Basis von AWS CloudWatch
• Entwicklung diverser Frontend-Komponenten auf Basis von Vue.js
• Konzeption der Microservice-Architektur unter Anwendung von Domain Driven Design und GraphQL-Schnittstellen

• Verantwortung für die Neuentwicklung einer Abrechnungs- und Prüfsoftware für Verordnungen (Rezepte), um E-Rezepte vollumfänglich auf Korrektheit (Inhalt, Rechnung) zu prüfen und auszuwerten

• System besteht aus mehreren Kontexten, die als Dienste (Docker-Container) ausgeführt werden:

• Überprüfung und Verarbeitung von Datenlieferungen via FTP und E-Mail

• Verwaltung von Rechnung, Clearings, Abschlägen und Absetzungen

• Verwaltung und Ausführung von Prüfregeln und Prüfmappen

• Auswertungen auf Basis von Metabase

• Entwickler-Stack: Kotlin, Vue 3 / Vuetify 3, ANTLR, Spring Boot 3, REST-API, Gradle, Docker, GitLab, PostgreSQL, Kafka, Keycloak, Scrum, Grafana, Loki, Testcontainers, Prometheus