Observability Experten in Hamburg

• Konzeption und Implementierung einer Python-basierten ETL-Pipeline mit dem Dagster-Framework für die Transformation von Energierohdaten aus heterogenen Quellen mit InfluxDB und Visualisierungen in Grafana
• Definition von zeitlich gesteuerten und abhängigkeitsbasierten Jobs
• Bereitstellung auf einem verwalteten Kubernetes-Cluster mit Helm
• Anbindung von InfluxDB Cloud
• Aufbereitung von Daten für Nutzung in Grafana inkl. Säuberung und Normalisierung plus zeitliches Resampling in Python
• Entwicklung von Dashboards und Visualisierungen in Grafana
• Entwicklung von Unit-Tests inkl. Mocking mit pytest
• Aufbau von CI/CD-Pipeline in GitLab

Technologien: Python, Dagster, InfluxDB, Grafana, pandas, pytest, REST, CI/CD, GitLab, Container, Kubernetes, Helm, Docker, Cloud

traigo ist die digitale Plattform von VTG für Bahnlogistik und Flottenmanagement. Sie verarbeitet große Mengen an Telemetrie-, Kilometer-, Geofence-, Sensor- und Wagenbewegungs-Events nahezu in Echtzeit und stellt operative Services für Kunden aus der Bahnlogistik in ganz Europa bereit.

Als Teil von Team Customer Selfcare habe ich an Design, Implementierung, Optimierung und Betrieb großer Backend-Services und eventgesteuerter Verarbeitungspipelines gearbeitet — sowohl an der Feature-Entwicklung als auch an der operativen Verantwortung für geschäftskritische Produktionssysteme. Außerdem war ich regelmäßig erster Ansprechpartner bei Produktionsvorfällen, Dateninkonsistenzen und Performance-Analysen über mehrere verteilte Services hinweg.

• Design und Implementierung eventgesteuerter Backend-Services.
• Migration und Ablösung von Legacy-Verarbeitungspipelines.
• Entwicklung von Replay-/Rebuild-Mechanismen für große Event-Datenmengen.
• Asynchrone Event-Verarbeitung mit hohem Durchsatz auf SNS / SQS.
• Datenbank- und Query-Optimierung für PostgreSQL und DynamoDB.
• Design skalierbarer Read-/Write-Modelle und Aggregationspipelines.
• Fehlersuche in der Produktion und operativer Support.
• Performance-Tuning und Skalierung der Infrastruktur.
• Design und Stabilisierung von Integrations- und Systemtests.
• Technische Konzepte, Architektur-Dokumentation und bereichsübergreifende Zusammenarbeit.
• Unterstützung bei der Weiterentwicklung bestehender GitLab CI/CD-Pipelines

Geofence- und Wagenstand-Verarbeitung

• Algorithmus zur Erkennung von Fahrzeugen innerhalb von Geofences (Eintritt, Austritt, Verweildauer).
• Event Sourcing mit garantierter chronologischer Reihenfolge innerhalb des betroffenen Zeitfensters.
• Refactoring der Logik für Geofence-Events und Wagenstand-Verarbeitung für bessere Performance.
• Behebung von Race Conditions und Problemen mit der Event-Reihenfolge in verteilten Services; serverseitiges Filtern, Aggregieren und optimierte Query-Pipelines.
• Reparatur- und Replay-Tools für beschädigte oder inkonsistente Bewegungsdaten.

Flotten-Metadaten & Kilometerstände

• Modernisierung des Services; Migration des Speichers von DynamoDB nach PostgreSQL, um die Nachverfolgbarkeit zu verbessern und neue Features schneller umzusetzen.
• Skalierbare Aggregation von Kilometerständen und Replay-Mechanismen.
• Read-/Write-Modelle und optimierte Queries für Berechnungen mit hohen Datenmengen.

Sensor- & Telematik-Integration

• Integration von Telemetrie- und Sensor-Verarbeitungspipelines.
• Snapshot- und Zustandsberechnungslogik für Sensorsysteme.
• APIs und Persistenzmodelle für Wagensensordaten; Verbesserungen der Datenqualität.
• Weiterentwicklung eines Services mit gRPC für die Kommunikation zwischen Services.

Verarbeitung von Bewegungssegmenten & Routing

• Migration von Services auf neue Event-Streams für Bewegungssegmente.
• Aufbau von Replay- und Rebuild-Tools für Segmentkorrekturen.
• Optimierung von Durchsatz und Zuverlässigkeit bei der Verarbeitung großer Event-Mengen.

Zustandsüberwachung & Wagenanalyse

• APIs und Backend-Services für die Zustandsüberwachung von Wagen.
• Verarbeitung zur Vorhersage von Bremsverschleiß und Funktionen für Wagenanalysen.
• PostgreSQL-Views und optimierte Query-Modelle für operative Dashboards.

Operative Zuverlässigkeit - First Responder

• Analyse von Produktionsvorfällen und Ausfällen verteilter Systeme; DLQ-Analyse, Replay und operative Wiederherstellung.
• Tuning der Datenbank-Performance und der AWS-Infrastruktur unter Produktionslast.
• Verbesserung von Observability, Monitoring und operativen Tools.
• Unterstützung bei Rollout-Strategien, Monitoring und Stabilisierung nach dem Deployment.

• Neuaufbau der Systemarchitektur für eine Azure-basierte Plattform mit dem Ziel, neue Funktionen schnell zu entwickeln
• Ausarbeitung eines Staging-Konzepts für die unterschiedlichen Anforderungen von Kunden und QA
• Erstellung der Anforderungen für ein Proof-of-Concept-Lieferantenprojekt sowie dessen Begleitung für eine Flutter-App mit hochentwickelten BLE-Funktionalitäten
• Vergleich mehrerer Observability-Plattformen auf Machbarkeit und Passung zu den Anforderungen im Projektumfeld
• Erstellung einer Mobile-App-Architektur auf Basis von Domain-Driven Architecture
• Funktion als technischer Berater und verantwortlicher Solution Architect für zwei Entwicklungsteams
• Durchführung von Architektur-Reviews und Abstimmung von Änderungen mit den architektonischen Vorgaben
• Skills & Technologies: Microsoft Azure , App Services, NodeJS Mono-repository, microservice architecture, domain driven design, self contained systems, requirements engineering, CI/CD, DevOps, API design, solution architecture

• Alleiniger technischer Verantwortlicher, zuständig für Architektur, Entwicklung, Betrieb und Infrastruktur. Nutzt KI, um die Arbeit in Bereichen wie Frontend und Design zu beschleunigen.
• Full-Stack-Lösungen gebaut (Backend, React-Frontend) mit CI/CD-Pipelines und Observability-Standards und damit die Grundlage für eine Engineering-Organisation geschaffen.
• KI-gestützte Features mit LLMs umgesetzt, darunter automatisches Supplier-Buyer-Matching, Lead-Generierung, E-Mail-Kampagnen und die Reduzierung manueller Arbeit.
• Cloud-Kosten um 90 % gesenkt, indem das System auf eine AWS-Serverless-Architektur migriert wurde

• Zusammenarbeit mit Entwicklern, Security- und Betriebsteams zur Abstimmung von Anforderungen
• Unterstützung von Product Ownern und Entwicklungsteams beim Einsatz von Logging- und Monitoring-Lösungen auf Basis des Elastic Stacks
• Entwicklung und Vereinheitlichung von Log-Schemata sowie Definition von praktikablen Standards für Observability
• Konzeption und Weiterentwicklung von Logging-Architekturen für komplexe, verteilte Multi-Tenant-Umgebungen
• Anbindung von Applikations- und Infrastruktur-Logs sowie Security-Tools und Metriken
• Optimierung von Datenflüssen und Modellierung für Analyse- und Reporting-Zwecke
• Aufbau automatisierter Infrastrukturen mittels Terraform/Terragrunt und Ansible
• Pflege und Weiterentwicklung von CI/CD-Pipelines in GitLab sowie automatisierte Entwicklungsumgebungen in Hetzner Robot
• Betrieb und Automatisierung von Proxmox-Clustern inkl. Ceph-Storage
• Einrichtung und Betrieb von Kubernetes-(k3s)-Clustern auf Fedora CoreOS inkl. Basisdiensten wie Vault, OpenLDAP und HAProxy
• Umsetzung sicherheitskritischer Infrastrukturen nach BSI-Grundschutz und Absicherung bestehender Systeme
• Unterstützung beim Betrieb von Lösungen in Cloud-Umgebungen (u. a. AWS)
• Mitarbeit in agilen Teams nach Scrum und Kanban
• Technologien/ Anwendungen: Elastic Stack (Elasticsearch, Logstash, Beats/Elastic Agent, Kibana), Terraform, Terragrunt, Ansible, GitLab CI/CD, GitOps, Proxmox, Proxmox Ceph, Kubernetes (k3s), OpenShift, Helm, Kustomize, Vault, OpenLDAP, HAProxy, Hetzner Robot Systeme, AWS, Prometheus, Grafana, Syslog Linux/Windows, Docker, NGINX, Apache Security & Compliance (BSI-Grundschutz, SIEM/SOC)

• Erweiterung des Dokumenten-Management-Systems um eine standardisierte CMIS-Schnittstelle (Content Management Interoperability Services)
• Implementierung von CMIS-Basisdiensten wie Navigation, Zugriffsrechten, Suche, CRUD-Operationen und Versionierung in Java
• Umsetzung basierend auf RESTful/OpenAPI-Services
• Bereitstellung als Fat-JAR und natives Container-Image
• Deployment On-Premises und serverlos als Azure Container Application mit Terraform
• Steigerung der Team-Autonomie durch Infrastruktur-Engineering und kurze Feedback-Schleifen
• Observability mit OpenTelemetry, Azure Monitor und Azure Logic Apps
• Einführung von Terraform- und Trunk-Based-Development-Prozessen
• Qualitätssicherung mit BDD-Tests in C# mit SpecFlow und Testcontainers
• Azure DevOps Pipeline Integrationstests
• Etablierung von Cloud-Deployment-Prozessen
• Schulung der Mitarbeiter in Cloud und Terraform