Apache ZooKeeper Experten in Deutschland

Projekt: SCS (Settlement / Clearing Services)

Abwicklungsplattform für mehrere Handels- und Clearingplätze — Absicherung des Kontrahentenrisikos, Reduzierung des Abwicklungsvolumens, zentrales Risikomanagement und Anonymität nach dem Handel.

Technologien: Java 17, Spring Boot 3, Microservices, Spring Data JPA, SonarQube, Fortify (SCST), Mockito, Jenkins, OpenShift, Maven, Podman, GitHub, JIRA, Liquibase, Swagger, AMQP, Apache Camel, Terraform, PostgreSQL, Instana, Graylog.

• CVEs in Drittanbieter-Bibliotheken mithilfe von SCA-Tools identifiziert und behoben und damit die Sicherheitslage der Produktivkomponenten verbessert.
• 90 % Code Coverage mit SonarQube gehalten, die Codequalität verbessert und Produktionsfehler reduziert.
• mTLS für die Datenbankauthentifizierung und Verbindungen zu Message Brokern aktiviert und damit verschlüsselte, zertifikatsgeprüfte Kommunikation durchgesetzt.
• Microservices mit asynchroner, REST-basierter Kommunikation zwischen den Komponenten entworfen und bereitgestellt.
• Eine REST-API mit hohem Volumen (~200K Requests) optimiert, indem die Antwortzeit von 3s auf 2s reduziert wurde (33 % Verbesserung), was Durchsatz und Zuverlässigkeit unter Produktionslast erhöht hat.
• Build- und Continuous-Integration-Pipelines mit Maven und Jenkins automatisiert.
• Containerisierte Workloads auf Podman/OpenShift orchestriert und die Schema-Weiterentwicklung mit Liquibase gesteuert, um zuverlässige und wiederholbare Deployments in allen Umgebungen sicherzustellen.
• Java-Code optimiert und EHCache-basiertes Caching implementiert, um die Anwendungsleistung zu verbessern.
• Das Release-Management vereinfacht, indem Anwendungsimages, JAR-Versionen und Abhängigkeiten über DBAG Artifactory gesteuert wurden, um Versionskonsistenz und Audit-Nachvollziehbarkeit über alle Umgebungen hinweg sicherzustellen

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

• Entwicklung und Umsetzung der Engineering-Strategie über mehrere Teams hinweg (Engineering, DevOps, SysAdmin, QA), einschließlich der Definition vierteljährlicher OKRs und Roadmaps zur Ausrichtung an den Geschäftszielen.
• Aufbau eines umfassenden Frameworks für technische Exzellenz mit Coding-Standards, Karrierepfaden und wichtigen betrieblichen Richtlinien.
• Erfolgreiche Durchführung technischer Due-Diligence-Prüfungen während Finanzierungsrunden und Präsentation der technologischen Infrastruktur gegenüber potenziellen Investoren.
• Entwicklung und Einführung wichtiger Unternehmensrichtlinien, darunter Incident Management, Bereitstellungsrichtlinien und Sicherheitsprotokolle.
• Optimierung des Recruiting-Prozesses und Leitung von Performance-Reviews, wodurch Teamzusammensetzung und Kompetenzen verbessert wurden.
• Entwicklung und Umsetzung von Full-Stack-Lösungen mit TypeScript, Node.js im Backend und Next.js mit Styled Components im Frontend.
• Entwicklung und Optimierung einer serverlosen Architektur mit AWS Lambda, Step Functions, State Machine, ECS, API Gateway und mehreren Datenbanken (DynamoDB, MongoDB, Postgres, MariaDB, OpenSearch).
• Einführung von GraphQL für Frontend-Anfragen und REST-APIs für Backend-Services zur Verbesserung der Systemanbindung und des Datenflusses.
• Aufbau stabiler CI/CD-Pipelines mit GitHub Actions und Jenkins einschließlich Quality Gates und Sicherheitsprüfungen.
• Integration von SonarCloud für statische Codeanalyse zur Verbesserung der Codequalität in allen Repositories.
• Leitung von Verbesserungen bei Infrastrukturstabilität und Sicherheit sowie Optimierung der Betriebskosten.
• Einführung eines automatisierten Test-Frameworks mit Jest für Backend und Frontend sowie Playwright für E2E-Tests.
• Erstellung wiederverwendbarer Tooling-Module für Logging, Datenbankanbindung, Parameter-Store-Integration und wiederverwendbare Bibliotheken.
• Entwicklung und Umsetzung einer Microservices-Architektur mit AWS ECS, dokumentiert durch OpenAPI-Spezifikationen.
• Verbesserung der Erstellungs- und Bereitstellungsprozesse durch standardisierte Templates und automatisierte Pipeline-Erstellung.
• Erfolgreiche Umsetzung mehrerer Projekte im Zeitplan bei Einhaltung hoher Qualitätsstandards und bewährter Verfahren.
• Durchführung regelmäßiger 1-on-1s und Mentoring-Sitzungen zur Förderung von Teamwachstum und beruflicher Entwicklung.
• Teilnahme an bereichsübergreifenden Management-Meetings zur Abstimmung technischer Initiativen mit den Geschäftszielen.
• Identifizierung und Schließung von Wissenslücken durch gezielte Mentoring- und Schulungsprogramme.
• Einführung von Atomic-Design-Prinzipien in der Frontend-Entwicklung zur Verbesserung der Wiederverwendbarkeit und Wartbarkeit von Komponenten.

• Optimierung der Onlineshop-Suchfunktion auf Basis von Magento und OpenSearch
• Beratung zur Beseitigung von Such-Problempunkten (Kompositasuche, Suche ohne Berücksichtigung der Groß- und Kleinschreibung)
• Datenmodellierung von Produkten (parent) und Artikeln (child)
• Workshops zur Vermittlung fachlichen Suchverständnisses

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeiter).

• Technische Integration von allen Subprojekten in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung eines Cloud Management Platforms (CMP), die in der Lage ist, Private/Mixed Cloud von beliebiger Komplexität anhand einer textuellen Beschreibung mit einem Click oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus Hardware Management.

• Als Basis wird Kubernetes, Openstack und Hadoop benutzt.

• Die Managementschicht beinhaltet Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Privat Cloud kann beliebige Workloads von Kunden ausführen, darunter volle Hadoop Schicht mit HDFS, Spark, MapRed, Mezos, HBase und ca. 20 weiteren ML/DL Technologien.

• Hadoop Worker Cluster kann auch ohne Kubernetes on Bare Metal oder Commodity Hardware automatisch installiert werden.

• Openstack mit Nova, Neutron, Ironic, Swift, Cinder, Ceph.

• Entwicklung einer Java Anwendung Rudi: Soap, Rest, Containers, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), Openstack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualizierung (Kubernetes (K3S), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Verantwortlich für Softwareentwicklung und DevOps in den Projekten Data & AI Platform – Intake und PubSub bei STACKIT, dem Cloud-Anbieter der Schwarz Gruppe.
• Technologien: Golang, Kubernetes, Kubernetes operators, OpenAPI v3, REST API, Azure DevOps, CI/CD, k6, Kafka, Strimzi, Apache Iceberg, RBAC, IAM, Terraform, Helm, Infrastructure automation, Load balancing, Traefik, ArgoCD, kuttl, Kyverno chainsaw, Kustomize, Velero, Prometheus, Grafana, Checkly / Playwright (TypeScript), NATS/Jetstream, WebSockets, gRPC, SSE

• Aufsetzen und Weiterentwicklung eines internationalen Subscription-Verwaltung-Systems

• Migration und Abschalten eines Hybris-SAP-Systems und Anbindung von Zuora

• Umsetzung zahlreicher Schnittstellen zu verschiedenen Systemen (extern und intern)

• Aufsetzen und Verbessern des Monitorings mit Grafana, Prometheus und Databricks

• Einführung von Logging mit Loki

• Umsetzung fachlicher Anforderungen mit jQuery, Thymeleaf, Spring Boot, Java, Go und Python

• Anpassung und Erweiterung der GitLab-CI-Pipelines

• Aufsetzen und Erweitern der Infrastruktur-as-Code mit Terraform und ArgoCD in AWS

• Aufsetzen und Durchführung von E2E- und Performance-Tests

• Ausbau der Databricks Business Intelligence Lösung zur Bereitstellung verschiedener KPIs

• Aufgaben: Architektur, DevOps, Entwicklung, Unit-Tests, Coaching von Mitarbeitern und Azubis, E2E-, Smoke- und Integration-Tests, Beratung bei agilen Methoden (Kanban, Scrum)

• Technologien und Methoden: Java, Go, Kotlin, Node.js, Spring Boot, SOAP/REST, Quarkus, Thymeleaf, Vaadin, Slack, Jira, Confluence, IntelliJ, GitLab, SQS, Kafka, AWS, Kubernetes, Terraform, Maven, Gradle, GitLab-CI, Databricks

• Unterricht in JavaScript, HTML, CSS, React, Node.js, MongoDB, MariaDB und Express
• Unterrichtsgestaltung und -vorbereitung
• Klassenunterricht und Einzelcoachings