MapReduce Experten in Deutschland

OpsWorker verwandelt Kubernetes-Alerts in Root-Cause-Analysen, zusätzlich zu dem Monitoring, das ein Team bereits betreibt. Ich leite die technische Seite: die Agentenarchitektur, die AWS-Infrastruktur, auf der das Ganze läuft (vollständig in EU-Regionen), und die Engineering-Entscheidungen dahinter, standardmäßig nur lesend im Cluster, der Mensch bleibt für die Bewertung im Loop. Der Stack darunter: Amazon Bedrock und Bedrock AgentCore, Agenten gebaut mit dem Strands Agents SDK, die Claude- und OpenAI-APIs sowie die Kubernetes-API.

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeiter).

• Technische Integration von allen Subprojekten in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung eines Cloud Management Platforms (CMP), die in der Lage ist, Private/Mixed Cloud von beliebiger Komplexität anhand einer textuellen Beschreibung mit einem Click oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus Hardware Management.

• Als Basis wird Kubernetes, Openstack und Hadoop benutzt.

• Die Managementschicht beinhaltet Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Privat Cloud kann beliebige Workloads von Kunden ausführen, darunter volle Hadoop Schicht mit HDFS, Spark, MapRed, Mezos, HBase und ca. 20 weiteren ML/DL Technologien.

• Hadoop Worker Cluster kann auch ohne Kubernetes on Bare Metal oder Commodity Hardware automatisch installiert werden.

• Openstack mit Nova, Neutron, Ironic, Swift, Cinder, Ceph.

• Entwicklung einer Java Anwendung Rudi: Soap, Rest, Containers, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), Openstack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualizierung (Kubernetes (K3S), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Entwurf und Bereitstellung von Best Practices für Datenmodellierung mit dbt, einschließlich Changing Dimensions, Umgang mit spät eintreffenden Daten und Tests
• Entwurf des Ingestion-Flows von anderen Systemen nach S3 und Redshift
• Entwurf und Implementierung neuer Partitionen für Dagster und inkrementelles Laden mit dbt
• Übersetzung von fachlichen Anforderungen in technische Architekturen
• Einarbeitung und Anleitung von Junior-Teammitgliedern

• Entwarf End-to-End-Kreditrisiko-Pipelines durch Orchestrierung von Airflow-ETLs und Training von LSTMs/Transformern, um Ausfall- und vorzeitige Rückzahlungsraten auf MBS-Portfolios vorherzusagen.
• Entwickelte Deep-Learning-NLP-Lösungen mit BERT und LayoutLM für die Dokumentenverarbeitung und nutzte Transfer Learning sowie benutzerdefinierte PyTorch-Loss-Funktionen, um Underwriting zu automatisieren.
• Optimierte F&E-Zyklen durch Bayessche Tuning, Batch-Normalisierung und MLflow-Tracking, um eine robuste Modellleistung während volatiler Hypothekenmarktzyklen sicherzustellen.
• Produktionsreife MLOps-Infrastruktur mit Docker und INT8-Quantisierung bereitgestellt und latenzarme FastAPI-Mikroservices auf AWS SageMaker mit automatisierten CI/CD-Pipelines ausgerollt.
• Gewährleistung regulatorischer Compliance durch Integration von SHAP/LIME für Erklärbarkeit und Einrichtung eines Echtzeit-Data-Drift-Monitorings, um strenge FHFA- und Fair-Lending-Standards zu erfüllen.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Entwickler individuell im Live-Coaching unterstützen, um Pro-Level Apache-Spark-Engineers auszubilden
• Mehrtägige, zugeschnittene Apache-Spark-Workshops für Entwicklungsteams organisieren und durchführen
• Technische Lerninhalte auf einem selbstgehosteten Blog, YouTube und in sozialen Medien erstellen

• Aufbau von Teams für Datenfachleute – BI-Analysten, Data Scientists, Data Engineers
• Definition der Datenstrategie für alle Geschäftsbereiche zur Unterstützung kurz-, mittel- und langfristiger Unternehmensziele
• Zusammenarbeit mit Produktverantwortlichen, Management und Abteilungsleitern zur Datenunterstützung
• Budgetfestlegung, um alle Maßnahmen zu ermöglichen
• Abstimmung der Ziele des Datenteams mit Unternehmensvision, -strategie und -zielen
• Verantwortung für Data Governance sowie für die strategische Entwicklungsplanung
• Definition und Entwicklung gemeinsamer OKRs
• Direkte Berichtslinie an CTO und CEO

• Globale Marketing-Analysen für Hitachi Energy im Rahmen einer globalen Datenmodernisierungsinitiative, die darauf abzielt, die Datenspeicherung und Verfügbarkeit historischer Daten zu verbessern und Eloquas 2-jährige Aufbewahrung für Remote-Interaktionsberichte und Analysen bereitzustellen.

• Analyse der Standardaufbewahrungsrichtlinie von Eloqua und Identifizierung des Risikos von Datenverlusten für Datensätze, die älter als zwei Jahre sind.

• Entwurf und Implementierung einer Strategie zur historischen Datenaufbewahrung durch Erstellung transformierter Tabellen in der Ziel-Datenplattform, um ältere Daten zu archivieren und gleichzeitig Dashboards zur Datenqualität sicherzustellen.

• Zusammenarbeit mit dem Power BI-Team, um Dashboards von Rohdaten aus Eloqua-Importen auf die neu erstellte Archivschicht umzustellen.

• Nutzung von Jira zur Verfolgung und Verwaltung von Data-Engineering-Aufgaben, Fehlern und Feature-Requests in agilen Sprints; Koordination der Backlog-Priorisierung und Aufgabenverteilung, um die Entwicklung der Datenpipelines an den Geschäftsanforderungen auszurichten.

• Optimierung von Power BI-Dashboards:

• Enge Zusammenarbeit mit Stakeholdern, um Berichtserfordernisse für Bestandskunden zu bewerten und zu verstehen.

• Entwurf und Implementierung eines inkrementellen Aktualisierungsprozesses in Power BI, um tägliche Updates ohne vollständiges Neuladen zu gewährleisten.

• Zusammenarbeit mit Azure-Dateningenieuren zur Optimierung von Datenverarbeitungs- und Veröffentlichungsprozessen.

• Kommunikation mit Stakeholdern & Datenmodellierung:

• Vermittlung zwischen Group Data Office und Technology Office, um Standards für Datenmodellierung abzustimmen.

• Anforderungserhebung im Data-Engineering-Team und Teilnahme an wöchentlichen Statusmeetings, um Implementierungsupdates zu geben und Blocker in Teams in Deutschland, Polen und Indien zu lösen.

• Dokumentation & Qualitätssicherung:

• Erstellung von technischen End-to-End-Design-Dokumentationen, Datenflussdiagrammen und Power BI-Audit-Leitfäden für die Zukunft.

• Teilnahme an UAT-Sessions mit Fachanwendern, um Datenoutputs und Berichtgenauigkeit zu validieren.