Amazon EMR Experten in Deutschland

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Entwicklung von High-Performance-Ad-Auslieferung über Auktionen
• Ganzheitliche Optimierung der Anzeigenplatzierung (multi-campaign & multi-channel)
• Algorithmische Optimierung für NP-Hard/NP-e
• Multiple Knapsack Problem mit Nebenbedingungen
• Online-Schätzung von Parametern in stochastischen Umgebungen

Tools: Python, R, Kotlin, MILP/SAT/CP-Solver, Pytorch, Pandas, Docker

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Verantwortlich für die Administration von OpenShift/Kubernetes On-Prem und den Entwickler-Support.
• Automatisierte die URP-Infrastruktur mit Python, Ansible, Kustomize sowie dem ArgoCD- und Argo Workflow/Events-Stack.
• Schrieb Smoke- und Lasttests für die URP-Infrastruktur mit Python, Kustomize und ApplicationSets.
• Unterstützte beim Aufbau und der Bereitstellung der URP-Infrastruktur in Google Cloud (GKE).
• Implementierte Monitoring für die URP- und ArgoCD-Umgebung mit Splunk Cloud.
• Führte Systemadministrationsaufgaben auf RedHat Linux, Kubernetes/OpenShift, ArgoCD, GitLab, Bitbucket Enterprise, Kafka und MongoDB durch.

• Entwickle und präsentiere Lösungen mit GenAI-Software wie langchain, vercel ai sdk, copilotkit
• Arbeite mit Kunden zusammen, um ihre Herausforderungen zu verstehen und die besten Lösungen auf Basis von Open-Source-Datenprodukten zu liefern
• Baue RAG- und GraphRAG-Lösungen mit Neo4j, lancedb und Postgres
• Setze eine LLMOps-Plattform mit kubernetes, terraform, helmfile, Arize phoenix, mlflow auf
• Entwerfe und baue Datenpipelines mit dbt, Trino, Spark, Iceberg, Airflow, ArgoCD, terraform, kubernetes
• Lieferte eine nutzerzentrierte technische Strategie für Agriculture 4.0 und Precision Livestock Farming und half meinem Kunden, Fördermittel von Bpifrance zu sichern
• Entwickelte ein Prospecting-Tool für einen führenden französischen Solar-Carport-Installateur mit Geospatial Computing (GIS), wodurch der Vertriebsprozess schneller wurde
• Baute eine Digital-Twin-Architektur für Solar-Carports und EV-Ladestationen, die Echtzeit-Monitoring und intelligentes Laden möglich machte

• Entwurf und Bereitstellung von Best Practices für Datenmodellierung mit dbt, einschließlich Changing Dimensions, Umgang mit spät eintreffenden Daten und Tests
• Entwurf des Ingestion-Flows von anderen Systemen nach S3 und Redshift
• Entwurf und Implementierung neuer Partitionen für Dagster und inkrementelles Laden mit dbt
• Übersetzung von fachlichen Anforderungen in technische Architekturen
• Einarbeitung und Anleitung von Junior-Teammitgliedern

• Dezentrale App mit Next.js und Convex DB entwickelt für sichere Offline-Signierung von Solana-Transaktionen.

• Entwarf End-to-End-Kreditrisiko-Pipelines durch Orchestrierung von Airflow-ETLs und Training von LSTMs/Transformern, um Ausfall- und vorzeitige Rückzahlungsraten auf MBS-Portfolios vorherzusagen.
• Entwickelte Deep-Learning-NLP-Lösungen mit BERT und LayoutLM für die Dokumentenverarbeitung und nutzte Transfer Learning sowie benutzerdefinierte PyTorch-Loss-Funktionen, um Underwriting zu automatisieren.
• Optimierte F&E-Zyklen durch Bayessche Tuning, Batch-Normalisierung und MLflow-Tracking, um eine robuste Modellleistung während volatiler Hypothekenmarktzyklen sicherzustellen.
• Produktionsreife MLOps-Infrastruktur mit Docker und INT8-Quantisierung bereitgestellt und latenzarme FastAPI-Mikroservices auf AWS SageMaker mit automatisierten CI/CD-Pipelines ausgerollt.
• Gewährleistung regulatorischer Compliance durch Integration von SHAP/LIME für Erklärbarkeit und Einrichtung eines Echtzeit-Data-Drift-Monitorings, um strenge FHFA- und Fair-Lending-Standards zu erfüllen.

• Sicherstellung der Anlagenverfügbarkeit und Produktumstellung
• Gewährleistung, Vorbereitung, Prüfung und Koordination einer fachgerechten und wirtschaftlichen Durchführung der Instandhaltung unter Einbezug von internen und externen Dienstleistern / Partnern
• Auftragserteilung, Kapazitätsplanung, Pflege Meldewesen in SAP
• Dienste innerhalb der Engineering Abteilung (DeltaV, MODICON und Comos)
• Kontinuierliche Optimierung der Anlagen, Instandhaltungsprozessen
• Mitarbeit an Risikoanalysen und Umsetzung des Änderungswesens
• Systeminbetriebnahmen und Systemoptimierungen beim Kunden
• Leisten von Pikettdienst in den Energie- und Produktionsbetrieben
• Expediting von Lieferanten sowie Überwachung bzw. Koordination von Montage
• Inbetriebnahme und Qualifizierung der Elektro-, Mess-, Steuer-, Regelungstechnik

• Konzipierte und implementierte eine Enterprise-KI-Agentenplattform auf Basis einer Retrieval Augmented Generation (RAG)-Architektur, um Einblicke in klinische Daten zu verbessern.
• Errichtete robuste CI/CD-Pipelines für LLM-Anwendungen mit CDK und Jenkins und verkürzte dadurch die Bereitstellungszeiten deutlich.
• Führte umfassende Observability-Lösungen ein, die die Zuverlässigkeit der Agenten in pharmazeutischen Umgebungen steigerten.
• Entwickelte skalierbare KI-Workflows mit fortschrittlicher Orchestrierung, die das Kontextmanagement für Unternehmensdatenquellen optimierten.
• Technologien: KI-Agenten (LangChain, LangGraph, Bedrock, Smolagents, Streamlit); LLM-Betrieb (Tracing, Testing, Evaluation, LangSmith, LangFuse); Infrastructure-as-Code (AWS CDK, Terraform, Typescript, Jenkins); Vektoren, Einbettungen, RAG (OpenSearch, pgvector, PDF-Extraktion)

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeitern).

• Technische Integration aller Subprojekte in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung einer Cloud-Management-Plattform (CMP), die in der Lage ist, Private/Mixed-Cloud beliebiger Komplexität anhand einer textuellen Beschreibung per Klick oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus des Hardware-Managements.

• Als Basis werden Kubernetes, OpenStack und Hadoop eingesetzt.

• Die Managementschicht umfasst Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Private Cloud kann beliebige Workloads von Kunden ausführen, darunter die komplette Hadoop-Schicht mit HDFS, Spark, MapReduce, Mesos, HBase und ca. 20 weiteren ML-/DL-Technologien.

• Hadoop-Worker-Cluster können auch ohne Kubernetes auf Bare Metal oder Standardhardware automatisch installiert werden.

• OpenStack mit Nova, Neutron, Ironic, Swift, Cinder und Ceph.

• Entwicklung einer Java-Anwendung Rudi: SOAP, REST, Container, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), OpenStack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualisierung (Kubernetes (K3s), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Mitwirkung an über 20 erfolgreichen Projekten