Amazon EC2 Experten in München

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).

• Entwicklung von High-Performance-Ad-Auslieferung über Auktionen
• Ganzheitliche Optimierung der Anzeigenplatzierung (multi-campaign & multi-channel)
• Algorithmische Optimierung für NP-Hard/NP-e
• Multiple Knapsack Problem mit Nebenbedingungen
• Online-Schätzung von Parametern in stochastischen Umgebungen

Tools: Python, R, Kotlin, MILP/SAT/CP-Solver, Pytorch, Pandas, Docker

• Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

• Verantwortlich für die Administration von OpenShift/Kubernetes On-Prem und den Entwickler-Support.
• Automatisierte die URP-Infrastruktur mit Python, Ansible, Kustomize sowie dem ArgoCD- und Argo Workflow/Events-Stack.
• Schrieb Smoke- und Lasttests für die URP-Infrastruktur mit Python, Kustomize und ApplicationSets.
• Unterstützte beim Aufbau und der Bereitstellung der URP-Infrastruktur in Google Cloud (GKE).
• Implementierte Monitoring für die URP- und ArgoCD-Umgebung mit Splunk Cloud.
• Führte Systemadministrationsaufgaben auf RedHat Linux, Kubernetes/OpenShift, ArgoCD, GitLab, Bitbucket Enterprise, Kafka und MongoDB durch.

• Wartung einer SaaS-Abrechnungsplattform auf AWS im Site Reliability Engineering (SRE) Team.
• Wesentliche Rolle bei einem AWS-Cloud-Migrationsprojekt: Implementierung von Terraform (IaC), Aufbau von CI/CD-Prozessen und Pipelines, Härtung von Images, Aktualisierung von Tool-Versionen und Entwicklung von Skripten.
• Erstellung von Dokumentation.

AWS-Cloud-Migration:

• Entwurf und Implementierung von CI/CD für die Bereitstellung von AWS-Ressourcen mit GitLab CI, Terraform und GitOps.
• Einrichtung und Konfiguration der DevOps-Toolchain, inklusive Jenkins, Harbor und Vault.
• Bereitstellung der Abrechnungsanwendung, von Microservices und unterstützenden Infrastruktur-Services in Nomad-Clustern.
• Neugestaltung des TLS/mTLS-Zertifikatsmanagements mit Vault und Lambda.

Sicherheit (Infrastruktur-Härtung, Patch-Management & Schwachstellen-Scanning):

• Verwaltung mehrerer AWS-Accounts für Consul/Nomad/Traefik-Cluster (10–20 EC2-Instanzen/Account, ASG) und für die DevOps-Toolchain (Harbor, Jenkins, Vault).
• Erstellung gehärteter AMIs mit Packer basierend auf CIS-Benchmarks für Nomad, Jenkins, Harbor und Vault; Bereitstellung mit Terraform.
• Integration von Trivy über das Harbor-Plugin zum Scannen von Container-Images.
• Implementierung strenger AWS-VPC-Sicherheitsgruppenregeln.
• Entwicklung und Pflege eines Patch-Management-Prozesses für alle Umgebungen mit Qualys und Wiz.
• Bereitstellung des Qualys Cloud Agents auf allen EC2-Instanzen, Verfolgung von CVEs und Testen von Patches in niedrigeren Umgebungen vor dem Rollout.
• Automatisierte Verteilung von Patches über alle AWS-Accounts mit Terraform und GitLab CI und Überprüfung der Patch-Konformität über Qualys-/Wiz-Dashboards.

• Arbeitete als freiberuflicher Senior DevOps-Berater vor Ort für IBM bei einer Agentur der Europäischen Union in einer hochsicheren, luftabgetrennten Umgebung und verwaltete klassifizierte Systeme.
• Führte Automatisierungs- und DevOps-Initiativen für eine großangelegte OpenShift-Plattform (>400 Knoten) an, steigerte die Bereitstellungseffizienz, die GitOps-Einführung und die operative Automatisierung mit Ansible, Python und Bash und stellte gleichzeitig die Einhaltung der Sicherheitsvorgaben sicher.
• Leitete die Automatisierung von Release- und Deployment-Workflows in einer Private-Cloud-Umgebung mit über 400 OpenShift-Knoten und verbesserte dadurch deutlich die Geschwindigkeit und Zuverlässigkeit der Bereitstellungen.
• Migrierte bestehende Playbooks, Rollen und Templates von Ansible Tower zur Ansible Automation Platform (AAP), stellte die vollständige Einhaltung der vollqualifizierten Collection-Namen (FQCN) sicher und bereitete angepasste Execution Environments (EE) für containerisierte Automatisierung vor.
• Implementierte einen GitOps-Agent für die AAP-Controller-Konfiguration als Code und ermöglichte so die automatisierte Synchronisation (CRUD) von Ansible-Controller-Objekten anhand im Repository gespeicherter Konfigurationsdefinitionen mittels GitHub-Webhooks.
• Entwickelte und automatisierte komplexe mehrstufige Betriebs-Workflows, darunter Umgebungscleanup, Neuaufbau von Helix-Cluster-Komponenten, Kafka-Topic-Management und Lifecycle-Management von OpenShift-Objekten in etwa 100 Umgebungen.
• Erreichte durch Automatisierungsverbesserungen über mehrere AAP-Cluster und OpenShift-Umgebungen hinweg eine Reduzierung mehrtägiger manueller Abläufe auf wenige Stunden.
• Integrierte die Ansible Automation Platform mit dem Thycotic (Delinea) Secret Server über ein Lookup-Plugin, um das sichere Management von Zugangsdaten in automatisierten Prozessen zu verbessern.
• Übernahm Deployment-Aufgaben, Fehlerbehebung auf Plattformebene und Konfigurationen des Istio-Netzwerks unter Einhaltung strenger EU-PSC-Sicherheits- und Compliance-Standards.
• Arbeitete mit Infrastruktur- und Applikationsteams zusammen, um Bereitstellungsverfahren zu verfeinern, Namenskonventionen zu entwickeln und die Automatisierungsabdeckung in einer luftabgetrennten, klassifizierten Umgebung kontinuierlich zu verbessern.

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Entwickelt eine Streamlit-ML-Anwendung mit einem RandomForest-Modell (Scikit-learn) zur Vorhersage des Rauchverhaltens, dabei Pandas, NumPy und Matplotlib für Datenanalyse und Visualisierung eingesetzt; bereitgestellt auf AWS mit Terraform für EC2, IAM-Rollen und S3-Buckets, mit Pickle zur Modellspeicherung.

• Beherrscht AWS-Services wie S3, EC2, CloudFormation, IAM und Auto Scaling, mit Fokus auf erweiterte Funktionen wie Versionierung, CORS, ETags und Prüfsummen anhand von AWS-Examples-Freecodecamp.

• Entwickelt und optimiert CI/CD-Pipelines mit GitHub Actions zur Bereitstellung statischer Websites auf GitHub Pages, wodurch automatisierte Validierung, Bereitstellung und Wartung verbessert wurden.

• Ein klassisches Snake-Spiel mit Flask erstellt und bereitgestellt, containerisiert mit Docker und auf Render gehostet.

• Erstellung von Testkonzepten
• Erstellung von Testprozessen
• Koordination der Testfall-Entwicklung: Stresstests, Funktionstests, Leistungstests, Tests mit hoher Datenrate, Integrationstests usw.
• Hardware-Tests: FPGA, RF
• Testautomatisierung und Regressionstests
• Sicherstellung des 24/7-Betriebs des Testsystems
• Analyse und Berichterstattung
• Regelmäßige Koordination des Testteams, Abstimmungen mit anderen Stakeholdern
• Kommunikation und Abstimmung mit Stakeholdern und Projektleitung

• Betrieb und Erweiterung von Azure DevOps-Pipelines

• Betrieb und Erweiterung von AWS-Services

• Citrix (Windows 10, Bitwarden)

• AWS: ECR, EKS, CloudFront CDN, Route 53, VPC-Peering und CNI-Upgrade, Atlas MongoDB, S3-Buckets, statisches Hosting von Websites

• Azure: Erstellen und Bereitstellen mit DevOps-Pipelines

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeitern).

• Technische Integration aller Subprojekte in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung einer Cloud-Management-Plattform (CMP), die in der Lage ist, Private/Mixed-Cloud beliebiger Komplexität anhand einer textuellen Beschreibung per Klick oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus des Hardware-Managements.

• Als Basis werden Kubernetes, OpenStack und Hadoop eingesetzt.

• Die Managementschicht umfasst Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Private Cloud kann beliebige Workloads von Kunden ausführen, darunter die komplette Hadoop-Schicht mit HDFS, Spark, MapReduce, Mesos, HBase und ca. 20 weiteren ML-/DL-Technologien.

• Hadoop-Worker-Cluster können auch ohne Kubernetes auf Bare Metal oder Standardhardware automatisch installiert werden.

• OpenStack mit Nova, Neutron, Ironic, Swift, Cinder und Ceph.

• Entwicklung einer Java-Anwendung Rudi: SOAP, REST, Container, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), OpenStack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualisierung (Kubernetes (K3s), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Weiterentwicklung der personalisierten Werbeflächen im Otto Webshop
• Fullstack-Entwicklung im Kanban-getriebenen Team von etwa 15 Personen
• Technologien: Microservices, Kotlin, Spring, Spring Boot, Gradle, MongoDB, HTML, JS, Node, SCSS, AWS
• Entwicklungsprozess: Kanban; Continuous Integration mit AWS Code Pipeline und GitHub Actions

• Plattform: Python-Ökosystem, RHEL 8, K10, AWS IoT Core, AWS Lambda, MLOps
• Software: Java JEE/Cloud, IntelliJ IDEA, AWS IoT Core, AWS Edge und Lambda, AWS SageMaker SDK, Docker Compose, Kubernetes, Openshift 4, Tekton, Flux, Helm Charts, JSON/XML-Technologien, Nginx, Apache Spark, OpenAI (GPT Plus, DALL-E 3, Whisper), GAN, GitHub Copilot, KI, Machine Learning, Deep Learning, Jupyter Notebooks, TensorFlow 2, Colab, Keras API, Prometheus, Grafana, Conda, Python 3.9, SciPy-Stack (NumPy, pandas, scikit-learn, matplotlib)
• Zuständig für Webinar:
• IoT Edge Computing, Architektur, Komponenten, Ressourcen, Management
• IoT Edge Computing mit MicroK8s, Design und Erstellung von Flows/Diagrammen für AWS, Three-Step-Modell für IoT-Ökosystem
• IoT-Prozesse, Konnektivität, Datentransfer und Deployment, Sicherheit
• Optimierung des Edge Computing für Netzwerke, Services im IoT (AWS SQS Queue, SNS-Benachrichtigungen, Events, Analytics, Button, Device Management/Defender, Things Graph)
• Machine-/Deep-Learning-Frameworks (Modelle, Training, Optimierung der Pipelines, Deployment in der Cloud/am Edge, Monitoring der Workloads mit Prometheus und Grafana)
• Performance-Optimierung für niedrige Latenz/Resilienz mittels adaptiver ML/DL/RL-Modelle für Kundendaten aus dem IoT
• Analyse großer Sensordatenmengen mit Apache Spark, Kafka-Clustern
• Kasten K10 Data Management Platform auf Kubernetes-Multi-Cluster mit Helm Chart: Deployment, Backup/Disaster Recovery (RTO/RPO), Data Lifecycle und Security Management
• Implementierung eines mehrschichtigen neuronalen Netzes (ANN) mit TensorFlow 2 und Colab für Regression und Klassifikation; Datenanalyse und Aufbereitung für Applikationen; Entwicklung von Test- und Trainingsmodellen; Deployment der Modelle
• Automatisierung von Business-Streamline-Prozessen mit KI (Azure OpenAI, Discord-Bots/Zapier, AI-Assistenten-Apps IntelliJ, GitHub Copilot)