AWS Glue Experten in München

• Verantwortlich für die Administration von OpenShift/Kubernetes On-Prem und den Entwickler-Support.
• Automatisierte die URP-Infrastruktur mit Python, Ansible, Kustomize sowie dem ArgoCD- und Argo Workflow/Events-Stack.
• Schrieb Smoke- und Lasttests für die URP-Infrastruktur mit Python, Kustomize und ApplicationSets.
• Unterstützte beim Aufbau und der Bereitstellung der URP-Infrastruktur in Google Cloud (GKE).
• Implementierte Monitoring für die URP- und ArgoCD-Umgebung mit Splunk Cloud.
• Führte Systemadministrationsaufgaben auf RedHat Linux, Kubernetes/OpenShift, ArgoCD, GitLab, Bitbucket Enterprise, Kafka und MongoDB durch.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Aufbau eines skalierbaren Multi-Region-Backend-Services in AWS, um Remote-Desktop-VMs für wissenschaftliche Analysen bereitzustellen
• Technologie-Stack: AWS, GitHub, Terraform, Python, Rust
• Aufbau und Definition der Kerninfrastruktur des Backend-Systems
• Definition und Implementierung der VM-Provisionierung für Ubuntu- und Rocky-Linux-Desktop-Umgebungen
• Programmierung des API-Services in ECS zur Verwaltung von virtuellen Maschinen und zum Erstellen maßgeschneiderter Docker-Images für Benutzer

• Testkonzepterstellung
• Erstellung von Testprozessen
• Koordination der TC-Entwicklung: Stresstests, Funktionstests, Leistungstests, Tests mit hoher Datenrate, Integrationstests usw.
• HW-Testing: FPGA, RF
• Testautomatisierung und Regressionstests
• Gewährleistung des 24/7-Betriebs des Testsystems
• Analyse & Berichterstattung
• Regelmäßige Koordination des Testteams, Meetings mit anderen Stakeholdern
• Kommunikation und Koordination mit Stakeholdern und Projektleiter

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Programmleiter für eine mehrjährige strategische Partnerschaft (~9 Mio. € Gerätevolumen), Bericht an den CTO (später CEO) und primärer Ansprechpartner für die Partnerführung.
• Verantwortung für die bereichsübergreifende Lieferung von Firmware, Hardware, Cloud-Backend, Fertigung und Partner-Engineering-Teams für zwei IoT-Produkte; verbesserte Systemstabilität und Beobachtbarkeit zur Unterstützung eines zuverlässigen großflächigen Feldbetriebs (125 000+ Geräte).
• Verhandlung der Programm-Roadmap und des Umfangs mit der Partnerführung, Abstimmung der Lieferzusagen für Hardware, Firmware und Cloud.
• Stabilisierung einer angespannten Führungspartnerschaft durch Wiederherstellung der Lieferzuverlässigkeit und Etablierung klarer Governance- und Abgrenzungsregeln.
• Bereitstellung eines Telemetrie-Analysesystems (Python, AWS), das laut Partnervertrag erforderlich war, um defekte Heizsysteme und Betriebsprobleme bei eingesetzten Geräten zu erkennen.

• Konzipierte und implementierte eine Enterprise-KI-Agentenplattform auf Basis einer Retrieval Augmented Generation (RAG)-Architektur, um Einblicke in klinische Daten zu verbessern.
• Errichtete robuste CI/CD-Pipelines für LLM-Anwendungen mit CDK und Jenkins und verkürzte dadurch die Bereitstellungszeiten deutlich.
• Führte umfassende Observability-Lösungen ein, die die Zuverlässigkeit der Agenten in pharmazeutischen Umgebungen steigerten.
• Entwickelte skalierbare KI-Workflows mit fortschrittlicher Orchestrierung, die das Kontextmanagement für Unternehmensdatenquellen optimierten.
• Technologien: KI-Agenten (LangChain, LangGraph, Bedrock, Smolagents, Streamlit); LLM-Betrieb (Tracing, Testing, Evaluation, LangSmith, LangFuse); Infrastructure-as-Code (AWS CDK, Terraform, Typescript, Jenkins); Vektoren, Einbettungen, RAG (OpenSearch, pgvector, PDF-Extraktion)