Amazon S3 Experten in München

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Modernisierung einer groß angelegten Java-Unternehmensanwendung*

Das Projekt modernisiert eine komplexe Unternehmensanwendung, die über viele Jahre gewachsen ist. Das bestehende Spring-basierte Legacy-System läuft auf Java 8, OSGi und Eclipse RCP und wird schrittweise auf eine moderne, wartbare Architektur mit Java 25 und Quarkus migriert.

Marcus arbeitet in Analyse, Architektur, Refactoring und Implementierung. Ein Schwerpunkt liegt auf der Entflechtung historisch gewachsener Strukturen und Abhängigkeiten sowie dem Aufbau eines sauberen, nachhaltigen Java- und Quarkus-Technologiestacks.

Tools & Technologien: Java 8, Java 25, Quarkus, Hibernate ORM mit Panache, EclipseLink, OSGi, Eclipse RCP, Maven, JUnit, Mockito, REST, JSON, Git, Eclipse IDE, IntelliJ IDEA Ultimate, Jira, Confluence

In meiner Rolle als Senior Cloud DevOps Architect bei BP, einem Öl- und Gasunternehmen, hatte ich die Aufgabe, die Plattform für das Laden von Elektrofahrzeugen der EV Division von On-Premises und Azure in die AWS-Cloud zu migrieren, was zu einer hybriden Multi-Cloud-, Multi-Tenant-SaaS-Lösung führte.

Der Einsatz von Kubernetes für die Anwendungsebene bedeutete die Bereitstellung von Kubernetes-Clusters, die von EKS und AKS verwaltet wurden, mit Fokus auf die Integration in eine Multi-Tenant-Umgebung. Diese Integration wurde durch den Einsatz von Kubernetes-Namespace und Zugriffskontrollen erreicht, um Datenisolation und Datenschutz sicherzustellen.

Auf der Datenbankebene entschieden wir uns für eine RDS-Instanz mit PostgreSQL zur Unterstützung der Backend-Infrastruktur unserer Anwendungen. Die Mandanten teilten sich dieselbe RDS-Instanz, hatten aber jeweils ein eigenes Schema.

Um nahezu in Echtzeit Daten von physischen Ladestationen (CPOs) als IoT-Geräte über das OCPI-Protokoll aufzunehmen, stießen wir bei der Batch-Verarbeitung auf erhebliche Verzögerungen. Daher entwickelten wir eine Streaming-Datenpipeline in Echtzeit mit Apache Kafka und setzten dabei auf eine eventgetriebene Architektur.

Ich leitete die Zusammenarbeit über mehrere interne Teams, externe Anbieter, Cloud-Provider und Partner vor Ort hinweg, um über fünf Systeme in eine einheitliche Lösung zu integrieren.

Erfolge:

• Erfolgreich hybride Multi-Cloud-Lösungen entworfen und umgesetzt, die mehrere Cloud-Plattformen (AWS, Azure) mit On-Premises-Infrastruktur unter Einsatz von Site-to-Site-VPNs, Firewalls und Load Balancing integrierten.
• Die Migration der On-Premises-Infrastruktur zu einer Multi-Cloud-, Multi-Tenant-Infrastruktur geleitet, was zu 30 % schnelleren Verarbeitungszeiten führte.
• Workloads aus VMware- und Hyper-V-Umgebungen auf cloudbasierte VMs migriert und dabei Cloud-native Services genutzt, um Leistung, Kosteneffizienz und Skalierbarkeit zu optimieren.
• Eine Multi-Tenant-Kubernetes-Plattform entworfen, die das Kubernetes-Ökosystem nutzt, mit Karpenter für die dynamische Bereitstellung von EC2-Nodes, KEDA für eventgesteuertes Pod-Autoscaling (z. B. Kafka-Message-Lag) und Rancher für das zentrale Monitoring mehrerer Cluster (EKS, AKS oder On-Prem K8s), als Ersatz für den Microsoft-zentrierten Azure-Arc-Management-Service.
• Python-basierte FastAPI-Microservices als Teil des EV-Core-Backends auf der AWS-EKS-Anwendungsebene entworfen und umgesetzt, die Datenaufnahme- und Kundenanalyse-Pipelines antreiben.
• Asynchrone, eventgetriebene APIs (Python-FastAPI) für die Echtzeit-Integration mit CPOs entwickelt, mit Unterstützung für OCPI 2.3 und OICP-Protokolle.
• Eine sichere, produktionsreife Azure-Databricks-Plattform mit Terraform entworfen und umgesetzt und dabei Skalierbarkeit und Kosteneffizienz sichergestellt.
• On-Premises-ERP auf eine hybride Dynamics-365-Architektur migriert, mit ERP lokal gehostet und CRM in Azure betrieben, integriert über Azure Arc.
• CI/CD-Pipelines für Databricks-Notebooks und Jobs mit GitHub Actions und Databricks CLI automatisiert, wodurch die Bereitstellungszeit reduziert wurde. Die Bereitstellungszeit für Infrastruktur durch Automatisierung der Cloud-Ressourcenbereitstellung mit GitOps um 70 % reduziert.
• Die Einhaltung interner Audit- und Data-Governance-Standards (GDPR) durch OAuth2/OIDC-basierte Authentifizierung und fein abgestufte rollenbasierte Zugriffskontrollen sichergestellt.
• Ein Zero-Trust-Sicherheitsmodell entwickelt, das Least-Privilege-Zugriffe und Mikrosegmentierung durchsetzt und die Sicherheitslage sowie die Compliance mit GDPR und NIST verbessert.
• Interaktive Analytics-Dashboards in Amazon QuickSight erstellt, die Daten aus S3 und Redshift integrieren, um Echtzeit-Business-Insights und Visualisierungen mit eingebettetem Zugriff für Multi-Tenant-Nutzer bereitzustellen.
• Cloud-Sicherheitsbewertungen und eine Sicherheitsintegration über den gesamten Lebenszyklus während M&A geleitet, einschließlich AWS, Azure, IAM (Entra ID) und Datenschutz, und dabei die Sicherheitslage mit NIST, ISO 27001 und GDPR über hybride und cloud-native Umgebungen hinweg ausgerichtet.
• Die Cloud-Kosten für eine Dev-Umgebung eines Kunden um 64 % gesenkt, indem automatisierte Start-/Stopp-Zeitpläne für EC2- und RDS-Instanzen über AWS CDK mit EventBridge Scheduler oder AWS Systems Manager implementiert wurden.

Tech-Stack:

• Infrastructure as Code: Terraform, AWS CDK, Ansible.
• Container: Kubernetes auf EKS, AKS, Docker.
• Streaming-Datenverarbeitung: Kafka zu Confluent Cloud, nach AWS MSK.
• Frontend: TypeScript, React, NextJS, Hooks, Styled Components.
• Backend: Python mit FastAPI, außerdem Node.js mit NestJS.
• Datenbank: Aurora auf PostgreSQL mit TypeORM, RDS auf SQL Server, vollständiges Setup und Administration von Azure Databricks, ETL-Pipelines.
• CI/CD und GitOps: GitHub Actions, Azure DevOps, ArgoCD.
• Monitoring und Observability: Prometheus und Grafana.
• Virtualisierung: Hyper-V, VMware Cloud on AWS, Azure Migrate.
• ERP-Systeme: Odoo, Microsoft Dynamics 365 Business Central auf Azure, integriert mit Azure Arc.
• Netzwerke: Site-to-Site-VPNs, AWS Direct Connect, Azure ExpressRoute, Firewalls (AWS Network Firewall, Azure Firewall).
• Sicherheit: IAM, NIST Framework, Zero-Trust-Sicherheit, AWS WAF, AWS Shield, GuardDuty.

• Aufbau von Azure-Kubernetes-Clustern (AKS) mit Network Policies, Security Groups und RBAC
• Terraform-basierte Infrastructure-as-Code für sichere, reproduzierbare Bereitstellungen in der BMW-Azure-Cloud
• Härtung der CI/CD-Pipelines mit Jenkins, SonarQube, Fortify SSC und Contrast AST
• Integration von SAP BTP/Kyma und ServiceNow GRC

• Betrieb und Erweiterung von Azure DevOps-Pipelines

• Betrieb und Erweiterung von AWS-Services

• Citrix (Windows 10, Bitwarden)

• AWS: ECR, EKS, CloudFront CDN, Route 53, VPC Peering und CNI-Upgrade, Atlas MongoDB, S3-Buckets, Hosting statischer Websites

• Azure: Build und Deployment mit DevOps-Pipelines

• Es ist wie ein Start-up innerhalb von REWE, wo wir ein neues Forecasting-System auf der Google Cloud Platform von Grund auf aufbauen müssen. Offiziell heißt meine Rolle zwar MLOps, aber zu meinen tatsächlichen Aufgaben gehören auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Umsetzung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

• Skalierbare Datenanwendungen entworfen, entwickelt und konfiguriert, passend zu Geschäftsprozessen und technischen Anforderungen.
• Skalierbare, kosteneffiziente Datenarchitekturen mit Snowflake über AWS, Azure und GCP entwickelt und dabei dbt für Datentransformation und Modellierung eingebunden.
• Robuste ETL-Datenpipelines aufgebaut und gepflegt, um hohe Datenqualität für eine reibungslose Migration und systemübergreifende Integration sicherzustellen.
• Starke Expertise in SQL und Python mit umfassender Erfahrung in Datenmodellierung, ETL/ELT-Pipeline-Entwicklung und Streaming-Datenverarbeitung gezeigt; sicher im Umgang mit Git-basiertem Versionsmanagement, CI/CD-Prozessen und Test-Frameworks, mit solidem Wissen in den Bereichen Datenqualität, Observability, Kostenoptimierung, Sicherheit und Data-Governance.
• Mehrere Datenmigrationsinitiativen von SAP HANA nach Snowflake mit einem modularen dbt-Framework geleitet.
• End-to-End-Daten-Transformations-Workflows mit dbt auf Snowflake entworfen und gepflegt, geschichtete Datenmodelle implementiert, die Performance optimiert und eine hochwertige Datenbereitstellung für Business Intelligence und Reporting sichergestellt.
• Entwicklungs-, QA- und Produktions-Deployments über strukturierte Versionskontrolle und Release-Management mit GitLab gesteuert.
• Daten aus mehreren Quellen, darunter relationale Datenbanken, Flat Files, Excel und große Systeme, in Snowflake integriert und zentralisiert.
• Umfassende Expertise in den Datenbereichen Sales, Marketing, HR und ERP angewendet und relevante KPIs sowie Reporting-Lösungen entwickelt und gepflegt.
• Mit funktionsübergreifenden Teams zusammengearbeitet, um End-to-End-Datenlösungen termingerecht durch proaktives Lösen von Problemen und gute Abstimmung umzusetzen.
• Die Snowflake-Sandbox-Umgebung für die Data-Engineering-Abteilung administriert.
• Kolleginnen und Kollegen, die in Datenrollen gewechselt sind, in Snowflake geschult und technische Beratung sowie Mentoring für Junior-Teammitglieder übernommen.

• Verantwortlich für die Administration von OpenShift/Kubernetes On-Prem und den Entwickler-Support.
• Automatisierte die URP-Infrastruktur mit Python, Ansible, Kustomize sowie dem ArgoCD- und Argo Workflow/Events-Stack.
• Schrieb Smoke- und Lasttests für die URP-Infrastruktur mit Python, Kustomize und ApplicationSets.
• Unterstützte beim Aufbau und der Bereitstellung der URP-Infrastruktur in Google Cloud (GKE).
• Implementierte Monitoring für die URP- und ArgoCD-Umgebung mit Splunk Cloud.
• Führte Systemadministrationsaufgaben auf RedHat Linux, Kubernetes/OpenShift, ArgoCD, GitLab, Bitbucket Enterprise, Kafka und MongoDB durch.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Entwicklung dynamischer Web Components zur Darstellung von KPIs, intelligenter Kartenanwendungen und Betriebsprozessanalyse-Tools
• Angular 18+
• Leaflet, MapLibre
• NestJS, JavaScript, HTML, CSS
• PostgreSQL, GraphQL, RabbitMQ
• Gitea, Jenkins, Docker

• Entwurf, Aufbau und Wartung skalierbarer ETL/ELT-Datenpipelines mit Python, SQL, REST APIs, AWS Lambda, S3, RDS PostgreSQL, EventBridge, CloudWatch, Docker, Apache Airflow und BigQuery – Integration von Daten aus GA4, Google Ads, Meta Ads, CMS, CRM, Newslettern, Events und B2C-Bestellsystemen in analyseoptimierte Datensätze.
• Aufbau einer markenübergreifenden Lakehouse-Architektur von AWS zu BigQuery – Umwandlung von Roh-JSON/CSV-Daten in strukturierte, partitionierte und wiederverwendbare Reporting-Schichten mit Staging-, Intermediate-, Canonical- und Mart-Modellen.
• Entwurf relationaler und dimensionaler Datenmodelle: 3NF-Staging-Modelle, Star-Schemas, Faktentabellen, Dimensionstabellen, tägliche KPI-Aggregate und Dashboard-optimierte Marts für Marketing-, Content-, Abonnement-, Event-, CRM- und Umsatzanalysen.
• Implementierung produktionstauglicher Datenqualitäts- und Pipeline-Zuverlässigkeitsfunktionen: inkrementelle Loads, idempotente Upserts, Deduplizierung, Schema-Validierung, Zeilenabgleich, Null-Checks, Anomalieerkennung, Frische-Monitoring, Logging, Wiederholungsversuche und Fehlerbenachrichtigungen.
• Automatisierung markenübergreifender Reporting-Prozesse und Datenprodukte – Pipelines für 73 Newsletter-Kampagnen, 31 Lead-Listen-Synchronisierungen, 52 Event-Partner-Berichte und eine 500K-Datensatz-Unternehmensabgleich-Pipeline; Reduzierung der manuellen Datenvorbereitung um ca. 70 % und Steigerung der Analyst-Produktivität um ca. 30 %.

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Testkonzepterstellung
• Erstellung von Testprozessen
• Koordination der TC-Entwicklung: Stresstests, Funktionstests, Leistungstests, Tests mit hoher Datenrate, Integrationstests usw.
• HW-Testing: FPGA, RF
• Testautomatisierung und Regressionstests
• Gewährleistung des 24/7-Betriebs des Testsystems
• Analyse & Berichterstattung
• Regelmäßige Koordination des Testteams, Meetings mit anderen Stakeholdern
• Kommunikation und Koordination mit Stakeholdern und Projektleiter