ETL-Experten in München

Projektinhalt: Der Einsatz von Technologien der „Generative Pretrained Transformer“ (GPT) wird die Arbeitswelt in den kommenden Jahren massiv verändern. Das ITZBund entwickelt hierfür einen Basisdienst, den seine 200 Kunden nutzen können. Dieser Basisdienst wird als On-Prem- und als Cloud-Variante angeboten. Das Projekt startete in 12/23. Bereits ab 05/24 konnten für mehrere Behörden und Bundesministerien erfolgreich Produktivsysteme (auf Basis MVP) ausgerollt und betrieben werden.

Projektkennzahlen:

• Budget in 2024 ca. 20 Mio €
• ca. 70 Personen im engeren Projektkontext
• Regelmäßiger (indirekter) Kontakt zu ca. 80 Personen im weiteren Projektumfeld

Meine Haupttätigkeiten:

• Gesamtverantwortlicher externer Projektleiter
• Projektdefinitionsphase/ Projekteinrichtung und Aufbau der Projektorganisation
• Strategische und operative Projektplanung sowie Ausgestaltung und laufende Anpassung des Projekts
• Laufende Abstimmungen mit Projekteigner und Stakeholdern im ITZBund
• Laufende Abstimmungen mit Teilprojektleitern, agilen Rollen und weiteren Projektmitarbeitern
• Verantwortung für Projektcontrolling, Qualitätsmanagement, Risikomanagement und Changemanagement
• Verantwortung für die Bereitstellung und laufende Weiterentwicklung des Basisdienstes in On-Prem- und Cloud-Umgebungen
• Planung und Leitung mehrerer Hypercare-Phasen
• Zusammenarbeit und laufende Abstimmung mit einem Partnerprojekt eines Bundesministeriums sowie Bereitstellung eines MVP
• Abstimmung mit den agilen Teams
• Abstimmung mit Betrieb, Release und Deployment
• Verantwortung für die Umsetzung erster Kundenprojekte
• Verantwortung für die Erstellung einer KI-Governance
• Sicherstellung der Barrierefreiheit (BITV)
• Verantwortung für den Aufbau eines Teilprojekts für Marketingaktivitäten
• Unterstützung beim Aufbau eines effizienten Angebotsprozesses
• Stakeholdermanagement

Vorgehensmethode:

• V-Modell XT ITZBund
• Scrum

Eingesetzte Werkzeuge:

• Microsoft Office, Skype, MS Project, Confluence, Jira, Sharepoint, Miro

PMO- & Projektorganisations-Blueprint für Restrukturierung

Erneuerbare Energien / Solar Equipment

Technologien / Methoden: PMO-Setup, KPI-Tracking, Projektorganisation, Jira, Confluence

• Maßnahmen zur verbesserten Management-Steuerung während ei...

Themen:

• Weiterentwicklung des CRM-Systems NKAM und systemtechnische Trennung von „direct“ und „indirect“sales
• Neumodellierung des Bereichs Discountverwaltung und Auslagerung in ein anderes System.
• Konzeption zahlreicher Verbesserungen auf der Wholsale-Seite zur Reduktion des manuellen Aufwands bis zur Ebene von User Stories.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

PROFIL Senior Oracle-Spezialist, Consultant und DBA mit langjähriger Erfahrung in Planung, Architektur, Installation, Migration, Betrieb, Performance-Tuning und Troubleshooting großer Oracle-Datenbanklandschaften. Schwerpunkt auf Oracle Database 19c sowie Enterprise-Architekturen mit RAC, Active Data Guard, Golden Gate, Exadata, RMAN und CDB/PDB. Erfahrung in heterogenen Enterprise-Umgebungen auf Linux, AIX, Solaris, HP-UX und Windows sowie in Cloud- und Migrationsprojekten. Über viele Jahre Einsatz als technischer Berater, DBA, Architekt und Projektleiter für Banken, Versicherungen, Energieversorger, öffentliche Einrichtungen, Industrie, Automotive und Luftfahrt. Verbindung von technischem Oracle-Know-how mit Betriebskonzepten, Migration, Projektplanung, Dokumentation und Kundenberatung.

ORACLE-SCHWERPUNKTE

• Oracle Database 19c – Installation, Upgrade, Patch-/RU-Management, Betrieb und Troubleshooting
• Oracle Database 21c / 23ai / 26ai – Kenntnisse der aktuellen Oracle-Release-Linien
• Oracle RAC, Active Data Guard, Data Guard, Oracle GoldenGate
• CDB / PDB, Multitenant-Architekturen und Enterprise-Datenbankbetrieb
• Oracle Exadata und hochverfügbare Datenbanklandschaften
• RMAN – Backup, Restore, Recovery, Migration und Disaster-Recovery-Szenarien
• Data Pump (EXPDP / IMPDP), Transportable Tablespaces (TTS) und datenbankbasierte Migrationen
• Performance-Analyse, SQL / PL/SQL, Tuning, Troubleshooting und Kapazitätsplanung
• Oracle Enterprise Manager / Monitoring und technische Betriebsunterstützung
• Oracle Security: Wallet, TDE, Database Vault, VPD / RLS
• Oracle DWH / BI: OBIEE, ODI, OWB und Discoverer
• Oracle Applications / E-Business Suite und Oracle-basierte Applikationslandschaften

AKTUELLE PROJEKTE

Scope Solutions AG, Basel / CH | 08/2023 – laufend Oracle-Projektmanagement und DBA

• Installation, Wartung und regelmäßige Upgrades von Oracle-Datenbanksystemen mit Schwerpunkt Oracle 19c.
• Patch- und Release-Management einschließlich OPatch und Release Updates; Betrieb auf RHEL 8.x, SLES 15.x und Windows.
• DBA-Unterstützung für Kunden in DACH und Europa sowie Betreuung von Produktions-, Lasttest- und weiteren CDB-/PDB-Umgebungen.
• Technische Betriebsabläufe und Dokumentation über Confluence; Support und Service Requests über My Oracle Support / Metalink.

Bundesagentur für Arbeit, Nürnberg | 04/2022 – 10/2023 Oracle-Betriebsunterstützung / DBA

• Betrieb und regelmäßige Upgrades von Oracle-19c-Datenbanksystemen auf SLES 15.x.
• DBA für rund 2.100 PDBs auf RAC und Exadata in Produktions-, Integrations-, Lasttest- und weiteren Umgebungen.
• Configuration Management über ARS Remedy; Arbeitsabläufe und technische Dokumentation über Jira und Confluence.
• Betriebssupport und Bearbeitung von Service Requests über My Oracle Support / Metalink.

Statistisches Bundesamt, Wiesbaden | 09/2021 – 03/2022 Oracle-Betrieb und Architektur – Erhebung 2022

• Zusammenführung von Daten in ein zentrales Oracle-19c-Datenbanksystem.
• Konzeption von Import-/Export-Verfahren für die zentrale Datenstruktur.
• Kennzahlen- und Performance-Architektur für die Auswertungen.
• Schulung der Mitarbeiter im Oracle-Performance- und DBA-Umfeld.

• Data Engineering: Konzeption und Implementierung skalierbarer Datenpipelines
• Legacy-Migrationen zu Microsoft Fabric (Lakehouse, Dataflows Gen2, Pipelines)
• BO-Universe-Migrationen zu MS Fabric / Semantic Models / Power BI
• Taskforce für datengetriebene Transformationsprojekte nach Azure Fabric / Oracle / MSSQL

In meiner Rolle als Senior Cloud DevOps Architect bei BP, einem Öl- und Gasunternehmen, hatte ich die Aufgabe, die Plattform für das Laden von Elektrofahrzeugen der EV Division von On-Premises und Azure in die AWS-Cloud zu migrieren, was zu einer hybriden Multi-Cloud-, Multi-Tenant-SaaS-Lösung führte.

Der Einsatz von Kubernetes für die Anwendungsebene bedeutete die Bereitstellung von Kubernetes-Clusters, die von EKS und AKS verwaltet wurden, mit Fokus auf die Integration in eine Multi-Tenant-Umgebung. Diese Integration wurde durch den Einsatz von Kubernetes-Namespace und Zugriffskontrollen erreicht, um Datenisolation und Datenschutz sicherzustellen.

Auf der Datenbankebene entschieden wir uns für eine RDS-Instanz mit PostgreSQL zur Unterstützung der Backend-Infrastruktur unserer Anwendungen. Die Mandanten teilten sich dieselbe RDS-Instanz, hatten aber jeweils ein eigenes Schema.

Um nahezu in Echtzeit Daten von physischen Ladestationen (CPOs) als IoT-Geräte über das OCPI-Protokoll aufzunehmen, stießen wir bei der Batch-Verarbeitung auf erhebliche Verzögerungen. Daher entwickelten wir eine Streaming-Datenpipeline in Echtzeit mit Apache Kafka und setzten dabei auf eine eventgetriebene Architektur.

Ich leitete die Zusammenarbeit über mehrere interne Teams, externe Anbieter, Cloud-Provider und Partner vor Ort hinweg, um über fünf Systeme in eine einheitliche Lösung zu integrieren.

Erfolge:

• Erfolgreich hybride Multi-Cloud-Lösungen entworfen und umgesetzt, die mehrere Cloud-Plattformen (AWS, Azure) mit On-Premises-Infrastruktur unter Einsatz von Site-to-Site-VPNs, Firewalls und Load Balancing integrierten.
• Die Migration der On-Premises-Infrastruktur zu einer Multi-Cloud-, Multi-Tenant-Infrastruktur geleitet, was zu 30 % schnelleren Verarbeitungszeiten führte.
• Workloads aus VMware- und Hyper-V-Umgebungen auf cloudbasierte VMs migriert und dabei Cloud-native Services genutzt, um Leistung, Kosteneffizienz und Skalierbarkeit zu optimieren.
• Eine Multi-Tenant-Kubernetes-Plattform entworfen, die das Kubernetes-Ökosystem nutzt, mit Karpenter für die dynamische Bereitstellung von EC2-Nodes, KEDA für eventgesteuertes Pod-Autoscaling (z. B. Kafka-Message-Lag) und Rancher für das zentrale Monitoring mehrerer Cluster (EKS, AKS oder On-Prem K8s), als Ersatz für den Microsoft-zentrierten Azure-Arc-Management-Service.
• Python-basierte FastAPI-Microservices als Teil des EV-Core-Backends auf der AWS-EKS-Anwendungsebene entworfen und umgesetzt, die Datenaufnahme- und Kundenanalyse-Pipelines antreiben.
• Asynchrone, eventgetriebene APIs (Python-FastAPI) für die Echtzeit-Integration mit CPOs entwickelt, mit Unterstützung für OCPI 2.3 und OICP-Protokolle.
• Eine sichere, produktionsreife Azure-Databricks-Plattform mit Terraform entworfen und umgesetzt und dabei Skalierbarkeit und Kosteneffizienz sichergestellt.
• On-Premises-ERP auf eine hybride Dynamics-365-Architektur migriert, mit ERP lokal gehostet und CRM in Azure betrieben, integriert über Azure Arc.
• CI/CD-Pipelines für Databricks-Notebooks und Jobs mit GitHub Actions und Databricks CLI automatisiert, wodurch die Bereitstellungszeit reduziert wurde. Die Bereitstellungszeit für Infrastruktur durch Automatisierung der Cloud-Ressourcenbereitstellung mit GitOps um 70 % reduziert.
• Die Einhaltung interner Audit- und Data-Governance-Standards (GDPR) durch OAuth2/OIDC-basierte Authentifizierung und fein abgestufte rollenbasierte Zugriffskontrollen sichergestellt.
• Ein Zero-Trust-Sicherheitsmodell entwickelt, das Least-Privilege-Zugriffe und Mikrosegmentierung durchsetzt und die Sicherheitslage sowie die Compliance mit GDPR und NIST verbessert.
• Interaktive Analytics-Dashboards in Amazon QuickSight erstellt, die Daten aus S3 und Redshift integrieren, um Echtzeit-Business-Insights und Visualisierungen mit eingebettetem Zugriff für Multi-Tenant-Nutzer bereitzustellen.
• Cloud-Sicherheitsbewertungen und eine Sicherheitsintegration über den gesamten Lebenszyklus während M&A geleitet, einschließlich AWS, Azure, IAM (Entra ID) und Datenschutz, und dabei die Sicherheitslage mit NIST, ISO 27001 und GDPR über hybride und cloud-native Umgebungen hinweg ausgerichtet.
• Die Cloud-Kosten für eine Dev-Umgebung eines Kunden um 64 % gesenkt, indem automatisierte Start-/Stopp-Zeitpläne für EC2- und RDS-Instanzen über AWS CDK mit EventBridge Scheduler oder AWS Systems Manager implementiert wurden.

Tech-Stack:

• Infrastructure as Code: Terraform, AWS CDK, Ansible.
• Container: Kubernetes auf EKS, AKS, Docker.
• Streaming-Datenverarbeitung: Kafka zu Confluent Cloud, nach AWS MSK.
• Frontend: TypeScript, React, NextJS, Hooks, Styled Components.
• Backend: Python mit FastAPI, außerdem Node.js mit NestJS.
• Datenbank: Aurora auf PostgreSQL mit TypeORM, RDS auf SQL Server, vollständiges Setup und Administration von Azure Databricks, ETL-Pipelines.
• CI/CD und GitOps: GitHub Actions, Azure DevOps, ArgoCD.
• Monitoring und Observability: Prometheus und Grafana.
• Virtualisierung: Hyper-V, VMware Cloud on AWS, Azure Migrate.
• ERP-Systeme: Odoo, Microsoft Dynamics 365 Business Central auf Azure, integriert mit Azure Arc.
• Netzwerke: Site-to-Site-VPNs, AWS Direct Connect, Azure ExpressRoute, Firewalls (AWS Network Firewall, Azure Firewall).
• Sicherheit: IAM, NIST Framework, Zero-Trust-Sicherheit, AWS WAF, AWS Shield, GuardDuty.

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).

• Entwickelte eine Python-Pipeline, die Web-Inhalte aus dem Lektionar in strukturierte tägliche JSON-Daten umwandelt und dabei liturgische Kalenderregeln für eine genaue Abdeckung von Wochentagen und Sonntagen anwendet.
• Stellte eine reine FastAPI-REST-API mit gemeinsamen Pydantic-Modellen bereit und lieferte einen Kirundi-first Web-Client für Browser und Mobile.
• Verantwortete die Datenebene und die Backend-Architektur, arbeitete eng an Systemarchitektur und Schnittstellen mit und automatisierte Aktualisierungen mit GitHub Actions; außerdem validierte ich das ETL mit pytest.
• Impact: Schuf eine verlässliche, API-gestützte Single Source of Truth für tägliche Bibellesungen auf Kirundi und ermöglichte so einen konsistenten Zugriff auf zuvor unstrukturierte Inhalte.

• Arbeite direkt mit C-Level-Führungskräften (CEO, CAIO, CTO) an Architektur, OKR-Strategie und der teamübergreifenden Priorisierung der Roadmap und übersetze strategische Ziele in strukturierte Engineering-Anforderungen.
• Habe technische Schulden im gesamten Unternehmen gemeinsam mit dem C-Level sichtbar gemacht und eine priorisierte Remediation-Strategie mit definiert, mit dem Ziel, Schuldenabbau und Feature-Delivery sinnvoll auszubalancieren.
• Habe Code Reviews und technische Standards im Team geleitet und eine Mentor-First-Kultur mit zweiseitigem Feedback gefördert — durch Pairing an komplexen Pipeline-Themen und Unterstützung jüngerer Engineers bei asynchronen Architekturmustern.
• Habe die Kern-Processing-Pipeline des AI Companions von synchron auf asynchron mit einer Queue-basierten Worker-Architektur umgebaut, horizontale Skalierung ermöglicht und die Upload-Verarbeitungszeit um ~4x verkürzt (von ~22s auf 5–10s) bei gleichzeitig besserer Antwortgenauigkeit.
• Habe einen AI-gestützten Workflow für Document Intelligence entworfen mit automatischer Multi-Document-Klassifizierung, Zusammenfassungen pro Dokument und Relevanz-Guardrails für die Patientenreise.
• Habe ein einheitliches Patient-Memory-System aufgebaut (kurz- und langfristiger Kontext), das das Dokumentenarchiv und den Chatbot zu einer einzigen bidirektionalen, kontextbewussten Plattform verbindet.

• Migration vorhandener Data-Jobs von Cognos Data Manager zu Tibco/IBI Datamigrator
• Parametrisierung der Data-Jobs für dynamische Abläufe
• Optimierung und Reduzierung
• Regressionstests
• Wissensvermittlung und Dokumentation

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

• Betrieb und Erweiterung von Azure DevOps-Pipelines

• Betrieb und Erweiterung von AWS-Services

• Citrix (Windows 10, Bitwarden)

• AWS: ECR, EKS, CloudFront CDN, Route 53, VPC Peering und CNI-Upgrade, Atlas MongoDB, S3-Buckets, Hosting statischer Websites

• Azure: Build und Deployment mit DevOps-Pipelines