Apache Spark Experten in München

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

Oracle-Projektmanagement und Automatisierung

Im Rahmen des Projekts wurde die Automatisierung des Betriebs einer Oracle-Infrastruktur durch die Entwicklung und Weiterentwicklung von Puppet-Modulen sowie die Migration bestehender Bash-Skripte auf eine standardisierte Configuration-Management-Lösung unterstützt.

Ziel des Projekts war die Standardisierung und Automatisierung administrativer Prozesse, die Verbesserung der Wartbarkeit der Oracle-Plattform sowie die Erhöhung der Effizienz und Nachvollziehbarkeit des Infrastrukturmanagements durch den Einsatz von Infrastructure as Code.

• Analyse und Migration bestehender Bash-Shell-Skripte in eine Puppet-basierte Automatisierungslösung
• Entwicklung und Weiterentwicklung von Puppet-Modulen für Oracle-Umgebungen
• Automatisierung von Installations-, Konfigurations- und Betriebsprozessen mittels Infrastructure as Code
• Standardisierung und Optimierung des Configuration Managements für Oracle-Systeme
• Erstellung und Pflege technischer Dokumentationen sowie Betriebsdokumentationen
• Planung, Koordination und fachliche Begleitung der Projektumsetzung
• Betrieb und Automatisierung von Oracle-Systemen auf x86-basierten Linux-Serverplattformen
• Durchführung von Tests und Qualitätssicherung der entwickelten Puppet-Module
• Analyse und Behebung technischer Fehler im Rahmen der Automatisierung und Migration
• Enge Abstimmung mit Fachbereichen und Infrastrukturteams zur Umsetzung der Automatisierungsanforderungen

Eingesetzte Technologien: Puppet 7/8, SLES 15, Oracle 19, Oracle Grid, SVN, Windows Server, Confluence, VS Code, Ruby, Bash, Pass

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

• Entwicklung des Audit-Logging-Frameworks
• Implementierung von APIs, die Entwickler in ihre Codebasen integrieren können
• Implementierung der Ingestion-Pipeline, der Datenbank-Abfrageschicht und der UI zum Durchsuchen der Audit-Events
• Verbesserung der Stabilität und Zuverlässigkeit des Backend-Systems

• Spezifikation von Business Intelligence und KPIs sowie Erstellung eines Playbooks für 35 europäische Unternehmen.

• Entwicklung einer leistungsstarken Anzeigenbereitstellung über Auktionen
• Ganzheitliche Optimierung der Anzeigenplatzierung (Multi-Campaign & Multi-Channel)
• Algorithmische Optimierung für NP-Hard/NP-e
• Multiple Knapsack Problem mit Nebenbedingungen
• Online-Schätzung von Parametern in stochastischen Umgebungen

Tools: Python, R, Kotlin, MILP/SAT/CP Solvers, Pytorch, Pandas, Docker

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).

• Entwurf durchgängiger KI/ML-Lösungen mit starkem Fokus auf fortschrittliche LLM-Anwendungen, autonome agentische KI-Workflows mit dem MCP-Toolset, Berechnungen von vLM-Embeddings und robuste agentische RAG-Pipelines, um für Kunden aus verschiedenen Branchen einen konkreten Geschäftsnutzen zu schaffen.
• Entwicklung intelligenter agentischer KI-Workflows zur Automatisierung des Abrufs von Wissen und der Schlussfolgerungen für B2B-Kunden, um schneller Geschäftsnutzen zu erzielen.

• Migration vorhandener Data-Jobs von Cognos Data Manager zu Tibco/IBI Datamigrator
• Parametrisierung der Data-Jobs für dynamische Abläufe
• Optimierung und Reduzierung
• Regressionstests
• Wissensvermittlung und Dokumentation

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

DWH für Kunden- und Finanzdaten

• Erweiterung DWH um neue Datenquellen
• Berichtsentwicklung
• Datenqualitätsmanagement

Vorgehensmodell: Scrum

Werkzeuge: Atlassian Confluence & Jira

Datenbanken: Microsoft SQL Server

Programmiersprachen: SQL, T-SQL

ETL: Microsoft SQL Server Integration Services (SSIS)

Frontend-Plattform: PowerBI, Microsoft Reporting Services

• Entwicklung von Data Products im Rahmen einer Data Mesh-/Medallion-Architektur auf Databricks und Azure Synapse.
• Aufbau von Power BI Dashboards auf konsolidierten Daten aus mehreren Quellsystemen (Vertrieb, Service, Verträge, Bestandsdaten).
• Definition von KPIs und Reporting-Standards in enger Abstimmung mit Business-Stakeholdern.