Databricks Experten in München

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

• Erstellte ein multi-agentisches System, unterstützt von einem Wissensgraphen, um das Verfassen von Forschungsarbeiten zu automatisieren
• Setzte mehrere Experten (OpenAI-Modelle) ein, die beim Verfassen zusammenarbeiteten
• Extrahierte nützliche Informationen aus dem Wissensgraphen
• Technologien: LangChain, LangGraph, Smolagents, LlamaIndex, dspy
• Infrastruktur: Terraform und GitHub Actions (CI/CD) auf AWS
• Stellte die erste Anwendung als Streamlit-App bereit

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer).
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint-Deployment.
• Integration von MLflow für Experiment-Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung in der Azure Model Registry.
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0.
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung.
• Automatisierung der Infrastruktur-Bereitstellung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines.
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke.
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports.
• Analyse, Architektur einer Softwarelösung zur effizienten Verarbeitung von Massendaten (>3000 Nachrichten/Sek.) (Market Data Store).
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung und Weiterleitung von Nachrichten an Read-Model-Queues, Aufbau von Read Models für die UI-Anzeige in MongoDB.
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB.
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege.
• Agentic Coding mit remote und local LLM (Claude Sonnet, Ollama Qwen) und MCP-Servern.
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn).

• Entwickelte und pflegte analytische Reporting-Lösungen für Kunden, um Umsatztrends, Leistungsfaktoren, Risiken und Optimierungspotenziale zu identifizieren und datengetriebene Entscheidungen in Sales, Finance, Product, Data Engineering und Controlling zu unterstützen.
• Definierte und analysierte Kundentrends und Leistungskennzahlen, um Ursachen für Abweichungen, Anomalien und neue Risiken in verschiedenen Geschäftsbereichen zu identifizieren und umsetzbare Empfehlungen abzuleiten.
• Entwickelte und verantwortete analytische Datenmodelle und Reporting-Layer, um Skalierbarkeit, Performance und analytische Robustheit für Executive- und Operational-Reporting in verschiedenen Geschäftsbereichen sicherzustellen.
• Plante, verfolgte und setzte Projekte um und stellte dabei durch strenge Validierungs- und Abgleichsprozesse die Einhaltung von Zeitplänen, Datenqualität, Konsistenz, Lieferergebnissen, Zuverlässigkeit und Datenqualitätsstandards sicher.
• Erhöhte die analytische Reife durch die Formalisierung analytischer Workflows, die Dokumentation von Datenprozessen und Standard Operating Procedures (SOPs) sowie durch Schulungen zur Förderung von Self-Service-Analytics und zur Verankerung einer datengetriebenen Kultur in operativen und fachlichen Teams.
• Übernahm die Verantwortung für die End-to-End-Roadmap von der Anforderungserhebung und Datensammlung über Transformation und die Entwicklung robuster Business-Logiken bis hin zum Data Storytelling und zur Übergabe an Stakeholder.
• Übersetzte Komplexität in strukturierte Klarheit, indem Anforderungen und Geschäftsprozesse in analytische Empfehlungen überführt wurden, um die Abstimmung zwischen nicht-technischen und technischen Stakeholdern sicherzustellen.
• Führte fortgeschrittene SQL-basierte Analysen komplexer Geschäftsdaten durch, um Trends, Zusammenhänge und Möglichkeiten zur Leistungsverbesserung aufzudecken.
• Trieb Prozessautomatisierung und Effizienzsteigerungen voran, indem Python, SQL-Optimierung und KI-gestützte Tools genutzt wurden, um Verarbeitungszeiten zu reduzieren und die Zuverlässigkeit analytischer und operativer Workflows zu erhöhen.
• Standardisierte KPI-Definitionen und Reporting-Logiken, um Konsistenz und Vertrauen in Reporting-Lösungen sicherzustellen.
• Entwickelte Dashboards und Analysen zur Prozessüberwachung, um Ineffizienzen, Engpässe und Compliance-Abweichungen in End-to-End-Geschäftsprozessen zu identifizieren und umsetzbare Empfehlungen für Prozessverbesserung und Automatisierung abzuleiten.

• Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

DWH für Kunden- und Finanzdaten

• Erweiterung des DWH um neue Datenquellen
• Berichtsentwicklung
• Datenqualitätsmanagement

Vorgehensmodell: Scrum

Werkzeuge: Atlassian Confluence & Jira

Datenbanken: Microsoft SQL Server

Programmiersprachen: SQL, T-SQL

ETL: Microsoft SQL Server Integration Services (SSIS)

Frontend-Plattform: PowerBI, Microsoft Reporting Services

• Entwurf, Entwicklung und Pflege vollständiger ETL-Pipelines für eine skalierbare und zuverlässige Datenintegration
• Unterstützung bei Datenqualitätsprüfungen, Tests und Migrationen
• Entwicklung und Pflege von dbt-Modellen für strukturierte, modulare und wiederverwendbare Datentransformationen
• Einsatz von KI-gestützter Entwicklung, um ETL-Jobs und die Codequalität zu verbessern
• Entwicklung von CI/CD-Pipelines für die automatisierte Bereitstellung

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Durchführung einer umfassenden Due Diligence-Prüfung für eine potenzielle Akquisition einer Schweizer Produktionsfirma im Rahmen einer Pre-Merger-Analyse
• Bewertung der Produktionskapazitäten und technischen Infrastruktur
• Bewertung der Integrationsmöglichkeiten in bestehende Geschäftsprozesse
• Risikobewertung und Erstellung von Handlungsempfehlungen
• Dokumentation der Prüfungsergebnisse und Präsentation vor der Geschäftsleitung

• Migration vorhandener Data-Jobs von Cognos Data Manager zu Tibco/IBI Datamigrator
• Parametrisierung der Data-Jobs für dynamische Abläufe
• Optimierung und Reduzierung
• Regressionstests
• Wissensvermittlung und Dokumentation

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Mitgegründet ein KI-Startup mit Fokus auf die Entwicklung produktionsreifer LLM-Anwendungen und Agentensysteme
• Entworfen und implementiert Multi-Agent-KI-Workflows für Finanz- und Handelsanwendungen
• Entwickelt LLM-basierte Copilot-Architekturen für Portfolioanalyse, Handelsverwaltung und personalisiertes Nutzercoaching
• Entwickelt On-Device- und Edge-Inferenzanwendungen, optimierte Modelle für geringe Latenz, Datenschutz und ressourcenbeschränkte Umgebungen
• Geleitet Architekturentscheidungen zur Modellauswahl, Orchestrierung, Zustandsverwaltung und Bereitstellung

• Themen: Business Analyse, Datenschutz, Datenmanagement, Stakeholder Management, Konzeption
• Das vorliegende Projekt konzentriert sich auf die Entwicklung und Umsetzung eines strategischen Ansatzes für das Datenlöschen in SAP-Systemen. Ziel ist es, die relevanten Daten und Strukturen bei der Systemübernahme zu identifizieren, um sowohl den Datenschutz als auch die IT-Systemeffizienz zu gewährleisten. Gleichzeitig sollen Downtimedauern minimiert und regulatorische Anforderungen erfüllt werden.
• Entwicklung eines umfassenden Ansatzes zur Datenlöschung in SAP-Systemen unter Berücksichtigung datenschutzrechtlicher und geschäftlicher Anforderungen.
• Sicherstellung einer effizienten und strukturierten Datenüberführung in das neue System.
• Optimierung der Systemeffizienz und Reduktion von Downtimes während der Migration.
• Erstellung fachlicher und technischer Konzepte, um eine rechtskonforme und nachhaltige Datenverwaltung sicherzustellen.
• Themenvorbereitung: Detaillierte Untersuchung des Themenfelds „Datenlöschen", um die Grundlage für eine strukturierte Datenmigration zu schaffen.
• Definition der Projektstruktur: Festlegung von Rollen, Schnittstellen und der organisatorischen Projektstruktur.
• Regulatorische Anforderungen: Analyse von datenschutzrechtlichen Vorgaben und geschäftlichen Anforderungen, um die Löschkriterien zu definieren.
• Vorgehensweise: Entwicklung möglicher Szenarien und Vorgehensweisen für die Datenbereinigung und -löschung.
• Löschkonzepte: Erstellung von fachlichen und technischen Löschkonzepten, die die Implementierung strukturieren und klare Vorgaben liefern.
• Festlegung der Löschkriterien: Definition, welche Daten und Strukturen gelöscht oder übertragen werden.
• Verantwortlichkeiten: Klärung der Verantwortlichkeiten innerhalb des Projektteams sowie bei beteiligten Stakeholdern.
• Analyse laufender Aktivitäten: Identifikation und Erhebung bereits laufender Aktivitäten im Themenfeld „Datenlöschen".
• Aufwands-, Kosten- und Zeitplanung: Erstellung von Schätzungen für Ressourcen, Zeitaufwand und Budget.
• Umsetzungsinitiativen: Entwicklung und Umsetzung konkreter Maßnahmen, um die definierten Löschstrategien umzusetzen.
• IT-Systemeffizienz: Analyse der vorhandenen IT-Infrastruktur, um Optimierungspotenziale für die Löschung und Überführung von Daten zu identifizieren.
• Technologietrends: Bewertung neuer Technologien und Tools, die den Prozess der Datenbereinigung unterstützen können.
• Kosten-Nutzen-Analyse: Bewertung der finanziellen Auswirkungen der Datenbereinigung und der Einführung neuer Lösungsansätze.
• Risikomanagement: Identifikation potenzieller Risiken während der Umsetzung und Entwicklung geeigneter Maßnahmen zur Minimierung.
• Dieses Projekt legt die Grundlage für eine nachhaltige und rechtskonforme Datenüberführung in ein neues SAP-System. Mit einem klar definierten Ansatz zur Datenlöschung werden Datenschutzanforderungen erfüllt, Downtimes reduziert und die Effizienz des neuen Systems gesteigert. Die Ergebnisse und Handlungsempfehlungen werden Unternehmen dabei unterstützen, eine zukunftssichere Datenstrategie zu entwickeln, die gleichzeitig den gesetzlichen und geschäftlichen Anforderungen entspricht.

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)