Databricks Experten

Leitung der durchgängigen Integrations- und Migrationsarchitektur für die Stilllegung der SAP-IS-U-Marktkommunikation und den Übergang zu Salesforce Marketing Cloud (SFMC) mit E.ON IT Services — einschließlich regulierter EDIFACT-Marktnachrichten, einer dreiphasigen Datenmigration (Übernahme Marktnachrichtenbestand nach Cutover), der Neugestaltung der Marktkommunikationsprozesse sowie der vollständigen Einhaltung der DSGVO und der deutschen Energiemarktanforderungen.

• Entwicklung der dreistufigen Zielarchitektur (SAP IS-U → NScale B2B gateway → SFMC) zur Verarbeitung von 50.000–100.000 EDIFACT-Nachrichten täglich innerhalb von SLAs unter 5 Minuten.
• Konzeption der dreiphasigen Datenmigration: 36 Monate historische Daten, verlustfreier Cutover laufender Marktnachrichten und nahezu Echtzeit-CDC-Synchronisierung.
• Umsetzung einer sicheren, BDEW-/DSGVO-konformen Integration (AS2/OFTP2, RFC/IDoc, REST APIs, OAuth 2.0, Azure AD, AWS S3) mit >99.5% Verfügbarkeit, <0.1% Migrationsabweichung und RTO <4 Stunden.
• Einsatz von BPMN zur Modellierung und Optimierung der Marktkommunikationsprozesse.

Technologien: SAP IS-U, NScale, Salesforce Marketing Cloud, EDIFACT, OAuth 2.0, Azure AD, AWS S3, BPMN, Jira, Confluence, Draw.io

Entwicklung von KI- und klassischen Modellen zur Analyse von Medizin- und Patientendaten, u. a. Medikationsanalysen, Diagnoseanalysen, Prognosen, Prozeduranalysen, Dosierungsanalysen, Komorbiditätsanalysen, Verordnungsanalysen, Patientenpotenzialanalysen, Überweisungsprofilanalysen und Verordnungsanalysen. Analysen im Bereich Real World Evidence.

Medizin-IT, Pharmaindustrie

Aufgaben, Verantwortlichkeiten:

• Aufnahme der Kundenanforderungen
• Planung des Teilprojekts
• Konzeption und Definition von KPI's
• Konzeption und Entwicklung von Modellen und Visualisierungen der Ergebnisse mittels Kunden-Dashboards
• Erarbeiten und Umsetzung von DWH-Anpassungen
• Ableitung von Handlungsempfehlungen

Methoden, Technologien:

• Simulation
• Künstliche Intelligenz
• Python
• R
• SQL
• Microsoft Power BI
• Amazon Web Services
• Elasticsearch
• PostgreSQL
• Databricks
• Multivariate Statistik

• Dokumentation komplexer Finanzreporting-Prozesse in ausführlichen Gesprächen mit Fachexperten
• Analyse und Abbildung des 3-stufigen Datenflusses SAP – Essbase – HQ (984 Konteneinträge, Triple-Kontenrahmen)
• Ermittlung der größten Zeitfresser (40 % der Abschlusszeit)
• Technologiebewertung (AWS, Microsoft Fabric, individuelle/hybride Lösung) mit Kosten-Nutzen-Analyse
• Katalog mit 351 Validierungsregeln als Grundlage für die Automatisierung vor der Einreichung
• Business Case: geschätztes Einsparpotenzial 480–960 T€/Jahr für die EAR-Region
• Praktische Umsetzung mit Microsoft Fabric, RAG, KI-Agenten/Tool Calling und n8n; produktiver Einsatz von Microsoft Copilot und Copilot Studio
• KI-gestützte Projektmanagement-Workflows (Protokolle, Aufgaben, Wissensabgleich)
• Stakeholder-Management auf Ebene des Senior Managements (EAR Accounting, IEA IT, TFSC Japan), Workshops und Schulungen zu KI-Tools

Technologien: Microsoft Fabric, Copilot Studio, Claude AI, Python, Power BI, SAP, Essbase/SmartView, Excel (VBA), Notion, SharePoint

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Branche: Maschinenbau, Fahrzeugbau
• Regulierungen: Data Act
• Projektschwerpunkt: Datengovernance, rechtskonforme Maschinendatennutzung, Datenplattformen
• Beauftragt durch: CFO, Plattform Product Owner

Erfolge/Ergebnisse (Frühphase):

• Compliance-Begleitung des Aufbaus einer int. vereinheitlichten Datennutzungsplattform auf Basis Databricks.
• Schaffung der Voraussetzung für die rechtskonforme und effektive Maschinendatennutzung, u.a.:
• Technisch: Gap-Analyse und Schließen von Lücken in der Segmentierung und Pflege der erhobenen Maschinendaten.
• Technisch: Berücksichtigung von Datenausleitungen aus der Plattform an Nutzer und Dritte.
• Organisatorisch: Entwurf und Abschluss der erforderlichen Datennutzungsverträge.

• Marketingstrategie: End-to-end-Analyse und Bewertung von kanalübergreifenden Marketingkampagnen über die gesamte Customer Journey hinweg. Mein Fokus liegt darauf, Optimierungspotenziale zu erkennen und klare, umsetzbare Empfehlungen abzuleiten, die messbare Geschäftsergebnisse erzielen.
• Data Science & KI: Fortgeschrittene prädiktive Modelle (Churn, LTV), Market-Basket-Analysen, Clustering und KI-gestützte Audience Discovery in Echtzeit mit RAG/LLMs.
• Marketing Analytics & Measurement: End-to-end-Attributionsanalyse, Marketing Mix Modeling (MMM), Audience Segmentation, Conversion-Path-Analyse und A/B-Tests über alle wichtigen Plattformen hinweg.
• Data Engineering & Reporting: Aufbau und Betreuung robuster, plattformübergreifender Datenpipelines (BigQuery, GCP) für die Datenkonsolidierung, automatisierte Dashboard-Erstellung und wichtige API-Integrationen.

• Erkennung von Betrugsmustern und Umsetzung wirksamer Maßnahmen gegen Betrug bei gleichzeitig akzeptabler Rate falsch-positiver Ergebnisse, um ein Gleichgewicht zwischen Sicherheit und einer reibungslosen User Experience zu gewährleisten
• Unterstützung bei der Entwicklung und Einführung neuer Trust-and-Safety-Funktionen auf der Plattform, um betrügerische Aktivitäten zu blockieren und das Bewusstsein der Nutzer für Betrug zu erhöhen
• Unterstützung von Produkt-, Entwicklungs- und Customer-Support-Teams mit BI-Berichten und weiterer Beratung zur Identifizierung und Bekämpfung von Betrug und Richtlinienverstößen

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Entwickelte und implementierte Erweiterungen in SAP BW on HANA 7.5 im Rahmen von CRM-Migration sowie S/4HANA- und BW/4HANA-Transformationsprogrammen
• Migrierte SAPI-Datenquellen auf das ODP-Framework als Teil der S/4HANA-Migration
• Lieferte SAP-ECC-Daten über BW-Datenmodelle und Calculation Views für Power-BI-Analysen in Snowflake
• Integrierte SAP- und Non-SAP-Datenquellen (inklusive MS Dynamics)
• Verbesserte die Transparenz im Reporting durch konsolidierte Datenmodelle
• Optimierte Datenladeprozesse für FI-CO-Datenquellen und verbesserte dadurch Ladezeiten und Systemperformance deutlich

• Konzeption und Bereitstellung von End-to-End-Machine-Learning-Pipelines für Klassifizierungs- und Prognosedatensätze mit Sicherstellung von Robustheit und Reproduzierbarkeit durch Best Practices im MLOps-Bereich.
• Direkter Beitrag zur Verbesserung der Genauigkeit von LLM-Modellausgaben durch die Entwicklung und Ausarbeitung spezialisierter Prompts auf Grundlage der Logik von End-to-End-ML- und SciML-Pipelines.
• Entwicklung von Trainingsdaten für große Sprachmodelle durch die Formulierung von Programmieraufgaben, die von den Modellen nicht gelöst werden konnten, sowie anschließende Dokumentation der korrekten Lösungen.