Databricks Experten

Ich unterstütze Dialpads Bereich Telephony Engineering als technischer KI-Berater und entwickle gleichzeitig KI-Produkte in der Praxis. Aktuell entwickle ich MCP-basierte Werkzeuge für KI-Text- und Sprachagenten: Agentenerstellung, Integrationen und Übernahme bestehender Agenten, gemeinsame Authentifizierung und API-Verträge sowie dauerhaften Workflow-Zustand. Dazu gehören Text- und Sprachtests, die das Agentenverhalten, die Latenz und die Aufgabenerledigung bewerten.

Parallel unterstütze ich Dialpads Ingenieure bei der Einführung von QualityLayer und beim effektiven Einsatz von Claude Code und Codex. Diese laufende Arbeit umfasst Kontextverwaltung für große Codebasen, wiederverwendbare Planen-Implementieren-Testen-Prüfen-Workflows mit CI/CD-Anbindung, Leitfäden, praxisnahe Workshops, Labs und Pair Programming.

Technologien: KI-Agentenprodukte (Text- und Sprachagenten, MCP, LLMs, Python, TypeScript), Agentenwerkzeuge (Erstellung, Integrationen, OAuth, dauerhafter Zustand), Qualität & Evaluierung (Text- und Sprachtests, Evals, Regression, Traces), Agentic Engineering (Claude Code, Codex, QualityLayer, Hooks, Prompts), Kontext-Engineering (RAG, Vektorspeicher, Codebase-Embeddings), Softwarebereitstellung (CI/CD-Integration, agentische Schleifen, PR-Automatisierung), Befähigung & Coaching (Workshops, praxisnahe Labs, Pair Programming)

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

• Branche: Maschinenbau, Fahrzeugbau
• Regulierungen: Data Act
• Projektschwerpunkt: Datengovernance, rechtskonforme Maschinendatennutzung, Datenplattformen
• Beauftragt durch: CFO, Plattform Product Owner

Erfolge/Ergebnisse (Frühphase):

• Compliance-Begleitung des Aufbaus einer int. vereinheitlichten Datennutzungsplattform auf Basis Databricks.
• Schaffung der Voraussetzung für die rechtskonforme und effektive Maschinendatennutzung, u.a.:
• Technisch: Gap-Analyse und Schließen von Lücken in der Segmentierung und Pflege der erhobenen Maschinendaten.
• Technisch: Berücksichtigung von Datenausleitungen aus der Plattform an Nutzer und Dritte.
• Organisatorisch: Entwurf und Abschluss der erforderlichen Datennutzungsverträge.

• Marketingstrategie: End-to-end-Analyse und Bewertung von kanalübergreifenden Marketingkampagnen über die gesamte Customer Journey hinweg. Mein Fokus liegt darauf, Optimierungspotenziale zu erkennen und klare, umsetzbare Empfehlungen abzuleiten, die messbare Geschäftsergebnisse erzielen.
• Data Science & KI: Fortgeschrittene prädiktive Modelle (Churn, LTV), Market-Basket-Analysen, Clustering und KI-gestützte Audience Discovery in Echtzeit mit RAG/LLMs.
• Marketing Analytics & Measurement: End-to-end-Attributionsanalyse, Marketing Mix Modeling (MMM), Audience Segmentation, Conversion-Path-Analyse und A/B-Tests über alle wichtigen Plattformen hinweg.
• Data Engineering & Reporting: Aufbau und Betreuung robuster, plattformübergreifender Datenpipelines (BigQuery, GCP) für die Datenkonsolidierung, automatisierte Dashboard-Erstellung und wichtige API-Integrationen.

• Erkennung von Betrugsmustern und Umsetzung wirksamer Maßnahmen gegen Betrug bei gleichzeitig akzeptabler Rate falsch-positiver Ergebnisse, um ein Gleichgewicht zwischen Sicherheit und einer reibungslosen User Experience zu gewährleisten
• Unterstützung bei der Entwicklung und Einführung neuer Trust-and-Safety-Funktionen auf der Plattform, um betrügerische Aktivitäten zu blockieren und das Bewusstsein der Nutzer für Betrug zu erhöhen
• Unterstützung von Produkt-, Entwicklungs- und Customer-Support-Teams mit BI-Berichten und weiterer Beratung zur Identifizierung und Bekämpfung von Betrug und Richtlinienverstößen

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Entwickelte und implementierte Erweiterungen in SAP BW on HANA 7.5 im Rahmen von CRM-Migration sowie S/4HANA- und BW/4HANA-Transformationsprogrammen
• Migrierte SAPI-Datenquellen auf das ODP-Framework als Teil der S/4HANA-Migration
• Lieferte SAP-ECC-Daten über BW-Datenmodelle und Calculation Views für Power-BI-Analysen in Snowflake
• Integrierte SAP- und Non-SAP-Datenquellen (inklusive MS Dynamics)
• Verbesserte die Transparenz im Reporting durch konsolidierte Datenmodelle
• Optimierte Datenladeprozesse für FI-CO-Datenquellen und verbesserte dadurch Ladezeiten und Systemperformance deutlich

• Konzeption und Bereitstellung von End-to-End-Machine-Learning-Pipelines für Klassifizierungs- und Prognosedatensätze mit Sicherstellung von Robustheit und Reproduzierbarkeit durch Best Practices im MLOps-Bereich.
• Direkter Beitrag zur Verbesserung der Genauigkeit von LLM-Modellausgaben durch die Entwicklung und Ausarbeitung spezialisierter Prompts auf Grundlage der Logik von End-to-End-ML- und SciML-Pipelines.
• Entwicklung von Trainingsdaten für große Sprachmodelle durch die Formulierung von Programmieraufgaben, die von den Modellen nicht gelöst werden konnten, sowie anschließende Dokumentation der korrekten Lösungen.

Scope: Eingebettet als FP&A Data & AI Architect innerhalb der Finance-Funktion eines großen europäischen Kühlanlagenherstellers. Ich habe die Transformation von manuellem, fragmentiertem Finanzreporting hin zu einer automatisierten, governance-getriebenen Intelligence-Plattform geleitet. Der Schwerpunkt lag auf dem Wechsel von Excel-basiertem Controlling zu strukturierter Datenarchitektur, Power-BI-Analytics und AI-gestützter Finance-Operation.

Financial Data Integrity & ERP Governance

• GL- vs. Subledger-Abstimmungen angestoßen und geführt sowie strukturelle Abweichungen zwischen Hauptbuch- und Nebenbuchdaten identifiziert und behoben, die vor meinem Start unentdeckt geblieben waren
• Anlagenanalysen durchgeführt, um Posten ohne Buchung im Hauptbuch zu identifizieren und Lücken im Anlagevermögen sowie in der Periodenabgrenzung aufzudecken
• SAP-Reports validiert und damit Baseline-Standards für die Datenqualität der Finance-Nutzung etabliert
• Einen systematischen SAP-Datenvalidierungsrahmen aufgebaut, der die laufende Integrität zwischen ERP-Buchungen und nachgelagerten Reporting-Ergebnissen sicherstellt

Finance Reporting Transformation

• Einen strukturierten Transformationsansatz für die Umstellung manueller Finance-Reports in vollautomatisierte Prozesse entworfen und umgesetzt
• Das Data Reporting Audit Log erstellt und verantwortet; ein zentrales Tracking-System, das Report-Owner, Stakeholder, Datenquellen, manuellen Aufwand und Automatisierungspotenziale über die gesamte Finance-Funktion erfasst
• Die gesamte Reporting-Landschaft kartiert, um Quick-Win-Automatisierungen und strategische Power-BI-Migrationskandidaten zu identifizieren
• Den manuellen Excel- und PowerPoint-Einsatz in FP&A-Workflows aktiv reduziert; Punkt-zu-Zeitpunkt-Snapshots durch Live-Datenmodelle mit Governance ersetzt

Power BI & Analytics Enablement

• Power BI als strategische Reporting-Plattform gegenüber der Finance-Leitung eingeführt und präsentiert und damit intern Zustimmung für die BI-Transformationsroadmap aufgebaut
• Eine erste Power-BI-Architektur entworfen, abgestimmt auf SAP-, Salesforce- und Oracle-Datenstrukturen sowie auf FP&A-Reporting-Anforderungen
• Report-Ownership, Governance-Dokumentation und Standards für Data Lineage etabliert, um nachhaltige Self-Service-Analytics im Finance-Team zu ermöglichen

Transformation Infrastructure & Collaboration

• Jira als zentrales Projektmanagement-Hub für die Transformation konfiguriert und eingeführt, inklusive strukturierter Sprint-Workflows, Backlog-Management und transparenter Fortschrittssteuerung für Finance-IT-Initiativen
• Einen dedizierten FP&A Communication & Transformation Hub vorgeschlagen und angestoßen, ein strukturierter, bereichsübergreifender Austausch zur Ausrichtung von Finance, IT und Fachbereichen auf die Reporting-Transformationsroadmap
• Die Finance-Funktion als aktiven Treiber für Data Governance und digitale Transformation im Gesamtunternehmen positioniert

Outcomes

• GL-/Subledger-Abweichungen identifiziert und ein Untersuchungsrahmen innerhalb der ersten zwei Wochen des Einsatzes aufgebaut
• Data Reporting Audit Log ausgerollt; das erste strukturierte Inventar der Finance-Reporting-Landschaft in der Unternehmensgeschichte
• Power-BI-Transformationsroadmap vorgestellt und von der Finance-Leitung freigegeben
• Jira-basierte Projektgovernance live; Finance-Transformation wird nun mit voller Sprint-Transparenz verfolgt

Technologies: SAP FI/CO · Power BI · DAX · SQL · Excel (advanced) · Power Query (M) · Power Automate · VBA · Jira · Microsoft 365 · SharePoint · Salesforce (Sales Data) · Oracle HCM · Python

Tools: Fabric, AWS, dbt, Power BI, SQL, DWH, R, Python

• Unterstützte Kunden bei der Umsetzung eines Architekturdesigns zur Extraktion und Aufbereitung von Daten
• Verantwortete die Konzeption und Implementierung der BI- und DWH-Plattform
• Sicherte die Skalierbarkeit und Performance der Datenplattform

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows