dbt Experten in München

• Data Engineering: Konzeption und Implementierung skalierbarer Datenpipelines
• Legacy-Migrationen zu Microsoft Fabric (Lakehouse, Dataflows Gen2, Pipelines)
• BO-Universe-Migrationen zu MS Fabric / Semantic Models / Power BI
• Taskforce für datengetriebene Transformationsprojekte nach Azure Fabric / Oracle / MSSQL

• Entwickelte eine Python-Pipeline, die Web-Inhalte aus dem Lektionar in strukturierte tägliche JSON-Daten umwandelt und dabei liturgische Kalenderregeln für eine genaue Abdeckung von Wochentagen und Sonntagen anwendet.
• Stellte eine reine FastAPI-REST-API mit gemeinsamen Pydantic-Modellen bereit und lieferte einen Kirundi-first Web-Client für Browser und Mobile.
• Verantwortete die Datenebene und die Backend-Architektur, arbeitete eng an Systemarchitektur und Schnittstellen mit und automatisierte Aktualisierungen mit GitHub Actions; außerdem validierte ich das ETL mit pytest.
• Impact: Schuf eine verlässliche, API-gestützte Single Source of Truth für tägliche Bibellesungen auf Kirundi und ermöglichte so einen konsistenten Zugriff auf zuvor unstrukturierte Inhalte.

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

• Aufbau eines KI-Rechtsassistenten mit modernen ML-Fähigkeiten.
• Implementierung einer RAG-Architektur mit Datenpipelines für die Suche in Rechtsdaten.
• Einsatz von AWS Bedrock für LLM- und Embedding-Modelle sowie LangChain/LangGraph
• Python mit FastAPI für das Backend und React für das Frontend

• Skalierbare Datenanwendungen entworfen, entwickelt und konfiguriert, passend zu Geschäftsprozessen und technischen Anforderungen.
• Skalierbare, kosteneffiziente Datenarchitekturen mit Snowflake über AWS, Azure und GCP entwickelt und dabei dbt für Datentransformation und Modellierung eingebunden.
• Robuste ETL-Datenpipelines aufgebaut und gepflegt, um hohe Datenqualität für eine reibungslose Migration und systemübergreifende Integration sicherzustellen.
• Starke Expertise in SQL und Python mit umfassender Erfahrung in Datenmodellierung, ETL/ELT-Pipeline-Entwicklung und Streaming-Datenverarbeitung gezeigt; sicher im Umgang mit Git-basiertem Versionsmanagement, CI/CD-Prozessen und Test-Frameworks, mit solidem Wissen in den Bereichen Datenqualität, Observability, Kostenoptimierung, Sicherheit und Data-Governance.
• Mehrere Datenmigrationsinitiativen von SAP HANA nach Snowflake mit einem modularen dbt-Framework geleitet.
• End-to-End-Daten-Transformations-Workflows mit dbt auf Snowflake entworfen und gepflegt, geschichtete Datenmodelle implementiert, die Performance optimiert und eine hochwertige Datenbereitstellung für Business Intelligence und Reporting sichergestellt.
• Entwicklungs-, QA- und Produktions-Deployments über strukturierte Versionskontrolle und Release-Management mit GitLab gesteuert.
• Daten aus mehreren Quellen, darunter relationale Datenbanken, Flat Files, Excel und große Systeme, in Snowflake integriert und zentralisiert.
• Umfassende Expertise in den Datenbereichen Sales, Marketing, HR und ERP angewendet und relevante KPIs sowie Reporting-Lösungen entwickelt und gepflegt.
• Mit funktionsübergreifenden Teams zusammengearbeitet, um End-to-End-Datenlösungen termingerecht durch proaktives Lösen von Problemen und gute Abstimmung umzusetzen.
• Die Snowflake-Sandbox-Umgebung für die Data-Engineering-Abteilung administriert.
• Kolleginnen und Kollegen, die in Datenrollen gewechselt sind, in Snowflake geschult und technische Beratung sowie Mentoring für Junior-Teammitglieder übernommen.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

KI-Assistenz und Zielbild für teilautonome Energieportfolio-Steuerung

Aufbau einer KI-Steuerungsschicht direkt auf dem tagesaktuellen Live-Portfolio eines großen Energieversorgers — nicht als isolierter Pilot, sondern als operative Erweiterung der bestehenden DB1- und Portfolio-Steuerung. Ziel ist die schrittweise Entwicklung von Assistenz über Monitoring/Alerting bis zu Analyse-Agenten mit Human-in-the-Loop-Freigaben, ergänzt um ein rollenspezifisches System of Engagement neben dem BI-System of Record. Parallel werden Business Case, Zielbild und Management-Pitch gegenüber statischem Monatsreporting erarbeitet.

• KI-Steuerungsschicht: Konzeption und Aufbau auf dem bestehenden Live-Portfolio-Datenprodukt (mehrere Mio. Verträge) — Ausbaustufen Assistenz → Monitoring/Alerting → Agenten mit Human-in-the-Loop-Freigaben.
• LLM-gestützte Datenanalyse: Semantische Abfragen, SQL-/Tool-Anbindung und ergänzende RAG-Komponenten auf Portfolio-, Plan-Ist- und Datenqualitätsdaten (Azure OpenAI, Snowflake) mit Drill-downs bis auf Einzelvertragsebene.
• Analyse-Agenten: Mehrstufige Agenten für Abweichungs- und Treiberanalysen zu Churn, Preisanpassungen, Mengen und Beschaffungskosten.
• Sichtenkonzept: Rollenspezifische Oberflächen für Fachbereich, Management und C-Level als System of Engagement neben dem BI-System of Record.
• Business Case & Pitch: Zielbild und Kosten-Nutzen-Argumentation gegenüber statischem Monatsreporting.
• LLM-Setup (Datenschutz & Security): Abstimmung mit IT-Security und Datenschutz — EU-Region, Datentrennung, Freigabeprozesse.
• Agenten-Architektur: Mehrstufige Agenten-Pipelines (Analyse → Validierung → Zusammenfassung) mit dokumentierten Datenquellen, Tool-Aufrufen, Prüfschritten und Quellenbezug je Aussage.
• Datenfundament: Aufsatz auf dem tagesaktuellen DB1-Datenprodukt (Snowflake, dbt) — Portfolio-, Plan-Ist- und Datenqualitätskennzahlen als gemeinsame Basis aller KI-Analysen.
• Guardrails & Evaluation: Evaluations- und Freigabeprozesse für LLM-Antworten bei steuerungsrelevanten Aussagen — Testsets, Metriken, Human-Review.
• Prototyping & Validierung: Iterative Validierung der Agenten-Antworten mit dem Fachbereich — Testfragen-Katalog, Feedback-Schleifen, Antwortqualität je Release.
• Roadmap & Ausbaustufen: Detaillierung der Stufen Assistenz → Monitoring/Alerting → teilautonome Steuerung inkl. Übergangskriterien und Governance je Stufe.
• Integration: Einbettung in die bestehende BI- und Datenlandschaft — BI bleibt System of Record, die KI-Schicht liefert interaktive Drill-down-Pfade als System of Engagement.
• Enablement: Befähigung der Anwender im Fachbereich — Prompting-Leitfäden, Schulungen und Betriebsmodell für den laufenden Einsatz.
• Steuerung: Koordination Fachbereich, Data Engineering, IT-Security & Datenschutz.
• Change Management: Kommunikation und Erwartungsmanagement gegenüber Fachbereich und Management entlang der Ausbaustufen.

Ergebnisse:

• Auf bestehendes tagesaktuelles Datenprodukt mit mehreren Millionen Verträgen aufgesetzt
• Mit Datenschutz und IT-Security abgestimmtes LLM-Setup in EU-Region mit Datentrennung und Freigaben etabliert
• Drei Ausbaustufen bis zur teilautonomen Steuerung definiert
• Rollenspezifische Sichten für Fachbereich, Management und C-Level konzipiert
• Business Case und Management-Pitch für die Ausbaustufen erarbeitet
• Iterativer Validierungsprozess für Antwortqualität mit dem Fachbereich etabliert
• Betriebsmodell für den Assistenzbetrieb konzipiert und in Validierung

Stack: Azure OpenAI, Azure AI Foundry, Snowflake, dbt, React, TypeScript, Entra ID, RAG, Agentic AI, Analyse-Agenten, Human-in-the-Loop, Prompt Engineering, LLM Evaluation, LLMOps, DSGVO / EU-Region, Azure DevOps, Python, SQL, Change Management

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Mitgegründet ein KI-Startup mit Fokus auf die Entwicklung produktionsreifer LLM-Anwendungen und Agentensysteme
• Entworfen und implementiert Multi-Agent-KI-Workflows für Finanz- und Handelsanwendungen
• Entwickelt LLM-basierte Copilot-Architekturen für Portfolioanalyse, Handelsverwaltung und personalisiertes Nutzercoaching
• Entwickelt On-Device- und Edge-Inferenzanwendungen, optimierte Modelle für geringe Latenz, Datenschutz und ressourcenbeschränkte Umgebungen
• Geleitet Architekturentscheidungen zur Modellauswahl, Orchestrierung, Zustandsverwaltung und Bereitstellung

• Aufnahme Anforderungen aus Fachbereichen und den Stakeholdern
• Organisation und Durchführung von Workshops
• Erstellen und Begleiten von User Stories (Refinement bis Rollout) und Mapping
• Moderation von SCRUM-Regelterminen
• Erkennen und Analysieren von Optimierungspotenzialen wie der REWE Pick&Go App
• Moderation und Kommunikation mit Dienstleistern
• Requirements Engineering in Verbindung mit Fremdsystemen
• DWH-/BI-Lösung: Loyalty-Auswertungen mit MicroStrategy
• ITIL (Framework für die Bereitstellung von IT-Services)
• Qualitätssicherung (Quality Gates) angelehnt an ISTQB

• Optimierte SQL-Datenpipelines für klare Einblicke.
• Analysierte und visualisierte Trends mit Python.
• Verbesserte Dashboards und Automatisierungen.
• Arbeit mit Google Sheets, GCP, Snowflake, dbt, Spreadsheets/Excel, Databricks, PySpark und Fivetran.

• Entwurf, Entwicklung und Pflege vollständiger ETL-Pipelines für eine skalierbare und zuverlässige Datenintegration
• Unterstützung bei Datenqualitätsprüfungen, Tests und Migrationen
• Entwicklung und Pflege von dbt-Modellen für strukturierte, modulare und wiederverwendbare Datentransformationen
• Einsatz von KI-gestützter Entwicklung, um ETL-Jobs und die Codequalität zu verbessern
• Entwicklung von CI/CD-Pipelines für die automatisierte Bereitstellung