Data Engineers in Deutschland

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

Die Verantwortlichkeiten und Tätigkeiten umfassten:

• Beratung zur Migration von Materialstamm- und PP-Stammdaten
• Vorbereitung der Artikellistenvorlage für die Cutover-Phase
• Umsetzung von Datenbereinigungsmaßnahmen mithilfe individueller und umfangreicher Änderungen
• Extraktion aller für das Geschäft erforderlichen Pflichtfelder aus SAP
• SAP-Migration, Cutover, Tests, BAT und UAT
• Abstimmung mit mehreren Stakeholdern zu Daten aus dem Legacy- und SAP-System
• Umsetzung von SAP-MM-Best-Practices (geführte Konfigurationen, bewährte Methoden und Roadmap für den Projektstart)

SAP ERP | SAP GEMINI | Koordination von SAP-Feldern | Dokumentation | SAP IDoc | SAP-Integration | SAP-End-to-End-Prozess | SAP MM (Materialwirtschaft) | SAP-Funktionsberatung | SAP-GAP-Analyse | SAP MDM (Stammdatenmanagement) | Datenmigration und -management

• Planung und Umsetzung einer Migrationsstrategie von Stamm- und Bewegungsdaten zur kontinuierlichen Befüllung einer cloudunabhängigen Datenbank
• Erstellung und pilothafte Implementierung eines unternehmensweiten Business Data Models für Kunde, Lieferant, Verträge, Produkte, Preise, Verbräuche, Rechnungen und Mahnwesen
• Konzeption und Beratung zu einem Data Governance Framework inkl. Definition von Gremien, Rollen, Prozessen und Metadaten-Modell
• Operationalisierung des Data Governance Frameworks mit Definition von Datenstandards
• Teilprojektleitung bei zwei Pilotprojekten (PoCs) für Data Governance Systeme (ErwinDIS und Atlan)
• Schulung und Coaching des Data Teams in Migration, Data Quality und Datenmodellierung

• Festlegung von Architekturstandards für Informatica-Power-Center-Entwicklungsteams
• Wartung, Performance und Zustand von DWH-(Exadata)-Umgebungen
• Architekturstandards für Qlik-Sense-/BO-Berichte
• Umsetzung von Best Practices bei ETL-Aufgaben
• Dokumentation der ETL-Standards in Confluence
• Regeln für die dynamische Datenmaskierung gemäß GDPR/KVKK-Vorschriften mit dem Informatica-DDM-Tool
• DWH-Datenmodell mit Power Designer
• Aktualisierung der Qlik-Sense-Versionen
• Zusammenführung der Repository-Datenbanken aller Informatica-Server in einer Oracle-Datenbank

Ich bin darauf spezialisiert, komplexe Daten aus unterschiedlichen Umgebungen durch überzeugendes visuelles Storytelling in konkreten Geschäftsnutzen zu übersetzen. Ich verfüge über umfassende Erfahrung darin, umsetzbare Erkenntnisse zu gewinnen und Empfehlungen für geschäftliche Stakeholder aufzubereiten. Meine technischen Kenntnisse in SQL, Python und führenden Datenvisualisierungstools wie Tableau und Power BI ermöglichen es mir, eine neue Generation von Self-Service-Tools und Analytics-Services bereitzustellen.

• Datenvisualisierung & Storytelling: Erstellung aussagekräftiger Datenvisualisierungen und Dashboards in Tableau und Power BI, um Erkenntnisse verständlich zu vermitteln und umsetzbare Empfehlungen für C-Suite-Stakeholder und Führungskräfte zu präsentieren.
• Stakeholder-Management: Aufbau effektiver Arbeitsbeziehungen mit wichtigen geschäftlichen Stakeholdern, Data Engineers und weiteren Partnern, um gemeinsame datenbasierte Ziele und Vorgaben zu erreichen.
• Erkenntnisse & Empfehlungen: Gewinnung umsetzbarer Erkenntnisse aus komplexen Datenanalysen zu Funnel-Konversion, Marketingleistung und ROI, mit direktem Einfluss auf Geschäftsleistung und Strategie.
• Datenzusammenarbeit & Befähigung: Enge Zusammenarbeit mit funktionsübergreifenden Teams zur Unterstützung des laufenden Datenbedarfs interner Partner und zur Optimierung interner Datenprozesse und Arbeitsabläufe.
• BI- & Datenexpertise: Einsatz umfangreicher Erfahrung in Datenmodellierung, Datenerfassung, Data Mining und Analyse zur Bereitstellung ganzheitlicher analytischer Lösungen – von der Bedarfsermittlung mit Stakeholdern bis zur Produktivsetzung.

• Automatisierte Python-basierte Analyse von Testskript-Repositories
• Aufbau einer SQLite-Datenbank für Signal- und Wertetracking
• Identifikation kritischer Unstimmigkeiten durch ad-hoc SQL-Abfragen
• Technologien: Python, SQLite, Excel/ODBC

Projekt: Konzeption und Umsetzung eines AI-Produkts für vier fachliche Anwendungsfälle

Projektleitung eines AI-Projekts bei einem führenden Anbieter für Großverpflegung und Catering, in dem gemeinsam mit einem externen Entwicklungspartner ein produktionsreifes AI-Produkt für vier Anwendungsfälle umgesetzt wurde: automatisierte Briefings aus CRM- und Dokumentendaten, sprachbasierte Erfassung und Strukturierung von Berichten, Erkennung und Zusammenführung von Dubletten in Stammdaten sowie datenbasierte Marktanalysen. Zentraler Schwerpunkt war eine datenschutzkonforme Architektur, die die interne IT-Security-Prüfung besteht und eine produktive Nutzung ermöglicht.

• Übersetzung fachlicher Anforderungen in abgrenzbare AI-Anwendungsfälle mit klar abgegrenztem Produktscope und klarem Nutzenversprechen
• Auswahl und Bewertung von Modellen und Architekturvarianten für Textextraktion, Sprache-zu-Text und Kontextanreicherung aus Fachsystemen, inklusive LLM-Anbindung, Function Calling und Retrieval
• Erarbeitung und Durchsetzung einer Architektur mit europäischem Hosting, Datenminimierung und Maskierung personenbezogener Daten als Voraussetzung für die Freigabe
• Steuerung der Schnittstellen zwischen Fachbereich, IT, IT-Security und externem Entwicklungspartner unter restriktiven Datenzugriffsbedingungen
• Abstimmung mit der CIO- und Geschäftsführungsebene zu Datenzugriff, Risikobewertung und Freigabeentscheidungen
• Vorbereitung der Überführung in den produktiven Einsatz

Tools: Fabric, AWS, dbt, Power BI, SQL, DWH, R, Python

• Unterstützte Kunden bei der Umsetzung eines Architekturdesigns zur Extraktion und Aufbereitung von Daten
• Verantwortete die Konzeption und Implementierung der BI- und DWH-Plattform
• Sicherte die Skalierbarkeit und Performance der Datenplattform

Konzeption und Entwicklung einer Azure-basierten KI- und Datenplattform, die verteilte Projektdokumente in durchsuchbares, strukturiertes Wissen für einen Enterprise-KI-Assistenten überführt. Kombination aus inkrementeller Dokumentverarbeitung, hybrider Keyword-/Vektorsuche, Wissensgraph-Extraktion und konversationeller KI für Microsoft Teams und Microsoft 365 Copilot. Implementierung von Python-Pipelines zur Verarbeitung von PDF-, Word-, Outlook- und Textdateien; Lifecycle-Management für Azure Cosmos DB; Azure AI Search; Azure AI Foundry und Azure OpenAI; identitätsbewusste Suche mit Microsoft Entra ID; Projektberechtigungen; eines TypeScript-Agenten mit Microsoft Agents SDK; Pulumi-Infrastruktur; robustem Scheduling sowie Werkzeugen für Wiederholungen und Diagnosen. Technologie-Stack: Python, TypeScript, FastAPI, Pydantic, Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure Cosmos DB, Blob/Table Storage, Container Apps/Jobs, Service Bus, Key Vault, Entra ID, Docker, Pulumi, pytest, Microsoft Teams und Microsoft 365 Copilot.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Skalierbare ETL/ELT-Pipelines mit Python, SQL, dbt, AWS und Informatica entworfen und implementiert, um Daten aus Quellen wie APIs, relationalen Datenbanken und Flatfiles in Snowflake zu laden und die Laufzeit der Pipelines um ~30% zu reduzieren.
• Daten mit hohem Volumen mithilfe von AWS-Services (S3, Glue, Step Functions, IAM) von lokal betriebenem Teradata nach Snowflake migriert und dabei Datenkonsistenz und -integrität sichergestellt.
• Die Kimball-Methode zur Entwicklung von Star- und Snowflake-Schemas angewendet, wodurch die Abfrageleistung verbessert und die Snowflake-Computekosten gesenkt wurden.
• Automatisierte Datenqualitätsprüfungen mit SQL-basierten dbt-Tests und dem Great Expectations Framework implementiert, um Anomalien zu erkennen und die Datenqualität vor Produktionsläufen sicherzustellen.
• ETL-Workflows in Airflow mit Python orchestriert und Code-Bereitstellungen über Git nach CI/CD-Best-Practices verwaltet, um die Zuverlässigkeit der Bereitstellungen zu erhöhen und die Verfügbarkeit der Pipelines sicherzustellen.
• Interaktive Power BI-Dashboards und aufbereitete Datensätze erstellt, um Stakeholder bei datenbasierten Entscheidungen zu unterstützen.
• Technische Dokumentation für ETL-Workflows in Confluence gepflegt und Wissensaustausch-Sessions für neue Mitarbeitende geleitet.

• Sammeln und Analysieren von Anforderungen in enger Zusammenarbeit mit den Fachbereichen, um datengesteuerte Lösungen und skalierbare PowerBI Reporting Infrastrukturen zu entwickeln.
• Durchführung detaillierter Fehleranalysen und Optimierungen bestehender semantischer und Datenmodelle, um eine robuste Datenarchitektur und hohe Datenqualität sicherzustellen und das PowerBI Reporting zu verbessern.
• Entwicklung und Implementierung skalierbarer ETL-Prozesse zur Datenaufbereitung und -integration.
• Aufbau eines Wikis für Tabellen- und View-Beschreibungen sowie PowerBI PowerQuery- und KPI-Dokumentationen, um ein einheitliches Verständnis der Datenstrukturen und Kennzahlen zu gewährleisten.