Data Catalog Experten in Deutschland

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

• Data Migration Engine / Datenmigration von proprietären Quellsystemen zu SAP/S4 (SAP S/4 HANA Migration cont.)
• Entwicklung eines Konzepts für Datenberechtigungen
• Konzeption der Systemarchitektur / Datenarchitektur / Datenintegration – kontinuierliche Erweiterungen
• Entwicklung eines konzeptionellen / logischen (MDM) Datenmodells – kontinuierliche Erweiterungen

• Entwicklung einer API zur Aufnahme, Bereinigung, Übersetzung und Indexierung von EU-Ausschreibungsdokumenten in Neo4j, die eine hybride Suche mit RAG- und Cypher-Abfragen über ein Streamlit-Dashboard ermöglicht
• Bereitstellung der API auf AWS Lightsail Container Services mit CI/CD-Automatisierung über GitHub Actions und Sicherstellung der Stabilität durch pytest-Unit- und Integrationstests
• Konzeption und Entwicklung eines umfassenden Online-Kurses zur Datenanalyse mit ChatGPT für Fachkräfte und Lernende, einschließlich Lehrvideos und interaktiver Jupyter-Notebooks
• Einsatz von OBS und professioneller Audioausrüstung zur Sicherstellung hochwertiger Video- und Audioinhalte
• Leitung eines Projekts zur Normalisierung und Bereinigung von CRM-Daten, visualisiert durch ein Sankey-Diagramm zur Unterstützung des Kundenverständnisses und der Pipeline-Entwicklung
• Umsetzung und Validierung einer von genAI unterstützten Web-Crawling-Strategie auf AWS zur Sicherstellung von Datenqualität und Skalierbarkeit sowie zur Anreicherung von CRM-Daten

• Entwicklung und Implementierung von maßgeschneiderten IT-Lösungen für Schlüsselkunden.
• Über 15 Jahre Erfahrung im IT- und Projektmanagement, disziplinarische Führung bis zu 80 Mitarbeiter.

• ChatGPT-ähnlicher KI-Chatbot mit Datei-Upload- und Interaktionsfunktionen, gehostet auf Azure in Europa, um die Einhaltung der Datenschutzbestimmungen des Unternehmens zu gewährleisten
• KI-gestützte Lösung zur Verarbeitung juristischer Dokumente zur automatischen Extraktion steuerrelevanter Daten aus komplexen Rechtsdokumenten, Verbesserung der Genauigkeit bei der Ermittlung steuerlicher Verpflichtungen, Verkürzung der Verarbeitungszeit und Minimierung des Risikos von Nichteinhaltung
• Asset Manager Service-Portal (AMS) entwickelt mit Angular, Python, Docker und Oracle DB, das als zentrales Datenkatalog dient und die Effizienz und Genauigkeit bei der Datenabfrage verbessert
• Dynamics 365 Azure-Integration über kundenspezifische Azure Functions-Plugins, um die CRM-Funktionen an die speziellen Anforderungen eines Investmentinstituts anzupassen

• Konzeption eines LLM-basierten Agentensystems zur Steuerung der ERP-Software
• Entwicklung von Agenten-Workflows mit LangGraph und PydanticAI
• Planung der Schnittstellen zwischen Geschäftslogik und Sprachmodellen
• Planung der Agentenorchestrierung
• Prototypenentwicklung- und Demonstration

Werkzeuge: Python, Pydantic, React, LangChain, LangGraph, Linux

• Als Freelancer unterstütze ich Unternehmen dabei, Online-Marketing und Analytics strategisch aufzubauen und gezielt einzusetzen.

• Gemeinsam entwickeln wir eine nachhaltige Strategie, um Ihre Zielgruppe zu erreichen, Daten sinnvoll und datenschutzkonform zu nutzen und Ihre Website optimal aufzustellen.

• Dabei setze ich auf eine enge, langfristige Zusammenarbeit – transparent, pragmatisch und ohne unnötige Fachbegriffe.

• Mein Ziel ist es, Ihr Unternehmen digital stark zu machen und Ihnen die Werkzeuge an die Hand zu geben, um fundierte Entscheidungen zu treffen.

• In meiner Tätigkeit arbeite ich auf Senior-Niveau.

• Kompetenzen:

• Digitale (Web-)Analytics

• Marketing-Technologie

• Datenschutz im Web (DSGVO & TDDDSG)

• Cookies & Cookie-Banner

• Datenstrategie

• Google Analytics

• Google Tag Manager

• Google Ads

• Digitales Projektmanagement

• Themen: Business Analyse, Datenschutz, Datenmanagement, Stakeholder Management, Konzeption
• Das vorliegende Projekt konzentriert sich auf die Entwicklung und Umsetzung eines strategischen Ansatzes für das Datenlöschen in SAP-Systemen. Ziel ist es, die relevanten Daten und Strukturen bei der Systemübernahme zu identifizieren, um sowohl den Datenschutz als auch die IT-Systemeffizienz zu gewährleisten. Gleichzeitig sollen Downtimedauern minimiert und regulatorische Anforderungen erfüllt werden.
• Entwicklung eines umfassenden Ansatzes zur Datenlöschung in SAP-Systemen unter Berücksichtigung datenschutzrechtlicher und geschäftlicher Anforderungen.
• Sicherstellung einer effizienten und strukturierten Datenüberführung in das neue System.
• Optimierung der Systemeffizienz und Reduktion von Downtimes während der Migration.
• Erstellung fachlicher und technischer Konzepte, um eine rechtskonforme und nachhaltige Datenverwaltung sicherzustellen.
• Themenvorbereitung: Detaillierte Untersuchung des Themenfelds „Datenlöschen", um die Grundlage für eine strukturierte Datenmigration zu schaffen.
• Definition der Projektstruktur: Festlegung von Rollen, Schnittstellen und der organisatorischen Projektstruktur.
• Regulatorische Anforderungen: Analyse von datenschutzrechtlichen Vorgaben und geschäftlichen Anforderungen, um die Löschkriterien zu definieren.
• Vorgehensweise: Entwicklung möglicher Szenarien und Vorgehensweisen für die Datenbereinigung und -löschung.
• Löschkonzepte: Erstellung von fachlichen und technischen Löschkonzepten, die die Implementierung strukturieren und klare Vorgaben liefern.
• Festlegung der Löschkriterien: Definition, welche Daten und Strukturen gelöscht oder übertragen werden.
• Verantwortlichkeiten: Klärung der Verantwortlichkeiten innerhalb des Projektteams sowie bei beteiligten Stakeholdern.
• Analyse laufender Aktivitäten: Identifikation und Erhebung bereits laufender Aktivitäten im Themenfeld „Datenlöschen".
• Aufwands-, Kosten- und Zeitplanung: Erstellung von Schätzungen für Ressourcen, Zeitaufwand und Budget.
• Umsetzungsinitiativen: Entwicklung und Umsetzung konkreter Maßnahmen, um die definierten Löschstrategien umzusetzen.
• IT-Systemeffizienz: Analyse der vorhandenen IT-Infrastruktur, um Optimierungspotenziale für die Löschung und Überführung von Daten zu identifizieren.
• Technologietrends: Bewertung neuer Technologien und Tools, die den Prozess der Datenbereinigung unterstützen können.
• Kosten-Nutzen-Analyse: Bewertung der finanziellen Auswirkungen der Datenbereinigung und der Einführung neuer Lösungsansätze.
• Risikomanagement: Identifikation potenzieller Risiken während der Umsetzung und Entwicklung geeigneter Maßnahmen zur Minimierung.
• Dieses Projekt legt die Grundlage für eine nachhaltige und rechtskonforme Datenüberführung in ein neues SAP-System. Mit einem klar definierten Ansatz zur Datenlöschung werden Datenschutzanforderungen erfüllt, Downtimes reduziert und die Effizienz des neuen Systems gesteigert. Die Ergebnisse und Handlungsempfehlungen werden Unternehmen dabei unterstützen, eine zukunftssichere Datenstrategie zu entwickeln, die gleichzeitig den gesetzlichen und geschäftlichen Anforderungen entspricht.

• Konzipierte eine Self-Service-Plattform mit Google Kubernetes Engine (GKE) für eine große Finanzinstitution (Commerzbank), die über 1000 Nutzer in Hunderten von Produktteams befähigte, Ressourcen eigenständig bereitzustellen und Entwicklungszyklen deutlich zu beschleunigen.
• Entwarf eine datenproduktorientierte Plattformarchitektur für das britische Verkehrsministerium (Department for Transport, DfT), um mehr als 1500 direkte Endanwender und zahlreiche angebundene Drittsysteme zu bedienen, wodurch Datenzugänglichkeit und Governance verbessert wurden.
• Trieb das Geschäftswachstum voran, indem ich die strategische Roadmap für die Geschäftslinie 'One Cloud' entwickelte, mit dem Ziel einer Umsatzsteigerung von 10 %.
• Diente als Kernmitglied der CTO-Authority und gab strategische Empfehlungen zu internen Cloud-Initiativen und Best Practices.

• Entwarf und implementierte skalierbare Data-Governance-Frameworks für Unternehmen aus Gesundheitswesen, Energie und Telekommunikation.
• Entwickelte Datenmodelle in Azure Synapse & Power BI und ermöglichte so hochleistungsfähige Berichte und Skalierbarkeit.
• Leitete die Migration von Altsystemen im BI-Bereich auf Cloud-Infrastruktur und steigerte Effizienz und Ausfallsicherheit.
• Agierte als technischer Berater und unterstützte Kunden bei Architekturverbesserungen und Implementierungsstrategien.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Elektronische Logbuch-App, entwickelt für Forschungszentren zur Dokumentation ihrer Untersuchungen.
• Betont eine nutzerorientierte Organisation der Kommunikation: Versuchsteams können die Informationsstruktur und Benachrichtigungen konfigurieren, während Hauptuntersuchungsleiter die volle Zugriffskontrolle behalten.
• Echtzeit-Integration mit dem Metadatenkatalog der Einrichtung, dem Steuerungssystem Karabo und dem Datenanalysetool ermöglicht die automatische Protokollierung wichtiger Ereignisse, ergänzt durch manuelle Einträge nach Bedarf.