Medallion Architecture Experten in Deutschland

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

Scope: Eingebettet als FP&A Data & AI Architect innerhalb der Finance-Funktion eines großen europäischen Kühlanlagenherstellers. Ich habe die Transformation von manuellem, fragmentiertem Finanzreporting hin zu einer automatisierten, governance-getriebenen Intelligence-Plattform geleitet. Der Schwerpunkt lag auf dem Wechsel von Excel-basiertem Controlling zu strukturierter Datenarchitektur, Power-BI-Analytics und AI-gestützter Finance-Operation.

Financial Data Integrity & ERP Governance

• GL- vs. Subledger-Abstimmungen angestoßen und geführt sowie strukturelle Abweichungen zwischen Hauptbuch- und Nebenbuchdaten identifiziert und behoben, die vor meinem Start unentdeckt geblieben waren
• Anlagenanalysen durchgeführt, um Posten ohne Buchung im Hauptbuch zu identifizieren und Lücken im Anlagevermögen sowie in der Periodenabgrenzung aufzudecken
• SAP-Reports validiert und damit Baseline-Standards für die Datenqualität der Finance-Nutzung etabliert
• Einen systematischen SAP-Datenvalidierungsrahmen aufgebaut, der die laufende Integrität zwischen ERP-Buchungen und nachgelagerten Reporting-Ergebnissen sicherstellt

Finance Reporting Transformation

• Einen strukturierten Transformationsansatz für die Umstellung manueller Finance-Reports in vollautomatisierte Prozesse entworfen und umgesetzt
• Das Data Reporting Audit Log erstellt und verantwortet; ein zentrales Tracking-System, das Report-Owner, Stakeholder, Datenquellen, manuellen Aufwand und Automatisierungspotenziale über die gesamte Finance-Funktion erfasst
• Die gesamte Reporting-Landschaft kartiert, um Quick-Win-Automatisierungen und strategische Power-BI-Migrationskandidaten zu identifizieren
• Den manuellen Excel- und PowerPoint-Einsatz in FP&A-Workflows aktiv reduziert; Punkt-zu-Zeitpunkt-Snapshots durch Live-Datenmodelle mit Governance ersetzt

Power BI & Analytics Enablement

• Power BI als strategische Reporting-Plattform gegenüber der Finance-Leitung eingeführt und präsentiert und damit intern Zustimmung für die BI-Transformationsroadmap aufgebaut
• Eine erste Power-BI-Architektur entworfen, abgestimmt auf SAP-, Salesforce- und Oracle-Datenstrukturen sowie auf FP&A-Reporting-Anforderungen
• Report-Ownership, Governance-Dokumentation und Standards für Data Lineage etabliert, um nachhaltige Self-Service-Analytics im Finance-Team zu ermöglichen

Transformation Infrastructure & Collaboration

• Jira als zentrales Projektmanagement-Hub für die Transformation konfiguriert und eingeführt, inklusive strukturierter Sprint-Workflows, Backlog-Management und transparenter Fortschrittssteuerung für Finance-IT-Initiativen
• Einen dedizierten FP&A Communication & Transformation Hub vorgeschlagen und angestoßen, ein strukturierter, bereichsübergreifender Austausch zur Ausrichtung von Finance, IT und Fachbereichen auf die Reporting-Transformationsroadmap
• Die Finance-Funktion als aktiven Treiber für Data Governance und digitale Transformation im Gesamtunternehmen positioniert

Outcomes

• GL-/Subledger-Abweichungen identifiziert und ein Untersuchungsrahmen innerhalb der ersten zwei Wochen des Einsatzes aufgebaut
• Data Reporting Audit Log ausgerollt; das erste strukturierte Inventar der Finance-Reporting-Landschaft in der Unternehmensgeschichte
• Power-BI-Transformationsroadmap vorgestellt und von der Finance-Leitung freigegeben
• Jira-basierte Projektgovernance live; Finance-Transformation wird nun mit voller Sprint-Transparenz verfolgt

Technologies: SAP FI/CO · Power BI · DAX · SQL · Excel (advanced) · Power Query (M) · Power Automate · VBA · Jira · Microsoft 365 · SharePoint · Salesforce (Sales Data) · Oracle HCM · Python

• Entwicklung von Data Products im Rahmen einer Data Mesh-/Medallion-Architektur auf Databricks und Azure Synapse.
• Aufbau von Power BI Dashboards auf konsolidierten Daten aus mehreren Quellsystemen (Vertrieb, Service, Verträge, Bestandsdaten).
• Definition von KPIs und Reporting-Standards in enger Abstimmung mit Business-Stakeholdern.

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Konzipierte und realisierte produktionsreife Azure-Umgebungen mit Terraform und stellte eine konsistente Infrastrukturparität über VNets und Ressourcengruppen sicher
• Implementierte Microsoft Fabric Tenant- und Workspace-Architekturen für mehrstufige Medallion-Datenverarbeitungspipelines
• Entwarf sichere Datenpfade mit Managed Private Endpoints für isolierten Zugriff auf Azure Storage
• Verwaltete Service Principals und Authentifizierungs-Token für sichere REST-API-Integrationen

• Entwurf und Bereitstellung von Best Practices für Datenmodellierung mit dbt, einschließlich Changing Dimensions, Umgang mit spät eintreffenden Daten und Tests
• Entwurf des Ingestion-Flows von anderen Systemen nach S3 und Redshift
• Entwurf und Implementierung neuer Partitionen für Dagster und inkrementelles Laden mit dbt
• Übersetzung von fachlichen Anforderungen in technische Architekturen
• Einarbeitung und Anleitung von Junior-Teammitgliedern

• Ich habe als Schnittstelle zwischen Business und Engineering für Großkunden aus dem Finanzbereich gearbeitet und Data Products sowie Cloud-Pipelines in Python, SQL Server, SAP Datasphere und Tagetik entworfen.
• Ich habe einen universellen Python/FastAPI-Connector entwickelt und als Container bereitgestellt, der SAP S/4HANA und weitere SQL-/NoSQL-Quellen mit Tagetik synchronisiert. Eingesetzt in Google Cloud Run und Microsoft Azure, verringerte er die kritische 90-minütige Datenladezeit auf etwa 80 Sekunden (65× schneller).
• Ich habe ein Medallion-Layer Data Warehouse auf SQL Server entworfen, das rund 500 GB/Tag aus 11 ERP-Systemen einliest. Die täglichen Aktualisierungen laufen automatisiert (Vollständige Ladung in unter 6 Minuten) und entlasten 20–30 Finanzmitarbeitende um Tage manueller Datenkonsolidierung.
• Ich habe funktionsübergreifende Workshops geleitet, um die Enterprise EPM-Zielarchitektur für einen führenden Telekom-Anbieter in Südostasien (CAPEX, OPEX, Umsatz) zu entwerfen. Dabei habe ich Anforderungen in Datenmodell-Spezifikationen und Integrationsblueprints übersetzt, die das Implementationsteam des Kunden jetzt umsetzt.
• Ich habe Projekte wie ein konsolidiertes Data & Reporting Warehouse für einen globalen Hersteller (über 10.000 Mitarbeitende), NFI-Reporting für eine internationale Management- und Technologieberatung und CAPEX-/OPEX-Planung für einen Telekom-Konzern in Südostasien (über 20.000 Mitarbeitende) umgesetzt.

Ich unterstütze Dialpads Bereich Telephony Engineering als technischer KI-Berater und entwickle gleichzeitig KI-Produkte in der Praxis. Aktuell entwickle ich MCP-basierte Werkzeuge für KI-Text- und Sprachagenten: Agentenerstellung, Integrationen und Übernahme bestehender Agenten, gemeinsame Authentifizierung und API-Verträge sowie dauerhaften Workflow-Zustand. Dazu gehören Text- und Sprachtests, die das Agentenverhalten, die Latenz und die Aufgabenerledigung bewerten.

Parallel unterstütze ich Dialpads Ingenieure bei der Einführung von QualityLayer und beim effektiven Einsatz von Claude Code und Codex. Diese laufende Arbeit umfasst Kontextverwaltung für große Codebasen, wiederverwendbare Planen-Implementieren-Testen-Prüfen-Workflows mit CI/CD-Anbindung, Leitfäden, praxisnahe Workshops, Labs und Pair Programming.

Technologien: KI-Agentenprodukte (Text- und Sprachagenten, MCP, LLMs, Python, TypeScript), Agentenwerkzeuge (Erstellung, Integrationen, OAuth, dauerhafter Zustand), Qualität & Evaluierung (Text- und Sprachtests, Evals, Regression, Traces), Agentic Engineering (Claude Code, Codex, QualityLayer, Hooks, Prompts), Kontext-Engineering (RAG, Vektorspeicher, Codebase-Embeddings), Softwarebereitstellung (CI/CD-Integration, agentische Schleifen, PR-Automatisierung), Befähigung & Coaching (Workshops, praxisnahe Labs, Pair Programming)

• Evaluierung möglicher Anbieter (Snowflake vs Databricks) und Konzeption der Analytics-Datenplattform mittels Databricks
• Datenspeicherung und Ingestion Layer mit Amazon S3
• Erstellung von ETL-Prozessen und Datentransformationen mit AWS Glue und Databricks Notebooks
• Orchestrierung mit AWS Glue Workflow, Databricks Workflow und Databricks DLT
• Verarbeitung unstrukturierter Daten, unter anderem Text, Bild und Video
• Einrichtung und Administration des Databricks Workspace
• Aufsetzen einer Medaillen-Architektur zur Gewährleistung der Datenqualität
• Evaluierung möglicher BI-Tools (Power BI, AWS Quicksight, Tableau)
• Etablierung von MLOps mittels MLFlow
• Einführung von Data Governance und Data Lineage mittels Unity Catalog