Azure Synapse Analytics Experten

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

Modernisierung der Enterprise-Analytics – In Deutschland ansässige Enterprise-Reporting-Plattform für Betriebs- und Managementanalysen, die von 1,000+ internen Nutzern aus mehreren Abteilungen genutzt wird.

• Leitung von Power-BI- und Microsoft-Fabric-Reporting-Initiativen von Anfang bis Ende; Bereitstellung skalierbarer Dashboards und semantischer Modelle zur Unterstützung täglicher operativer und strategischer Entscheidungen, wodurch die Geschwindigkeit von Entscheidungen um 30% und die Effizienz der Berichterstattung um 25% verbessert wurden.
• Entwicklung einheitlicher Unternehmensdatensätze mit Microsoft Fabric Lakehouse und OneLake, Automatisierung der Verarbeitung historischer Daten und Reduzierung des manuellen Reporting-Aufwands um 40%.
• Aufbau und Pflege automatisierter Datenaufnahmepipelines mit Fabric Dataflows Gen2 und Data Pipelines, Verbesserung der Zuverlässigkeit der Datenaktualisierung auf 99.8% Verfügbarkeit und Sicherstellung einer gleichbleibenden Datenqualität.
• Umsetzung einer unternehmensweiten Reporting-Governance einschließlich Row-Level Security (RLS), Workspace-Strategie, Deployment-Pipelines und Dokumentation; dadurch Steigerung der Dashboard-Nutzung um 35%.

Verwendete Technologien: Power BI, Microsoft Fabric, DAX, Power Query, SQL, Azure Data Fundamentals, Semantic Modeling, RLS, Agile

• Aufbau des Lakehouse: Entwurf und Aufbau der Mitglieder- und Anspruchsberechtigungsdomäne eines Azure-Databricks-Healthcare-Lakehouses. Erfassung von Daten aus SQL Server sowie Datei- und REST/SFTP-Quellen (JSON, CSV, XML, Parquet) über Azure Data Factory in ADLS Gen2.
• Medallion-Pipelines: Transformation von Daten durch die Bronze-, Silber- und Gold-Schichten von Delta Lake mit PySpark und Spark SQL; Einsatz von Delta Live Tables / Lakeflow mit integrierten Erwartungen für deklarative Pipelines mit Qualitätsprüfungen.
• Modernisierung der Plattform: Bereitstellung einer Plattform für den Wechsel von SQL Server in die Cloud: ADF → ADLS Gen2 → Databricks → dbt Core-Modelle → Snowflake → Power BI. Ablösung älterer Berichte durch kontrollierte Analysen.
• Robustes ETL: Aufbau metadatengesteuerter, idempotenter vollständiger und inkrementeller Ladevorgänge sowie Watermark-gesteuerter Ladevorgänge mit Schema-Evolution und Fehlerstatusbehandlung. Verbesserung der Zuverlässigkeit und erneuten Ausführbarkeit.
• Datenmodellierung: Entwurf von Kimball-Sternschemata mit SCD Type 1 & 2-Dimensionen; Optimierung langsamer Abfragen und Pipelines mithilfe von Ausführungsplänen.
• Governance & Sicherheit: Einsatz von Unity Catalog RBAC, Lineage und Audit-Logging sowie Azure Key Vault-Secrets und verwalteten Identitäten zur Erfüllung der HIPAA- und GDPR-Anforderungen.
• Führung & Mentoring: Leitung eines 6-köpfigen Teams (2 Data Engineers, 2 Analysts, BI-Entwickler, QA); Mentoring von Engineers, Festlegung von Lieferstandards und Abstimmung mit internationalen Stakeholdern.
• Bereitstellung & KI-gestützte Arbeit: Durchführung von CI/CD und Aufgabenverfolgung in Azure DevOps; Aufbau von Power-BI-Semantikmodellen mit DAX und RLS; Einsatz von Genie Code, Claude und Copilot zur schnelleren Entwicklung von PySpark/SQL, DAX und Dokumentation.

Ich habe theseamless gegründet, eine B2B-Beratung, die Unternehmen dabei unterstützt, Arbeitsplätze und Abläufe zu schaffen, die für neurodivergente Mitarbeitende funktionieren. Das Unternehmen und sein Produktportfolio habe ich von Grund auf aufgebaut.

• Das Neuroinclusion System (NIS) konzipiert und entwickelt: ein strukturiertes, produktisiertes Beratungsmodell für Unternehmen, Schulen und Kindertagesstätten
• Produktstrategie, Positionierung, Preisgestaltung und Go-to-Market für B2B-Angebote (Workshops, Assessments, Beratungspakete)
• Online-Auftritt und interne Tools ganzheitlich aufgebaut (theseamless.com, Community-Plattform thesynapse.dev, KI-gestützte Wissensdatenbank)
• Volle Verantwortung von Discovery und Konzept bis UX, Entwicklung und Markteinführung

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Entwicklung von Power-BI-Reports, Measures und KPIs für Vertrieb, Einkauf, Materialwirtschaft, Lager und Produktion
• Analyse der proALPHA-Datenbank (Progress OpenEdge) und performante SQL-Abfragen für Extraktion und Transformation
• Datenmodelle, ETL-Prozesse und Pipelines inkl. automatisierter Aktualisierung über Power BI Service und Data Gateway
• Anforderungsaufnahme und Umsetzung in enger Abstimmung mit den Fachabteilungen

Ausgewählte Projekte:

• Vertriebsreport: Umsatz, Auftragseingang und Auftragsstatus
• Einkaufsreport mit automatisierten Bestellvorschlägen (Power Automate)
• Fehlteileüberwachung für Produktion und Materialwirtschaft
• Produktionsstücklisten auf Microsoft Fabric inkl. Deployment-Pipeline (Dev → Prod)
• Forecast-Vergleichsreport
• Zentrale Power-BI-Apps, die alle Reports je Abteilung bündeln

Technologien: Power BI, DAX, Power Query (M), SQL, proALPHA, Progress OpenEdge, Microsoft Fabric, Power Automate, Python

Als unabhängiger BI-Berater für eine FinTech-SaaS-Plattform tätig, Aufbau und Wartung des gesamten Microsoft-Azure- und Fabric-Analytics-Stacks hinter einem mandantenfähigen Buchhaltungsprodukt, mit dem Geschäftsinhaber ihre eigene finanzielle Entwicklung verfolgen.

• Zusammenarbeit mit Finanz-Stakeholdern, um komplexe Buchhaltungsabläufe in Echtzeit-BI-Dashboards (P&L, Cash Flow, Balance Sheet) zu übersetzen und 2000+ Geschäftsinhabern zu ermöglichen, Cashflow und finanzielle Gesamtsituation einfach zu verfolgen.
• Entwicklung von 10+ interaktiven Dashboards, die jedem Geschäftsinhaber eine personalisierte Echtzeitübersicht über die eigene Vertriebsleistung, die Überfälligkeit von Forderungen und die Betriebskosten bieten.
• Sicherstellung einer strengen Data Governance durch die Implementierung dynamischer Row-Level Security (RLS) mit DAX, um die Daten jedes Geschäftsinhabers innerhalb des gemeinsamen mandantenfähigen Modells zu isolieren.
• Wartung und Erweiterung einer Azure-ELT-Pipeline (Azure Data Factory, Azure SQL Database, Azure Synapse) zur automatisierten Datenaufnahme und -transformation.
• Mitwirkung an der teamweiten Plattformmigration von Azure zu Microsoft Fabric zur Optimierung der Lizenzkosten für die Kapazität.
• Konzeption und Implementierung einer Microsoft-Fabric-ELT-Pipeline (Lakehouse, Pipelines, PySpark) zur automatisierten Datenaufnahme und -transformation als Ersatz für die vorherige Azure-Pipeline.
• Modellierung der bereinigten Daten in einem Star Schema innerhalb des Data Warehouse mit T-SQL als Grundlage für das Power BI Semantic Model.
• Einsatz von KI-Tools, einschließlich Copilot und Claude, als Entwicklungspartner entlang der gesamten ELT-Pipeline, von der Datenaufnahme bis zu KPI-Reporting und Visualisierung.
• Unterstützung agiler Bereitstellungsprozesse mit Jira zur Nachverfolgung von Entwicklungsaufgaben und Confluence zur Pflege technischer und projektbezogener Dokumentation.

• Leitung der Migration des bestehenden DWHs einschließlich HR-Daten, Bewerbungsprozessen, Projektgeschäft und Zeiterfassung von einer MS SQL Server-Umgebung zu Azure Databricks
• Überarbeitung der bestehenden Datenmodelle und ETL-Prozesse sowie Erweiterung um neue Objekte und Funktionalitäten
• Einsatz von Azure Databricks (Unity Catalog, Notebooks, Spark SQL, Databricks Dataflows) und Power BI
• Technologien: MS SQL Server 2019 (SSMS, SSIS), Power BI, Delta Lake, Azure Databricks

• Entwicklung von KPI-Dashboards mit Power BI und DAX für 4+ Geschäftsbereiche, wodurch die Transparenz im Reporting und die strategische Entscheidungsunterstützung verbessert wurden.
• Migration von unternehmensweiten Finanzdatenansichten in dbt-Modelle mit modularen SQL-Transformationen, versionierten Datenpipelines und automatisierter Dokumentation zum Aufbau einer skalierbaren Analytics-Schicht.
• Aufbau dimensionaler Datenmodelle in Snowflake für unternehmensweite Finanzdaten zur Unterstützung skalierbarer Prognosen und von Managemententscheidungen.
• Entwicklung von End-to-End-ETL/ELT-Pipelines mit Snowflake und SAP HANA unter Integration von Daten aus 3+ Unternehmenssystemen.
• Automatisierung monatlicher Reporting-Workflows mit SQL und Power BI, wodurch der manuelle Aufwand um 80% reduziert und ein deutlicher Geschäftsnutzen erzielt wurde.
• Zusammenarbeit mit Stakeholdern aus dem Finanzbereich zur Überführung von Geschäftsanforderungen in analytische Datenmodelle, die strategische Entscheidungsprozesse unterstützen.
• Erstellung von Ad-hoc-Finanzberichten mit Power BI, wodurch die Bearbeitungszeit um 60% reduziert wurde.
• Implementierung von Datenvalidierungslogik in SQL und Behebung von 95% der wiederkehrenden Datenqualitätsprobleme.

• Entwicklung von Data Products im Rahmen einer Data Mesh-/Medallion-Architektur auf Databricks und Azure Synapse.
• Aufbau von Power BI Dashboards auf konsolidierten Daten aus mehreren Quellsystemen (Vertrieb, Service, Verträge, Bestandsdaten).
• Definition von KPIs und Reporting-Standards in enger Abstimmung mit Business-Stakeholdern.

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlags- und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für Echtzeit-Plattformüberwachung
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch wiederverwendbares Automatisierungsmodul für 7 Kunden-Domains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offenliegende Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• 3-Team-Integration in 1 Sprint geliefert

Als freiberufliche IT-Lehrkraft und IT-Coach habe ich mich darauf spezialisiert, Menschen Themen wie Cloud Computing, Business Intelligence, Python-Programmierung und agile Frameworks zu vermitteln. Mein Ziel ist es, komplexe technische Inhalte in praktisches, umsetzbares Wissen zu übersetzen. Durch meine umfangreiche Erfahrung als IT-Berater in verschiedenen Branchen und Rollen weiß ich, wie wichtig IT-Schulungen sind - sowohl für Unternehmen als auch für Mitarbeitende.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.