Azure Synapse Analytics Experten

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlag und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für die Echtzeit-Überwachung der Plattform
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch ein wiederverwendbares Automatisierungsmodul für 7 Kundendomains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offengelegte Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• Integration von 3 Teams in 1 Sprint geliefert

• Interaktive SAP Analytics Cloud (SAC)-Dashboards und Reports für Finance, Supply Chain, Logistik, Beschaffung, HR und Produktion konzipiert und entwickelt, mit KPIs wie Profit & Loss, Bilanz, Fixkosten, Headcount, Personalkosten, Lageranalyse, OTIF, Produktionsvolumen, BOM, Spend und Compliance to Schedule.
• End-to-End-ABAP-CDS-Datenmodelle (Basic, Composite und Consumption Views) mit dem VDM-Ansatz aufgebaut und optimiert, wobei Daten aus wichtigen SAP-S/4HANA-Tabellen integriert wurden. Fundierte Kenntnisse in ABAP CDS, SQL und SAP-Datenmodellierung.
• Mit funktionsübergreifenden Teams zusammengearbeitet, um die KPI-Logik zu definieren, standardisierte User-Story-Vorlagen zu erstellen, BI-Anfragen über JIRA zu lösen, die Reporting-Performance zu verbessern und skalierbare, sichere und geschäftsorientierte Analytics-Lösungen zu liefern, die die Entscheidungsfindung und operative Effizienz verbessert haben.
• Fachbereiche in verschiedenen Ländern im Umgang mit SAP Analytics Cloud (SAC)-Dashboards geschult und umfassende Schulungsunterlagen erstellt, um die Nutzerakzeptanz zu fördern und Self-Service Analytics zu ermöglichen.

• Entwicklung von Datenprodukten im Rahmen einer Data Mesh-/Medallion-Architektur auf Databricks und Azure Synapse.
• Aufbau von Power BI-Dashboards auf konsolidierten Daten aus mehreren Quellsystemen (Vertrieb, Service, Verträge, Bestandsdaten).
• Definition von KPIs und Reporting-Standards in enger Abstimmung mit Business-Stakeholdern.

Als freiberufliche IT-Lehrkraft und IT-Coach habe ich mich darauf spezialisiert, Menschen Themen wie Cloud Computing, Business Intelligence, Python-Programmierung und agile Frameworks zu vermitteln. Mein Ziel ist es, komplexe technische Inhalte in praktisches, umsetzbares Wissen zu übersetzen. Durch meine umfangreiche Erfahrung als IT-Berater in verschiedenen Branchen und Rollen weiß ich, wie wichtig IT-Schulungen sind - sowohl für Unternehmen als auch für Mitarbeitende.

• Die BI-Lösung implementiert und die alte BI-Landschaft ersetzt
• Das Teilprojekt „Sales Bonus Plan“ geleitet: die bestehende Lösung erweitert und nach Azure (Databricks) migriert
• Das Teilprojekt „Cognos Migration“ geleitet: bestehende, auf MS-Technologien basierende Data Warehouses erweitert (Quellsysteme: Oracle), Geschäftsanforderungen analysiert und die technische Lösung entworfen
• Die relationale DWH-Datenbank erweitert
• ETL-Prozesse mit SSIS entwickelt
• Die multidimensionale Datenbank (OLAP Cubes/SSAS) entwickelt

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• KI-gestützte Automatisierung mit Fokus auf Effizienz, Informationsverarbeitung und Assistenzsysteme
• Automatisierte E-Mail-Klassifizierung (OpenAI, FastAPI)
• Vertragsanalyse für LegalTech (Llama 3, LangGraph)
• Interne Wissenssuche mit RAG (VLLM, Hugging Face)
• Anomalieerkennung auf Edge-Geräten (LLAVA, TensorRT)
• Agentensystem für Management-Reports (LangGraph, Zapier)

• Mitgegründet ein KI-Startup mit Fokus auf die Entwicklung produktionsreifer LLM-Anwendungen und Agentensysteme
• Entworfen und implementiert Multi-Agent-KI-Workflows für Finanz- und Handelsanwendungen
• Entwickelt LLM-basierte Copilot-Architekturen für Portfolioanalyse, Handelsverwaltung und personalisiertes Nutzercoaching
• Entwickelt On-Device- und Edge-Inferenzanwendungen, optimierte Modelle für geringe Latenz, Datenschutz und ressourcenbeschränkte Umgebungen
• Geleitet Architekturentscheidungen zur Modellauswahl, Orchestrierung, Zustandsverwaltung und Bereitstellung