ETL-Experten

Projekt – Evaluierung und Aufbau von Datenbanken für eine neue Produktlinie für einen Messgeräte Hersteller

• Ist Analyse
• Anforderungsanalyse der Datenhaltungsschicht
• Schreiben von Benchmark Tests
• Design der neuen Datenbankschema
• Datenbankmigrationen
• Aufbau eines Audit-Logging und Part11
• Erstellen der Backup- und Recovery-Konzepte
• Design der API der Persistenzschicht
• Schreiben von Unit-Tests
• Erstellen von Requirements Azure

Tools: C#, Visual Studio 2022, Azure DevOps, SonarQube, Git, RestSharp, WebServer, PostgreSQL, MS SQL, SQLite, MinIO, Podman, Docker, DataGrip, SQL Management Studio, HeidiDB, pgAdmin

• Konzeption und Entwicklung einer produktionsreifen Data Platform auf Basis von Microsoft Fabric für ein E Commerce Unternehmen
• Aufbau einer skalierbaren Medallion Architektur (Bronze, Silver, Gold) mit Lakehouse und Delta Lake als Grundlage für Analytics und AI Anwendungen
• Entwicklung einer metadata driven ETL Plattform mit PySpark sowie eines generischen Incremental Loading Frameworks (SQL Server → Bronze → Silver → Gold)
• Entwicklung wiederverwendbarer Komponenten für Microsoft Fabric Notebooks zur Standardisierung von Datenintegration, Transformation und Validierung
• Implementierung automatisierter Data Pipelines inklusive Monitoring, Logging, Fehlerbehandlung und Delta MERGE Strategien für einen stabilen produktiven Betrieb
• Aufbau einer Business Layer Architektur für Reporting, Data Warehouse und wiederverwendbare Datenprodukte
• Integration heterogener Datenquellen über SQL Server, REST APIs, Amazon SP API und Google Analytics 4
• Enge Zusammenarbeit mit Fachbereichen zur Analyse fachlicher Anforderungen und Übersetzung in skalierbare Datenarchitekturen

Technologien: Microsoft Fabric, PySpark, Python, SQL Server, Delta Lake, Lakehouse, OneLake, Data Factory, Data Warehouse, REST APIs, Amazon SP-API, Google Analytics 4

• Tätigkeit in der Abteilung für Informations- und Sicherheitsmanagement im Rahmen eines Proof-of-Concept-(PoC)-Projekts zur Entwicklung eines Client Security Portals.
• Steuerung der Projektressourcen in Großbritannien, Indien und Deutschland.
• Konzeption und Bereitstellung der PoC-Lösung unter Einsatz eines modernen Java-Stacks, der Google Cloud Platform (GCP) mit Kubernetes und Active Directory (Entra ID) zur Authentifizierung.
• Implementierung von OAuth 2.0 zur Autorisierung.
• Sicherstellung der DORA-Konformität gemäß den Sicherheitsregeln der Deutsche Bank und Vorbereitung auf regulatorische Anforderungen.

Weiterentwicklung der integrierten Kapazitätsmanagement–Plattform InKa

Schieneninfrastruktur

• Power BI Shared Datasets und Berichte per DirectQuery auf Amazon Redshift (Fahrplan-, Bau-, Kapazitätsdaten)
• Automatisierte Berichtstests mit Playwright in Docker-Containern, Versionierung mit GitLab
• Konzept und Umsetzung der Anwenderkommunikation (Infoseite, Changelog, Known Bugs)

Ausgangslage:

Die integrierte Kapazitätsmanagement-Plattform (InKa) ist eine Monitoring- und Analyseplattform für Daten aus Fahrplan und Kapazitätsmanagement: Kundenbestellungen, Infrastruktur, Fahrplanbetrieb, Bau sowie Streckenleistungsfähigkeit und -breite. Die Daten werden in einem strukturierten Data Warehouse abgelegt und miteinander verknüpft. So lassen sich komplexe Kennzahlen über verschiedene Quellsysteme hinweg bilden und die aktuelle und künftige Streckenauslastung sowie das netzweite Baugeschehen darstellen. Ziel ist, die strategische, mittelfristige und unterjährige Planung zu verbessern und den Nutzenden einen niederschwelligen Zugang zu den Auswertungen des Kapazitätsmanagements zu geben.

Maßnahmen:

• Enablement: Einführung von Power BI mit Trainings und Workshops für Entwicklerteams.
• Beratung & Konzeption: Problemanalysen, Konzepte und Lösungsberatung zu Reporting-Anforderungen; Umsetzung der Planungen für Reporting-Lösungen.
• Datenmodell: Entwicklung von Shared Datasets mit DirectQuery auf Amazon Redshift und Import-Tabellen; DAX-Measures für Auslastungs- und Kapazitätskennzahlen.
• Entwicklung: Datenanalyse, Datentransformation und Visualisierung in Power BI; Erweiterung und Migration von Geschäftsanwendungen nach Power BI; KI-gestützte Entwicklung in VS Code mit GitHub Copilot.
• Testautomatisierung: Automatisierte Tests der Power-BI-Berichte mit Playwright; Aufsetzen der Testumgebung in Docker-Containern.
• Anwenderkommunikation: Konzept und Umsetzung einer zentralen Informationsseite mit Hot News, Changelog und Known Bugs, Absprung aus den Berichten mit Berichtsfilter, Aktualisierung per Power Automate.
• Deployment: Verwalten der Power BI Deployment Pipelines über die Umgebungen DEV, TEST und PROD.
• Agile Arbeitsweise: Arbeit im agilen Team nach SAFe (Scaled Agile Framework); Refinement von User Stories und Features inklusive Aufwandsschätzung in Jira; Versionierung mit Git und GitLab.
• Qualität & Dokumentation: Reviews zur Qualitätssicherung, Fehleranalyse und -behebung, technische Dokumentation in AsciiDoc und Confluence.

Technologien: Power BI, DAX, Power Query, DirectQuery, Amazon Redshift, Git / GitLab, Deployment Pipelines, Playwright, Docker, AsciiDoc, Power Automate, Jira, Confluence, VS Code mit GitHub Copilot, SAFe

Ergebnisse:

• Kennzahlen des Kapazitätsmanagements über mehrere Quellsysteme hinweg in einer Plattform
• Transparenz über aktuelle und künftige Streckenauslastung und netzweites Baugeschehen
• Niederschwelliger Zugang zu den Auswertungen für die Nutzenden
• Automatisierte Regressionstests der Power-BI-Berichte
• Umgesetzte Anwenderkommunikation: zentrale Infoseite mit Hot News, Changelog und Known Bugs, direkt aus den Berichten erreichbar

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Entwicklung eines unternehmensweiten, auf Fabric basierenden Governance-Frameworks für Datenprodukte, Erstellung von Datenverträgen und KPIs zur Schemavalidierung, um Vollständigkeit, Aktualität und SLA-Standards für Reporting-Datenprodukte sicherzustellen.
• Einführung von Pipeline-Observability durch die Integration von Daten aus der Dagster-Orchestrierung in automatisierte Data-Health-Reports sowie proaktive Validierung von Datenintegrität und Pipeline-Zuverlässigkeit, bevor sich die Reporting-Schichten in der Produktion aktualisieren.
• Etablierung von BI-as-Code und einer durchgängigen Governance mit Git-basierter Versionskontrolle, CI/CD und Alpha→GA-Release-Management, wodurch Lineage, die Erkennung von Schemaänderungen und die Nachverfolgbarkeit von Änderungen in der Produktion verbessert wurden.

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

• Branche: Versicherung, Handel, IT
• Kunden & Projekte: Beratung und Verkauf von Versicherungen und ähnlichen Dienstleistungen
• Tätigkeitsschwerpunkte: Versicherungsberatung (Krankenversicherung, Altersvorsorge, Vermögensaufbau); kaufmännische Dienstleistungen, Vertrieb im Innen- und Außendienst; Verkaufsdatenanalyse und Prognoseerstellung; Kundenberatung und Support; Eröffnung einer neuen Vertriebszentrale für Privat- und Firmenkunden; Geschäftsfeldentwicklung & Innovationsmanagement; Entwicklung von Business-Use-Cases; Prozessoptimierung; Stakeholder-Management; Teamleitung und Weiterbildung; Vorbereitung und Durchführung von Schulungen;
• Verwendete Technologien: Microsoft Office 365, Microsoft Teams, Jira, Draw.IO, Camunda 8, Java (8, 17,21,25), Git, Spring Boot, Spring Batch, Spring Data REST, Spring Web, Spring Security, J-Unit, Playwright, Lombock, Vaadin, H2, PostgreSQL (16, 17 18), pgAdmin, Docker, LLMs, JasperSoft Studio, JasperReports

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

Planung und Update der gesamten Umgebung auf Windows Server 2022 bzw. 2025

• Härtung der DCs und Server, Einrichtung Eventlog Forwarding
• Migration aller bestehenden Windows 2019 Server (inkl. Active Directory DCs, DNS und CA) auf Windows Server 2022 bzw. 2025
• Automatisierung der Security Patche für die Hyper-V Cluster via Powershell (CAU)
• Netzwerkadministration
• Kontinuierlicher Betrieb und Support der MS Hyper-V Umgebungen

Reifung ihrer API-Praktiken sowohl auf Business- als auch auf Technologieebene. Meine Rolle umfasst Strategie, Architektur, Developer Advocacy sowie hands-on Software Engineering und ermöglicht es sowohl technischen Teams als auch dem Business-Management, API-zentrierte Prinzipien effektiv zu übernehmen und anzuwenden. Gleichzeitig etablieren wir mit diesem Projekt auch GitOps, DX und Platform Best Practices.

Highlights:

• Abstimmung mit Executives auf die Initiative durch Klarstellung der Strategie, Ersetzen von Missverständnissen und Mythen durch Fakten, Verdeutlichen des Werts bestehender Assets und Ermöglichen fundierter Entscheidungen
• Entwicklung eines Vorgehens für das API Lifecycle Management bei OTTO
• Vorantreiben des Plattformfortschritts und Förderung des Entwicklerengagements durch hands-on Engineering-Arbeit in Richtung strategischer Ziele

API Lifecycle Management, Team Topologies, Organizational Evolution, Regulatory, Platform Advocate, Developer Platform, Communities of Practice, Terraform, Kotlin, Kafka, Kong, WSO2, Apigee, Gravitee, Backstage, AsyncAPI, OpenAPI, API Design, AWS, React, Node.js, TypeScript, Redocly, Reactive Programming, CDC, Golang, Gin-Gonic, GitOps, DX (Developer Experience), Stakeholder Management, Roadmaps, Workshops, Discovery.

Stabilisierung einer Azure-/.NET-Landschaft im laufenden Betrieb.

• Architektur, DevOps und Betriebsfähigkeit; technische Entscheidungen unter Zeitdruck
• Azure DevOps, Monitoring, ETL/ELT, Cloud Security, FinOps und Data-Mesh-nahe Themen

Technologien: Azure DevOps, .NET, CI/CD, Monitoring, FinOps

ETL 180 - Bau 90 Km Gaspipeline zwischen Hamburg und Bremen. Bauüberwachung Schweißtechnik, Rohrabsenkung, Umhüllung, Biegearbeiten, Druckprüfung. Qualitätssicherung. Stahlrohr 1,4 m Durchmesser, 21mm Rohrdicke.