ETL Experten in Frankfurt

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Die Yatta Integration Layer entworfen – eine konfigurationsgetriebene Integrationsplattform auf Java 25, Spring Boot 4 (WebFlux), Temporal, gRPC und Kafka, die neue Third-Party-Integrationen (z. B. AVS Fulfillment) über deklarative JSON-Konfigurationen ohne Codeänderungen ermöglicht.
• Tink-Integration entworfen und umgesetzt mit 0Auth-IBAN-Verifizierung, um Betrugsprävention und Kontovalidierungs-Workflows mit Adyen payByBank zu verbessern.
• Ein auf OpenFGA basierendes Berechtigungsmodell entworfen und umgesetzt für die zentrale Verwaltung von Benutzern, Gruppen und fein granularer Zugriffskontrolle im Vendor-Portal.
• Die Yatta API-Gateway-Plattform mit GraphQL Federation entworfen und die Umsetzung geleitet, um eine einheitliche Enterprise-API-Schicht über verteilte Microservices mit zentraler Authentifizierung, Autorisierung und Request-Orchestrierung bereitzustellen.
• NGINX + NLB durch Istio Service Mesh und AWS ALB ersetzt; WAF, OAuth (Cognito), IP-Whitelisting und RBAC über alle Umgebungen ausgerollt.
• CDC von Confluent-Cloud-Connectors auf einen selbst gehosteten Kafka-Connect- + Debezium-Stack migriert, wodurch die Betriebskosten über mehrere Umgebungen um rund 80 % gesenkt wurden.
• Das Transactional-Outbox-Pattern mit Debezium umgesetzt für zuverlässiges Event-Publishing mit genau-einmal-Zustellung nach Kafka mit Avro und Schema Registry.
• Dunning-/Payment-Recovery-Workflows von Airflow zu Temporal migriert, wodurch 99,9 % Zuverlässigkeit für die Abwicklung erreicht wurden.
• Apache Airflow optimiert mit deferrable Sensors, um 1000+ gleichzeitige DAG-Runs ohne Skalierung des Worker-Pools zu verarbeiten.
• Eine monolithische Terraform-Codebasis in 3 modulare Projekte refaktoriert, wodurch die Deploy-Zeit um rund 45 % verkürzt wurde.
• Vollständige Observability aufgebaut mit OpenTelemetry, Tempo, Prometheus und Loki; Dev/Staging/Prod mit ArgoCD, Image Updater und Helm automatisiert.
• Mit Produkt-, Operations- und Engineering-Stakeholdern zusammengearbeitet, um eine skalierbare Plattformarchitektur und Integrationsstandards zu definieren, die auf langfristige Geschäfts- und Betriebsziele abgestimmt sind.

Projekt, strategische Beratung – Aufbau der Data Strategy und Data Governance Policy für die Niederlassung Deutschland, Kunde (Privatbank Julius Bär, Hauptsitz Zürich), März 2026 – bis heute

• Konzeption und Verhandlung der Datenstrategie mit den wichtigsten Stakeholdern sowie Einholung des Sign-offs durch den Vorstand (strategische Beratung) – in diesem Rahmen regulatorische Beratung zur Datenregulierung in der EU und speziell für Deutschland. Die Datenstrategie umfasst: Data Lifecycle Management: data capture, data storage, data usage, data retention policy, data quality incident management
• Definition von Meilensteinen und der technischen Machbarkeit zur Implementierung von TOM für die Datenstrategie, Datenqualitätsprüfungen, Metriken und ein Metadateninventar, um die Compliance der Bank mit den Anforderungen von DORA, BCBS239 und MaRisk sicherzustellen.

Projekt Kerndatenänderung, Kunde: (ING Bank, Frankfurt am Main), März – bis Dezember 2025

• Konzeption und Solution Design für neue End-to-End-Prozesse inkl. technischer Schnittstellen
• Definition von Synchronisationslogiken und Datenflüssen zwischen Legacy- und Zielsystemen (Dekommissionierung von Legacy-Systemen)
• Analyse und Validierung von Datenmodellen
• Stakeholder-Kommunikation mit Produktverantwortlichen, Feature Engineers, UX Designern und operativen Einheiten zur Entscheidungsfindung
• Analytics und Impact-Einschätzungen, z. B. zur Bewertung von Folgeeffekten und regulatorischen Anforderungen
• Dokumentation und Kommentierung technischer und fachlicher Anforderungen zur Unterstützung der Umsetzung in agilen Squads

Projekt Digitalisierung einer Usergruppe, Kunde: (ING Bank, Frankfurt am Main), als Interim Product Owner, Jan. 2025 – bis heute

• Mitgestaltung von Grundlagenentscheidungen zur Datenarchitektur und Prozesslogik im Kontext von historisierten Daten und Login-Funktionalität für User
• Entwicklung fachlicher Lösungskonzepte für die Migration zum Zielsystem, inkl. Systemintegration und Datenflüsse
• Unterstützung bei Analytics und Impact-Analysen, insbesondere zur Auskunftsfähigkeit gegenüber Ermittlungsbehörden
• Aktive Abstimmung mit Stakeholdern aus verschiedenen Squads zur Entscheidungsfindung und Sicherstellung regulatorischer Anforderungen
• Erstellung von Testszenarien für operative Teams und Backend-Systeme im Bereich API-Management unter Verwendung von Postman und Bruno.

• Analyse der bestehenden Reporting-Plattform einschließlich Prozessen und Governance-Themen mit Stakeholdern aus Vertrieb und Marketing.

• Detaillierte Analyse und Bewertung der kundenseitig definierten Anforderungen an das bestehende Reporting sowie an neu zu erstellende Dashboards.

• Unterstützung der Stakeholder bei der Steuerung der Vertriebsprozesse und der frühzeitigen Erkennung von KPI-Entwicklungen.

• Einsatz von Microsoft Power BI als zentrale Analyse- und Reporting-Plattform.

• Erarbeitung eines Vorschlags für die notwendige Weiterentwicklung der Prozesse und der Power BI-Plattform.

• Erfassung der Ist-Geschäftsprozesse und Ableitung unternehmensweiter KPIs inklusive Abstimmung mit Stakeholdern.

• Analyse und Bestandsaufnahme der Power BI-Plattform des Kunden.

• Untersuchung von Prozessen und Data Governance.

• Erfassung und Dokumentation der Ist-Geschäftsprozesse.

• Erarbeitung von Empfehlungen zur Weiterentwicklung von Prozessen und der Reporting-Plattform.

• Konzeption und Umsetzung von Dashboards in Power BI.

• Definition unternehmensweiter KPIs und Abstimmung mit Stakeholdern.

• Microsoft Power BI

• Datenanalyse

• KPI-Definition und Reporting

• Dashboard-Konzeption und Datenvisualisierung

• Stakeholder-Management und Anforderungsmanagement

• Analyse der Geschäftssituation: stagnierende Umsätze, geringe Rate an wiederkehrenden Kunden, viele Besucher aber niedrige Conversion-Rate, durchschnittlicher Bestellwert steigt nicht, keine Kundensegmentierung oder Zielgruppenansprache, Performance-Marketing-Ansatz gewinnt nicht die richtigen Kunden
• Beratung zu Vertriebs- und Marketingstrategien sowie Optimierung der Prozesse; Agile-Coach-Beratung zur Geschäftsstrategie mit Scrum und Kanban
• Erhebung der Hauptanforderungen und Ableitung von User Stories für die E-Shop-Produkt-Owner-Entwicklung und Kundendatenanalyse
• Entwicklung eines umfassenden 360-Grad-Kundendatenmodells mit Shopify und Amazon; Implementierung von Datenfeeds aus über 10 Systemen (Klaviyo, Typeform)
• Erstellung aussagekräftiger Ad-hoc-Datenanalysen zu Aspekten des Kundenverhaltens bei Triple Whale unter Verwendung standardmäßiger E-Commerce-KPIs wie AOV, Google Analytics, Churn-, Conversion- und Abbruchraten im Checkout, ROAS, CPA, CPC; Tools: SQL, Power Query
• Ableitung einer klaren und datengetriebenen Kundensegmentierung und Zielgruppenansprache; ETL-Prozesse und Power BI
• Einführung und Versorgung einer neuen Content-Agentur mit Kunden-Insights mittels GraphQL und Postman; Verbesserung von Botschaften, Frequenz und Zielgruppenansprache; Microsoft Planner
• Bereitstellung eindeutiger Datenbelege zur Steuerung des neuen Performance-Marketing-Ansatzes
• Entwicklung standardisierter Reports für die Geschäftsabläufe

• Leitete Design, Entwicklung und Bereitstellung von Datenlösungen zur Unterstützung einer großen Pharma-Übernahme für die Takeda Pharmaceutical Company und lieferte Transparenz-Reporting-Systeme auf den Plattformen Azure, Databricks (Python und Shell-Skripting).
• Verantwortete, entwarf und entwickelte skalierbare ELT-Pipelines, um Kunden- und Produktdaten mit Azure, komplexem SQL, Databricks und Shell-Skripting zu verarbeiten und so eine effiziente Datenintegration und -verarbeitung aus mehreren Quellen zu ermöglichen, einschließlich Job-Orchestrierung und Workflow-Automatisierung.
• Implementierte Performance-Optimierungstechniken (Query-Tuning, Parallelität, Workload-Optimierung) und verbesserte die Systemeffizienz sowie die Verarbeitungszeit.
• Setzte starke Analyse- und Problemlösungsfähigkeiten ein, um technische Lösungen zu bewerten und Geschäftsanforderungen für Compliance- und Transparenz-Reporting zu unterstützen.
• Entwarf skalierbare Datenfundamente für Downstream-Analysen und AI-Workloads.
• Leitete Data-Quality-Initiativen, indem mehrere Quelldaten geprüft, Qualitätsmetriken definiert und Prozesse für Monitoring und kontinuierliche Verbesserung etabliert wurden.

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• KPI-Dashboards für Bestände und Qualitätskontrolle von Wareneingang & Tests, ETL, Dataset-, Dataflow- und Report-Entwicklung, komplexe DAX-Lösungen

Datenquellen: Dataverse, RDB, Excel

Tools: ETL, Datenmodellierung, Dataflows, Power Query, M, Power BI, komplexes DAX

• Kapazität: 25%

• Analyse von Web- und Kampagnen-Performance zur Ableitung umsetzbarer Erkenntnisse für Marketing- und Wachstumsoptimierung
• Implementierung und Pflege von Tag-Management-Lösungen zur Sicherstellung einer zuverlässigen und konsistenten Datenerhebung
• Kontinuierliche Weiterentwicklung und Optimierung von Reporting-Strukturen mit Fokus auf Skalierbarkeit und Datenqualität
• Durchführung regelmäßiger Deep-Dive-Analysen sowie Leitung monatlicher Stakeholder-Sessions zur Präsentation von Ergebnissen und Abstimmung von Optimierungsmaßnahmen
• Konzeption und Betrieb von End-to-End-Datenflüssen von der Datenerhebung bis zur Visualisierung
• Tools: GA4, Google Tag Manager, Looker Studio, Airbyte, BigQuery

• Mitgründung des Teams Real-Time Data, welches im Laufe der Zeit auf 10 Personen angewachsen ist.
• Entwicklung und Bereitstellung zentraler Datenprodukte.
• Optimierung der Performance von Echtzeit-Anwendungen sowie Implementierung von Monitoring-, Alerting- und Logging-Lösungen zur Sicherstellung der Systemstabilität.
• Erstellen und Pflegen von Deployment-Pipelines.
• Zusammenarbeit mit Teamkollegen, Architekten und Experten in einem agilen SCRUM-Umfeld.
• Anwendungsbetrieb, Analysieren, Testen und Troubleshooting von Softwarelösungen.

• Unterstützung des Projekts Internationaler Webauftritt der BA (IntWeb) im Bereich Qualitätsmanagement mit dem Ziel die Verantwortung für die Qualität der Prozesse und Projektergebnisse unter Berücksichtigung der BA-Standards zu übernehmen. Kernziele des Projekts lauten: den Fachkräften im Ausland einen schnellen Überblick über ihre Chancen für den Weg nach Deutschland zu geben und sie durch den Zugang zu Dienstleistungen in die Lage zu versetzen, die dafür notwendigen Schritte konsequent & digital unterstützt gehen zu können.

• Vorgaben der grundsätzlichen Richtlinien mit dem QS-Handbuch

• Zusammenfassen der Prüfergebnisse in QS-Berichten für PLA

• Analyse der Projektergebnisse auf Verbesserungsmöglichkeiten

• Qualitätsmanagement der Anforderungsanalyse (insbesondere Prozesse, Methoden und Werkzeuge)

• Sicherstellung der Einhaltung der SERA-Vorgaben

• Erstellung eines Projektübergreifenden Testkonzepts

• Vereinbarung von Sprintabschlussberichte

• Formales Review von Arbeitsergebnissen gemäß Vorgaben und/oder Projektplan

• Ansprechpartner für Innenrevision, externe Audits durch Wirtschaftsprüfer oder BRH (Bundesrechnungshof)

• Technologien: JIRA, Confluence, MS Office, GitLab, Kubernetes

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Konzipierte und realisierte produktionsreife Azure-Umgebungen mit Terraform und stellte eine konsistente Infrastrukturparität über VNets und Ressourcengruppen sicher
• Implementierte Microsoft Fabric Tenant- und Workspace-Architekturen für mehrstufige Medallion-Datenverarbeitungspipelines
• Entwarf sichere Datenpfade mit Managed Private Endpoints für isolierten Zugriff auf Azure Storage
• Verwaltete Service Principals und Authentifizierungs-Token für sichere REST-API-Integrationen