Apache Kafka Experten in Frankfurt

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Die Yatta Integration Layer entworfen – eine konfigurationsgetriebene Integrationsplattform auf Java 25, Spring Boot 4 (WebFlux), Temporal, gRPC und Kafka, die neue Third-Party-Integrationen (z. B. AVS Fulfillment) über deklarative JSON-Konfigurationen ohne Codeänderungen ermöglicht.
• Tink-Integration entworfen und umgesetzt mit 0Auth-IBAN-Verifizierung, um Betrugsprävention und Kontovalidierungs-Workflows mit Adyen payByBank zu verbessern.
• Ein auf OpenFGA basierendes Berechtigungsmodell entworfen und umgesetzt für die zentrale Verwaltung von Benutzern, Gruppen und fein granularer Zugriffskontrolle im Vendor-Portal.
• Die Yatta API-Gateway-Plattform mit GraphQL Federation entworfen und die Umsetzung geleitet, um eine einheitliche Enterprise-API-Schicht über verteilte Microservices mit zentraler Authentifizierung, Autorisierung und Request-Orchestrierung bereitzustellen.
• NGINX + NLB durch Istio Service Mesh und AWS ALB ersetzt; WAF, OAuth (Cognito), IP-Whitelisting und RBAC über alle Umgebungen ausgerollt.
• CDC von Confluent-Cloud-Connectors auf einen selbst gehosteten Kafka-Connect- + Debezium-Stack migriert, wodurch die Betriebskosten über mehrere Umgebungen um rund 80 % gesenkt wurden.
• Das Transactional-Outbox-Pattern mit Debezium umgesetzt für zuverlässiges Event-Publishing mit genau-einmal-Zustellung nach Kafka mit Avro und Schema Registry.
• Dunning-/Payment-Recovery-Workflows von Airflow zu Temporal migriert, wodurch 99,9 % Zuverlässigkeit für die Abwicklung erreicht wurden.
• Apache Airflow optimiert mit deferrable Sensors, um 1000+ gleichzeitige DAG-Runs ohne Skalierung des Worker-Pools zu verarbeiten.
• Eine monolithische Terraform-Codebasis in 3 modulare Projekte refaktoriert, wodurch die Deploy-Zeit um rund 45 % verkürzt wurde.
• Vollständige Observability aufgebaut mit OpenTelemetry, Tempo, Prometheus und Loki; Dev/Staging/Prod mit ArgoCD, Image Updater und Helm automatisiert.
• Mit Produkt-, Operations- und Engineering-Stakeholdern zusammengearbeitet, um eine skalierbare Plattformarchitektur und Integrationsstandards zu definieren, die auf langfristige Geschäfts- und Betriebsziele abgestimmt sind.

• Leitete die Discovery-Phase und den POC für die Migration von Shopware zu Shopify Plus in EMEA-Märkten und bewertete die Eignung der Plattform, die technische Architektur sowie Multi-Brand-/Multi-Country-Funktionen anhand der Business-Anforderungen.
• Entwarf die Referenzarchitektur für die Shopify-Plus-Implementierung mit Headless-Frontend-Patterns (Vue.js, Nuxt.js), CMS-Integration (Magnolia) und Azure-Middleware (APIM, Functions, Logic Apps, Service Bus) für 11 EMEA-Märkte.
• Definierte die Migrationsstrategie mit Analyse von Data Mapping, Cutover-Ansatz und Zero-Downtime-Deployment-Patterns unter Einsatz von Varnish-Cache, GitOps-Pipelines und CI/CD-Orchestrierung über sechs Vendor-Teams hinweg.
• Entwickelte ein Multi-Tenant-Governance-Modell für Shopify Plus mit zentraler Administration, lokaler Storefront-Anpassung und Compliance-Kontrollen (GDPR, Datenresidenz).
• Prototypte KI-gestützte Suchoptimierung (LLM.txt, JSON-LD) für die Auffindbarkeit von Produkten in Google-AI-Ergebnissen und zeigte damit Potenziale für die Performance nach dem Go-live auf.
• Definierte mit C-Level-Strategie-Workshops die EMEA-Expansions-Roadmap für 15+ Märkte, einschließlich gestaffeltem Rollout, marktspezifischen Konfigurationen und Ressourcenbedarf.
• Tech Stack: React, Nuxt.js, Vue.js, Magnolia CMS, Shopware, Shopify Plus, Azure (APIM, Functions, Logic Apps, Service Bus, Front Door), Varnish, SAP, MS Dynamics, Docker, Kubernetes, GitHub Actions, PostgreSQL, Kafka

• Plattform aufgebaut und stabil betrieben; bewusst mein Engagement reduziert, um mich wieder auf eine Ingenieursrolle im Finanzbereich zu konzentrieren.
• Eigene SaaS-Lernplattform von Grund auf entwickelt und auf über 20.000 Nutzer skaliert (über 6.000 verkaufte Kurse, B2C und B2B); End-to-End-Verantwortung von der Entwicklung über Infrastruktur bis zum Betrieb.
• Laborumgebung aufgebaut, die für jeden Nutzer einen isolierten Linux-Container bereitstellt (Docker, Traefik, Go), inklusive automatischer Bereitstellung und eigener Subdomain pro Nutzer.
• LLM-Funktionen in das Produkt integriert und die Entwicklung mit KI-gestützten Workflows (Claude Code, Codex) End-to-End beschleunigt; CI/CD mit automatisierten Tests.

Projekt: SCS (Settlement / Clearing Services)

Settlement-Plattform für mehrere Handels- und Clearing-Plattformen — Absicherung des Kontrahentenrisikos, Reduzierung des Settlement-Volumens, zentrales Risikomanagement und Post-Trade-Anonymität.

Technologien: Java 17, Spring Boot 3, Microservices, Spring Data JPA, SonarQube, Fortify (SCST), Mockito, Jenkins, OpenShift, Maven, Podman, GitHub, JIRA, Liquibase, Swagger, AMQP, Apache Camel, Terraform, PostgreSQL, Instana, Graylog.

• CVEs in Drittanbieter-Bibliotheken mit SCA-Tools identifiziert und behoben, um die Sicherheit der Produktionskomponenten zu stärken.
• 90 % Codeabdeckung mit SonarQube gehalten, die Codequalität verbessert und Produktionsfehler reduziert.
• Helm-Charts und values.yaml-Konfigurationen für 3 Umgebungen (ACT, SIMU, PROD) erstellt und angepasst, um die Deployment-Flexibilität und -Konsistenz zu erhöhen.
• mTLS für die Datenbankauthentifizierung und Verbindungen zu Message Brokern aktiviert, um verschlüsselte und zertifikatsgeprüfte Kommunikation durchzusetzen.
• Microservices mit asynchroner, REST-basierter Kommunikation zwischen den Komponenten entworfen und bereitgestellt.
• Build- und Continuous-Integration-Pipelines mit Maven und Jenkins automatisiert.
• Podman und OpenShift für die Container-Orchestrierung sowie Liquibase für die Datenbankversionierung genutzt.
• Java-Code optimiert und EHCache-basiertes Caching implementiert, um die Performance der Anwendung zu verbessern.
• Anwendungsimages, JAR-Versionen und Abhängigkeiten über den DBAG Artifactory Repository Manager verwaltet.

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Hands-on-Lösungsarchitekt
• Digitale Produktentwicklung - SaaS
• Strategische Beratung zur Softwarearchitektur, Cloud-Migration sowie DevOps-Prozessen
• Coaching von SE-Entwicklern und IT-Architekten

• Mitgründung des Teams Real-Time Data, welches im Laufe der Zeit auf 10 Personen angewachsen ist.
• Entwicklung und Bereitstellung zentraler Datenprodukte.
• Optimierung der Performance von Echtzeit-Anwendungen sowie Implementierung von Monitoring-, Alerting- und Logging-Lösungen zur Sicherstellung der Systemstabilität.
• Erstellen und Pflegen von Deployment-Pipelines.
• Zusammenarbeit mit Teamkollegen, Architekten und Experten in einem agilen SCRUM-Umfeld.
• Anwendungsbetrieb, Analysieren, Testen und Troubleshooting von Softwarelösungen.

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Datenbank-Design mit Oracle DB, JPA und Flyway unter Berücksichtigung hoher Performance-Anforderungen
• Analyse mehrerer Architekturentwürfe und Identifikation technischer Risiken
• Design und Implementierung mehrerer Schnittstellen und Integrationen, insbesondere REST-APIs und Kafka Topics
• Setup von Elasticsearch zur Überwachung und Analyse von Log-Daten
• Etablierung einer iterativen Arbeitsweise im Projektteam angesichts komplexer Business-Anforderungen

• Allgemeine CTO-Verantwortlichkeiten (Architekturdesign, operative Einrichtung, externe Laufzeitanalyse des Produkts, Investorenbeteiligung, regulatorische Compliance)
• Aufsicht der Softwareentwicklung (tiefgehende Implementierungsarbeit) sowie Workflow-Design
• Produkt-Mitinhaberschaft
• Technik/Tools/Frameworks: proprietäre Software (Java, JavaScript), Kubernetes, Postgres, MinIO, Ollama (intern), mehrere xAI-APIs (extern), OpenTofu (Terraform), Keycloak, Kafka, Prometheus, ELK Stack, GitHub, GitHub Workflows, Argo CD, ISO 27001, BSI-ISM, EU AI Act

KI-gestützte Plattform für automatisierte UX-Validierung und Designer-Unterstützung

• Konzeption und technische Leitung einer unternehmensweiten KI-Lösung zur automatisierten UX-Überprüfung, die die Designqualität verbessert und manuelle Review-Prozesse in den Teams deutlich reduziert
• Entwicklung eines automatischen UX-Validierungstools als Figma-Plugin und Web-Anwendung, das auf Basis interner Richtlinien Testfälle generiert und aktuelle Designs zuverlässig auf Konsistenz und Standardkonformität prüft
• Umsetzung eines interaktiven Designer-Chats auf RAG-Basis, der Fragen zum aktuellen Design sowie zu den UX-Richtlinien des Unternehmens beantwortet sowie Konzeption der Deployment-Architektur auf Basis containerisierter Services
• Python, Azure OpenAI, PostgreSQL, REST API, Docker, OpenShift, Helm, CI/CD, Figma MCP, LLM, RAG, Prompt Engineering, GenAI, XAI, KI-Architektur, KI-Strategie

• Testen des SekIDP und verwandter Komponenten
• Testdesign, -durchführung und -automation, Microservices, GitHub Enterprise, Eclipse, Katalon Test Platform, API-Tests, Confluence 8, JIRA/Xray, Draw.io, Swagger/OpenAPI, Postman, Docker, Kubernetes, Podman, PuTTY, E-Health, Telematik, Gematik-Standards, ePA, E-Rezept, sektoraler IDP, Verschlüsselung, XaDES, PaDES, DICOM, HL7, FHIR, IHE, ICD, SSO, SAML/Shibboleth, OAuth, Smartcards, JWT, Zwei-Faktor-Authentifizierung auf Android und iOS, Wireshark, BrowserStack, Cypress, gRPC, REST, SOAP, WS-Security, Linux-Shell, PowerShell, SSH/SSL, Java, Kotlin, Cordova, Gradle, Groovy, Python, TypeScript