Apache Kafka Experten in Frankfurt

Die Basisdienste von DB InfraGO bilden einen zentralen Datenhub zwischen den IT-Systemen des Unternehmens. Es werden gemeinsame Datendienste entwickelt, die Daten aus Quellsystemen an eine Vielzahl nachgelagerter Systeme verteilen (über JMS) und bereitstellen (über REST-API). Die bestehende, auf TIBCO basierende Servicelandschaft wird auf die cloud-native Plattform von DB InfraGO migriert.

• Architekturdesign und Implementierung einer performanceoptimierten Massenverarbeitung von mehreren Millionen Datensätzen zu bestimmten Tageszeiten
• Technische Spezifikation und Dokumentation der Geschäftsanforderungen
• Integration verschiedener Subsysteme (einschließlich SAP und Salesforce) durch die Neuentwicklung von mehr als 40 auf Spring Boot basierenden Microservices
• Migration von TIBCO-basierten Microservices von der Enterprise Integration Platform auf die Cloud Native Platform mit Spring Boot
• Aufbau einer Deployment-Pipeline mit GitLab CI/CD und Artifactory sowie automatisiertes Deployment in eine Kubernetes-Umgebung mithilfe von ArgoCD
• Definition und Implementierung automatisierter Unit-, Integrations- und Regressionstests

Teamgröße: 9

Technologien/Tools: Java, Spring Boot, ActiveMQ(JMS), JUnit, Tibco Business Works, Gitlab (CI/CD), Kubernetes (Amazon AWS), ArgoCD, postgreSQL, Oracle, Postman, Hoppscotch, openAPI, Sonarqube

• Vollständig On-Premises betriebene LLM-Plattform zur Dokumentenprüfung für einen Compliance-kritischen Bankbereich: agentenbasierte LangGraph-Pipeline mit deterministischer Verifizierung, jedes KI-Urteil strukturiert und an die Quelle gebunden; ~960 automatisierte Tests, kein Datenabfluss
• GPU-Durchsatzoptimierung (quantized serving, speculative decoding, prefix caching): 9.5-fache Beschleunigung der Extraktion, 500+ Fallakten mit mehreren Dokumenten pro Tag auf einer einzelnen A100
• KI-native EDI/EDIFACT-Integrationsplattform (~116k LOC Java 25 / Spring Boot 4, 1,900+ Tests): Von LLM erstellte Partnermappings werden vor dem Go-live maschinell verifiziert (DFDL-Konformität, Feldabdeckungsprüfungen, Testläufe), ~99.5% Byte-Übereinstimmung bei echten Kundendateien – ersetzt wochenlange manuelle Zuordnung pro Partner

• Leitete die Discovery-Phase und den POC für die Migration von Shopware zu Shopify Plus in EMEA-Märkten und bewertete die Eignung der Plattform, die technische Architektur sowie Multi-Brand-/Multi-Country-Funktionen anhand der Business-Anforderungen.
• Entwarf die Referenzarchitektur für die Shopify-Plus-Implementierung mit Headless-Frontend-Patterns (Vue.js, Nuxt.js), CMS-Integration (Magnolia) und Azure-Middleware (APIM, Functions, Logic Apps, Service Bus) für 11 EMEA-Märkte.
• Definierte die Migrationsstrategie mit Analyse von Data Mapping, Cutover-Ansatz und Zero-Downtime-Deployment-Patterns unter Einsatz von Varnish-Cache, GitOps-Pipelines und CI/CD-Orchestrierung über sechs Vendor-Teams hinweg.
• Entwickelte ein Multi-Tenant-Governance-Modell für Shopify Plus mit zentraler Administration, lokaler Storefront-Anpassung und Compliance-Kontrollen (GDPR, Datenresidenz).
• Prototypte KI-gestützte Suchoptimierung (LLM.txt, JSON-LD) für die Auffindbarkeit von Produkten in Google-AI-Ergebnissen und zeigte damit Potenziale für die Performance nach dem Go-live auf.
• Definierte mit C-Level-Strategie-Workshops die EMEA-Expansions-Roadmap für 15+ Märkte, einschließlich gestaffeltem Rollout, marktspezifischen Konfigurationen und Ressourcenbedarf.
• Tech Stack: React, Nuxt.js, Vue.js, Magnolia CMS, Shopware, Shopify Plus, Azure (APIM, Functions, Logic Apps, Service Bus, Front Door), Varnish, SAP, MS Dynamics, Docker, Kubernetes, GitHub Actions, PostgreSQL, Kafka

• Plattform aufgebaut und stabil betrieben; bewusst mein Engagement reduziert, um mich wieder auf eine Ingenieursrolle im Finanzbereich zu konzentrieren.
• Eigene SaaS-Lernplattform von Grund auf entwickelt und auf über 20.000 Nutzer skaliert (über 6.000 verkaufte Kurse, B2C und B2B); End-to-End-Verantwortung von der Entwicklung über Infrastruktur bis zum Betrieb.
• Laborumgebung aufgebaut, die für jeden Nutzer einen isolierten Linux-Container bereitstellt (Docker, Traefik, Go), inklusive automatischer Bereitstellung und eigener Subdomain pro Nutzer.
• LLM-Funktionen in das Produkt integriert und die Entwicklung mit KI-gestützten Workflows (Claude Code, Codex) End-to-End beschleunigt; CI/CD mit automatisierten Tests.

Projekt: SCS (Settlement / Clearing Services)

Abwicklungsplattform für mehrere Handels- und Clearingplätze — Absicherung des Kontrahentenrisikos, Reduzierung des Abwicklungsvolumens, zentrales Risikomanagement und Anonymität nach dem Handel.

Technologien: Java 17, Spring Boot 3, Microservices, Spring Data JPA, SonarQube, Fortify (SCST), Mockito, Jenkins, OpenShift, Maven, Podman, GitHub, JIRA, Liquibase, Swagger, AMQP, Apache Camel, Terraform, PostgreSQL, Instana, Graylog.

• CVEs in Drittanbieter-Bibliotheken mithilfe von SCA-Tools identifiziert und behoben und damit die Sicherheitslage der Produktivkomponenten verbessert.
• 90 % Code Coverage mit SonarQube gehalten, die Codequalität verbessert und Produktionsfehler reduziert.
• mTLS für die Datenbankauthentifizierung und Verbindungen zu Message Brokern aktiviert und damit verschlüsselte, zertifikatsgeprüfte Kommunikation durchgesetzt.
• Microservices mit asynchroner, REST-basierter Kommunikation zwischen den Komponenten entworfen und bereitgestellt.
• Eine REST-API mit hohem Volumen (~200K Requests) optimiert, indem die Antwortzeit von 3s auf 2s reduziert wurde (33 % Verbesserung), was Durchsatz und Zuverlässigkeit unter Produktionslast erhöht hat.
• Build- und Continuous-Integration-Pipelines mit Maven und Jenkins automatisiert.
• Containerisierte Workloads auf Podman/OpenShift orchestriert und die Schema-Weiterentwicklung mit Liquibase gesteuert, um zuverlässige und wiederholbare Deployments in allen Umgebungen sicherzustellen.
• Java-Code optimiert und EHCache-basiertes Caching implementiert, um die Anwendungsleistung zu verbessern.
• Das Release-Management vereinfacht, indem Anwendungsimages, JAR-Versionen und Abhängigkeiten über DBAG Artifactory gesteuert wurden, um Versionskonsistenz und Audit-Nachvollziehbarkeit über alle Umgebungen hinweg sicherzustellen

• Hands-on-Lösungsarchitekt
• Digitale Produktentwicklung - SaaS
• Strategische Beratung zur Softwarearchitektur, Cloud-Migration sowie DevOps-Prozessen
• Coaching von SE-Entwicklern und IT-Architekten

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Mitgründung des Teams Real-Time Data, welches im Laufe der Zeit auf 10 Personen angewachsen ist.
• Entwicklung und Bereitstellung zentraler Datenprodukte.
• Optimierung der Performance von Echtzeit-Anwendungen sowie Implementierung von Monitoring-, Alerting- und Logging-Lösungen zur Sicherstellung der Systemstabilität.
• Erstellen und Pflegen von Deployment-Pipelines.
• Zusammenarbeit mit Teamkollegen, Architekten und Experten in einem agilen SCRUM-Umfeld.
• Anwendungsbetrieb, Analysieren, Testen und Troubleshooting von Softwarelösungen.

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Datenbank-Design mit Oracle DB, JPA und Flyway unter Berücksichtigung hoher Performance-Anforderungen
• Analyse mehrerer Architekturentwürfe und Identifikation technischer Risiken
• Design und Implementierung mehrerer Schnittstellen und Integrationen, insbesondere REST-APIs und Kafka Topics
• Setup von Elasticsearch zur Überwachung und Analyse von Log-Daten
• Etablierung einer iterativen Arbeitsweise im Projektteam angesichts komplexer Business-Anforderungen

• Allgemeine CTO-Verantwortlichkeiten (Architekturdesign, operative Einrichtung, externe Laufzeitanalyse des Produkts, Investorenbeteiligung, regulatorische Compliance)
• Aufsicht der Softwareentwicklung (tiefgehende Implementierungsarbeit) sowie Workflow-Design
• Produkt-Mitinhaberschaft
• Technik/Tools/Frameworks: proprietäre Software (Java, JavaScript), Kubernetes, Postgres, MinIO, Ollama (intern), mehrere xAI-APIs (extern), OpenTofu (Terraform), Keycloak, Kafka, Prometheus, ELK Stack, GitHub, GitHub Workflows, Argo CD, ISO 27001, BSI-ISM, EU AI Act

KI-gestützte Plattform für automatisierte UX-Validierung und Designer-Unterstützung

• Konzeption und technische Leitung einer unternehmensweiten KI-Lösung zur automatisierten UX-Überprüfung, die die Designqualität verbessert und manuelle Review-Prozesse in den Teams deutlich reduziert
• Entwicklung eines automatischen UX-Validierungstools als Figma-Plugin und Web-Anwendung, das auf Basis interner Richtlinien Testfälle generiert und aktuelle Designs zuverlässig auf Konsistenz und Standardkonformität prüft
• Umsetzung eines interaktiven Designer-Chats auf RAG-Basis, der Fragen zum aktuellen Design sowie zu den UX-Richtlinien des Unternehmens beantwortet sowie Konzeption der Deployment-Architektur auf Basis containerisierter Services
• Python, Azure OpenAI, PostgreSQL, REST API, Docker, OpenShift, Helm, CI/CD, Figma MCP, LLM, RAG, Prompt Engineering, GenAI, XAI, KI-Architektur, KI-Strategie

• Testen des SekIDP und verwandter Komponenten
• Testdesign, -durchführung und -automation, Microservices, GitHub Enterprise, Eclipse, Katalon Test Platform, API-Tests, Confluence 8, JIRA/Xray, Draw.io, Swagger/OpenAPI, Postman, Docker, Kubernetes, Podman, PuTTY, E-Health, Telematik, Gematik-Standards, ePA, E-Rezept, sektoraler IDP, Verschlüsselung, XaDES, PaDES, DICOM, HL7, FHIR, IHE, ICD, SSO, SAML/Shibboleth, OAuth, Smartcards, JWT, Zwei-Faktor-Authentifizierung auf Android und iOS, Wireshark, BrowserStack, Cypress, gRPC, REST, SOAP, WS-Security, Linux-Shell, PowerShell, SSH/SSL, Java, Kotlin, Cordova, Gradle, Groovy, Python, TypeScript