Talend Experten in Deutschland

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Leitung der strategischen Softwareentwicklung von Fusionsalgorithmen für präzises Objekt-Tracking, Trajektorienvorhersage und Umgebungsmodellierung auf Basis multimodaler Sensordaten (u. a. Kamera, LiDAR, Radar, GNSS, IMU)
• Entwicklung und Implementierung von Navigationsalgorithmen für autonome Fahrzeuge, einschließlich Pfadplanung, Hindernisvermeidung und Sensorfusion aus visuellen, inertialen und distanzbasierten Sensorquellen
• Automatisierung des Extraktions- und Trainingsprozesses mit CI/CD
• Entwicklung und Optimierung von Datenpipelines und -prozessen in Microsoft Azure mithilfe von Apache Spark, Databricks und PySpark
• Entwicklung und Optimierung von Embedded-Software für automotive Steuergeräte
• Entwicklung von latenzkritischer Software für Echtzeitsteuerungen in robotischen Systemen mit RTOS (freeRTOS, SAFERTOS)
• Verwendung der Vector-Toolchain (CANdela, Davinci, CANoe) für Konfiguration und Diagnose
• Optimierung bestehender Datenpipelines und -prozesse (ETL, Data Warehouse, SQL)
• Entwicklung und Training von Machine-Learning-Modellen mithilfe von PyTorch
• Entwicklung Deep-Learning-basierter Objekterkennungs- und VisualSLAM-Algorithmen, trainiert auf kombinierten Daten aus Kamera-, LiDAR- und IMU-Sensorik
• Implementierung von Computer-Vision-Algorithmen zur Objekterkennung und -klassifikation in Robotersystemen auf Basis von OpenCV und YOLO unter Nutzung synchronisierter Bild- und Tiefendaten
• Implementierung verhaltensbasierter Steuerungssysteme für autonome Roboter mittels ROS2 Behavior Trees
• Durchführung von Tests, Freigabe und Einführung der Sensorfusionsalgorithmen in die Produktionsprogramme der Automobilbranche
• Einhaltung geeigneter Softwareentwicklungsprozesse und Sicherheitsstandards zur Gewährleistung hoher Datenqualität (MISRA, ISO 26262, ASPICE)

• Entwurf und Überwachung der Implementierung, Tests und Rollouts von End-to-End-Prozessen und Systemintegrationen (Frontend & Backend)
• Integration mit OEMs (Daimler, BMW/MINI) und CPOs (Ionity und andere)
• Einführung von CPO-Rabattpaketen mit Lifecycle-Prozessen
• Umsetzung des Einwilligungsprozesses für AGB- und Tarif-Updates sowie Marketing-Opt-ins via SAP Emarsys
• Automatisierung der Sperr-/Entsperrprozesse für Kunden und Integration von MS Dynamics CRM sowie eines proprietären Third-Level-Tools
• Koordination der Migration und des Go-Live des neuen Flottenportals
• Migration des PSP von Datatrans zu Adyen (Kreditkarte, PayPal) und Integration von SEPA/BACS in Adyen via Webhooks
• Unterstützung und Weiterentwicklung der OpenInformer-Abrechnungs-Engine: Oracle → PostgreSQL-Migration, PostgreSQL-Upgrade, Regressionstest-Suite, Performance-Troubleshooting, Verlagerung der Rechnungen zu Azure Storage
• Identifikation und Analyse von Betrugsfällen sowie Umsetzung von Gegenmaßnahmen
• Bereitstellung von Problemmanagement, Incident-Support und Hypercare nach größeren Rollouts

• Entwicklung von ETL-Strecken mit Talend (7/ Enterprise)
• Entwicklung/Anpassung von Datenbankschemata und Datenbankfunktionen (PostgreSQL)
• Entwicklung von GIT-CI-Pipelines

Technologien: Talend Enterprise, Git, PostgreSQL, DBeaver, SQL, PL-SQL, Liquibase

• Migration von Kundendaten von einer Private Cloud zu AWS
• Optimierung von Daten-Transformations-Jobs und Migration von Talend zu AWS Glue
• Automatisierung aller Migrationsschritte
• Verwendete Technologien: AWS, Python, Lambda, CloudFormation, SQLServer, AWS Stepfunctions, Glue, PySpark

• Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Aufbau eines operativen Vertragsinformationssystems. Dieses wird vorrangig als Order-Management-System genutzt - zur Überführung bestehender Verträge als auch für die Erstellung und Bereitstellung neuer Vertragsbündel.

• Den Sales-Agents ist es dabei möglich, neue Services zu beauftragen, bestehende zu modifizieren und Service-Arten/Typen zu migrieren sowie Preisinformationen für den Kunden bereitzustellen.

• Damit wird insbesondere die Vermarktung neuer Service-Leistungen als auch Ablösung alter Leistungen bei Bestandskunden unterstützt.

• Ferner werden innerhalb des Systems Bestandsdaten importiert, verarbeitet (ETL) und über Services für die weitere Nutzung im Portal-Frontend bereitgestellt.

• Analyse der fachlichen und technischen Use Cases (Workflows, beteiligte Prozesse/Systeme, Kommunikationswege, Security-Anforderungen)

• Weiterentwicklung / Erstellung der Frontend-Komponenten (React/JavaScript)

• Entwurf und Implementierung der Business-Logik

• Erstellung der fachlichen und technischen Komponentendokumentation

• Testdurchführung / Testautomatisierung (Cypress, Testcoverage)

• Teamgröße: 8 Personen

• Technologien: React, JavaScript, Rest (JSon), Yaml, Markdown, MariaDB (SQL), Docker, Swagger, Cypress

• Tools: Webstorm, ReactDeveloperTools, VisualStudioCode, Word, DBeaver, Git/GitLab

• Arbeitsverwaltung: Gitlab

• Plattform: Linux

• Build-Management: Gitlab

• Automatisierung der Datenbank Major / Minor Releases des Projektes TKeasy

• Konzept zur Datenbank Major / Minor Release Automatisierung

• Istaufnahme

• Evaluierung der Redgate Flyway Funktionalitäten

• Konzepterstellung

• Produkte: Redgate Flyway, GitHub, Quest, Erwin Data Modeller, Oracle, Atlassian Jira, Atlassian Confluence

• Kenntnisse: Docker, Continuous Delivery, Continuous Integration, Redgate Flyway, Major Releases, Minor Releases

(Technologie)

• Design und Umsetzung eines SAP BTP CAP Microservices zur Konsolidierung von transaktionsbezogenen Prüfungen über Systeme hinweg zwischen SAP Sales Cloud (C4C) und On-Premise SAP CRM (05/2024– 06/2025)
• Bidirektionale Cloud-to-On-Premise-Integration zur Echtzeitprüfung des Kontakt-Lebenszyklus und offener Dokumentenabhängigkeiten vor Aktualisierungen von Datensätzen (05/2024– 06/2025)

Verantwortlichkeiten / Ergebnisse

• Entwicklung von kundenspezifischen CAP (Cloud Application Programming)-Services auf SAP BTP
• API-Design, Datenmapping und End-to-End-Integration über C4C (Cloud Runway) und Legacy-CRM (Traditional Runway)

• Analyse von Web- und Kampagnen-Performance zur Ableitung umsetzbarer Erkenntnisse für Marketing- und Wachstumsoptimierung
• Implementierung und Pflege von Tag-Management-Lösungen zur Sicherstellung einer zuverlässigen und konsistenten Datenerhebung
• Kontinuierliche Weiterentwicklung und Optimierung von Reporting-Strukturen mit Fokus auf Skalierbarkeit und Datenqualität
• Durchführung regelmäßiger Deep-Dive-Analysen sowie Leitung monatlicher Stakeholder-Sessions zur Präsentation von Ergebnissen und Abstimmung von Optimierungsmaßnahmen
• Konzeption und Betrieb von End-to-End-Datenflüssen von der Datenerhebung bis zur Visualisierung
• Tools: GA4, Google Tag Manager, Looker Studio, Airbyte, BigQuery

• Unterstützung bei der Einführung des CMS Pimcore sowie Support-Unterstützung und Partner-Management für die bestehende Anwendungslandschaft.
• Know how-Transfer zur bestehenden Anwendungslandschaft.
• Beratung von Stakeholdern zur Neuimplementierung.
• Unterstützung bei der Datenmodellierung für Pimcore.
• Konzepte und Begleitung Datenmigrationen von Salesforce nach Pimcore mittels ESB.
• Erzeugen von User Storys.
• 3rd Level Support für geschäftskritische Prozesse.
• Technologien: Salesforce Marketing-, Sales- und Service Cloud, Talend ESB, Pimcore Shopware, ERP-System Move, DB2, MySQL, MS Office, MS Visio, Jira, Confluence.

• Unterstützung des Projekts Internationaler Webauftritt der BA (IntWeb) im Bereich Qualitätsmanagement mit dem Ziel die Verantwortung für die Qualität der Prozesse und Projektergebnisse unter Berücksichtigung der BA-Standards zu übernehmen. Kernziele des Projekts lauten: den Fachkräften im Ausland einen schnellen Überblick über ihre Chancen für den Weg nach Deutschland zu geben und sie durch den Zugang zu Dienstleistungen in die Lage zu versetzen, die dafür notwendigen Schritte konsequent & digital unterstützt gehen zu können.

• Vorgaben der grundsätzlichen Richtlinien mit dem QS-Handbuch

• Zusammenfassen der Prüfergebnisse in QS-Berichten für PLA

• Analyse der Projektergebnisse auf Verbesserungsmöglichkeiten

• Qualitätsmanagement der Anforderungsanalyse (insbesondere Prozesse, Methoden und Werkzeuge)

• Sicherstellung der Einhaltung der SERA-Vorgaben

• Erstellung eines Projektübergreifenden Testkonzepts

• Vereinbarung von Sprintabschlussberichte

• Formales Review von Arbeitsergebnissen gemäß Vorgaben und/oder Projektplan

• Ansprechpartner für Innenrevision, externe Audits durch Wirtschaftsprüfer oder BRH (Bundesrechnungshof)

• Technologien: JIRA, Confluence, MS Office, GitLab, Kubernetes