Apache Hive Experten in Deutschland

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Deployment und Skalierung bestehender ML-Initiativen, unter anderem für Demand- und Cashflow-Prognosen.
• Aufbau eines belastbaren Monitorings mit MLflow für Datenstabilität, Modellperformance und Drift-Erkennung sowie Umsetzung zusätzlicher ML-Use-Cases.
• Weiterentwicklung eines Agentic-AI-Chatbots zur transparenten und verständlichen Modellerklärung.

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

Großes Versicherungsunternehmen – Consultant Wiesbaden: Beratungsunterstützung bei der Einführung eines integrierten Planungs- und Performance-Management-Frameworks (operativ, finanziell, Kunde) zur Verbesserung der kundenzentrierten Transparenz, der Entscheidungsqualität und der Steuerungsfähigkeit über alle Geschäftsbereiche innerhalb eines Versicherungsunternehmens:

• Analyse bestehender Prozesse, Reports, KPIs und Methoden zur KPI-Berechnung
• Konzeption und Einführung neuer, standardisierter Kunden-KPIs (brutto/netto) sowie zentraler Steuerungskennzahlen mit konsistenter Verknüpfung über alle Geschäftsbereiche hinweg
• Neuberechnung, Validierung und Plausibilitätsprüfungen von KPIs auf Basis bestehender und neu integrierter Datenquellen
• Konzeptionelle Unterstützung beim Aufbau eines integrierten Reporting- und Performance-Management-Setups
• Durchführung von Customer-Insights-Analysen zur Identifikation von Mustern und Auffälligkeiten in Kunden-Datenclustern

Großes Handelsunternehmen – Consultant in Karlsruhe: Beratungsleistungen für den Aufbau und die schrittweise Implementierung einer international einsetzbaren RELEX-Lösung im Umfeld des Supply-Chain-Managements:

• Beratung der Gesamt- und Teilprojektleitung bei Methodik, Projektaufsetzung und Steuerung (z. B. agiler Ansatz, Jira-Konfiguration, RELEX-Phasen, Jira Structure PPM)
• Strategisch-operative Beratung bei der Einführung von RELEX einschließlich Best Practices
• Unterstützung bei der Definition übergeordneter Ziele und Anforderungen (2-Jahres-Zielbild)
• Begleitung bei der Eingrenzung eines relevanten Supply-Chain-Netzwerksegments für das Projekt
• Entwicklung einer Roadmap für den iterativen, inkrementellen RELEX-Aufbau und Rollout
• Bewertung von Projektabhängigkeiten (Schnittstellen, Konfigurationen etc.)
• Beratung zur priorisierten Umsetzung von fachlichen Anforderungen und Datenschnittstellen
• Unterstützung bei der Testplanung (Datenvalidierung, Systemtest, UAT)
• Beratung zu Internationalisierung, Change Management, Training und Wissenstransfer
• Stakeholder-Beratung und Abstimmung zwischen Kunde, Implementierungspartner und RELEX

Versicherungsunternehmen – Management Consultant in München: Analyse, Beratung und Unterstützung bei der Optimierung einer groß angelegten Business- und IT-Transformation. Fokus auf strategisch wichtige Programme und Modernisierungsprojekte im Bereich Managed Services Operations und Prozesse:

• Prüfung von Projektplänen und Deliverables; Analyse von Programmen und Projekten (z. B. Cloud-Ansatz, Prozessstandardisierung, Systemintegration, Roadmaps)
• Identifikation technischer, fachlicher und personeller Risiken und Herausforderungen; Entwicklung inhaltlicher Maßnahmen und Alternativen
• Vorschläge zur Qualitätsverbesserung für Programm- und Modernisierungsmaßnahmen
• Sparringspartner sowie fachliche, technische, strukturelle und organisatorische Beratung für Projekt- und Programmmanagement

Großer Handelskonzern – Management Consultant & Stream Lead in Köln: Beratung, Prozess-, Projekt- und Produktmanagement für die Einführung und Umsetzung eines großen strategischen Programms im Bereich Advanced Analytics, Sortiment und Flächenmanagement:

• Aufbau, Test und Rollout eines neuen Flächenplanungs-, Automatisierungs- und Optimierungsprodukts auf Basis des bestehenden clusterbasierten Merchandising-Ansatzes
• Definition und Aufbau neuer Prozesse sowie Transformations- und Change-Management-Maßnahmen für den neuen filialspezifischen Merchandising-Ansatz
• Zusammenarbeit mit Advanced Analytics und IT (intern und extern) bei Softwareeinführungen, Automatisierungen, Erweiterungen und Schnittstellen
• MVP-Ansatz und Pilotierung in Phasen mit schrittweisem Rollout (Pilot mit 80 Filialen, Region mit 500 Filialen, nationale Ebene mit 4000 Filialen)

Großes Handelsunternehmen – Agile Coach & Change Agent in Köln: Agile Coach, OKR Master und Facilitator für die Einführung des OKR-Ansatzes in einem großen strategischen Digitalisierungsprogramm für Einzelhandelsfilialen:

• Coaching des Kernteams mit Themenverantwortlichen und Teamleitern
• Einführung in das OKR-Thema und Aufbau des OKR-Zyklus
• Etablierung des OKR-Ansatzes in den Teams und auf bereichsübergreifender Ebene

Dienstleistungs- und Logistikunternehmen – Management Consultant in Großbritannien: Beratung und Coaching bei der Umstrukturierung der Data-Analytics-Abteilung:

• Analyse der aktuellen Herausforderungen
• Definition übergeordneter Ziele
• Entwicklung eines Vorschlags für eine neue Teamstruktur
• Identifikation benötigter Kompetenzen, Fähigkeiten und Verantwortlichkeiten
• Beratung und Abstimmung zur Kommunikations- und Change-Management-Strategie

• Migration von Kundendaten von einer Private Cloud zu AWS
• Optimierung von Daten-Transformations-Jobs und Migration von Talend zu AWS Glue
• Automatisierung aller Migrationsschritte
• Verwendete Technologien: AWS, Python, Lambda, CloudFormation, SQLServer, AWS Stepfunctions, Glue, PySpark

• Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Scrum Master SAFe für zwei Umsetzungsteams im Bereich Zahlungsverkehr
• Erfolgreiche Vorbereitung der Teams auf das PI Plannings
• Moderation von Events und Synchronisation über Teamgrenzen hinweg
• Frühzeitige Erkennung von Risiken und Hindernissen und deren Behebung
• Strukturierte Durchführung der Scrum Events unter Verwendung von Jira Dashboard/Scrum und Kanbanboard
• Coaching und Unterstützung des Product Owner im Refinement, Aufbau von Objectives und Führung des Produktbacklogs
• Operationalisierung der DevOps-Integration der Betriebsmitarbeiter in crossfunktionale Teams
• Einführung eines compliance-konformen Rollen- und Berechtigungsmodells zur Erfüllung regulatorischer Anforderungen
• Zusammenarbeit mit IAM und Fachbereichen
• Durchführung aller Scrum Events, kontinuierliche Prozessverbesserung und Bearbeitung von Impediments

• Implementierung von Analytics- und Automatisierungslösungen für die Business Unit Anti Financial Crime
• Bereitstellung der Infrastruktur, inklusive wiederverwendbarer Datenmodelle und Feature-Ingestion für produktive ML- und regelbasierte Modelle in den Bereichen Account Take-Over und Kartenbetrugserkennung sowie Customer Risk Assessment
• Verwendete Tools: Snowflake, dbt, Looker, AWS, Python, Airflow, Metaflow

• Führung der Cloud- und Data-Engineering-Organisation und Festlegung der Architekturstrategie für Next-Generation-Datenplattformen
• Entwurf und Bereitstellung eines Datenmanagementsystems für Fahrzeugflotten mit skalierbaren Ingestion-Pipelines, Signal-Katalogverwaltung und Kampagnen-Workflows
• Aufbau cloud-nativer Microservices und Streaming-Architekturen zur Verarbeitung von Echtzeit-Fahrzeugdaten und KI-gestützter Bedrohungserkennung
• Etablierung von Engineering-Standards für Datenqualität, Sicherheit, Data Lineage und Governance in Übereinstimmung mit ISO/SAE 21434 und DSGVO
• Leitung von Engineering-Teams in den Bereichen Daten, Backend, Cloud und KI zur Sicherstellung einer gleichbleibenden Bereitstellung hochwertiger, produktionsreifer Lösungen

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• In einem Automotive-Umfeld die Agile-Adoption in 3 Teams gefördert und die Sprintgeschwindigkeit um 25% gesteigert
• Backlog, Burndown-Charts und Sprintplanung für über 40 User Stories verwaltet
• Risikoanalysen durchgeführt und Gegenmaßnahmen umgesetzt, wodurch Projektverzögerungen um 30% reduziert wurden
• Retrospektiven und Demos geleitet und die Stakeholder-Zufriedenheit um 15% erhöht

• Konzeptionierung und Entwicklung der "Credit Risk Engine" mit Camunda, Node.js und TypeScript
• Greenfield-Projekt zur Kreditkarten-Bonitätsberechnung von Bestands- und Neukunden, inklusive EBA KPIs, SCHUFA und CRIF Scorings
• Aufbau und Modellierung von Workflows (BPMN) und Entscheidungslogiken (DMN) mit Camunda Modeler in enger Zusammenarbeit mit den Stakeholdern
• Implementierung von Service Tasks, User Tasks und Jobs mit Nest.js, Node.js und TypeScript, inklusive Exception Handling
• Backend For Frontend (BFF), Frontend mit React, Tailwind und Antd UI Library
• CI/CD mit Gitlab, Kubernetes/Rancher

• Entwicklung der Teststrategie: Gestaltung und Implementierung einer umfassenden Teststrategie für digitale Bahn-Schiene-Projekte.
• Definition von Testansätzen: Festlegung und Dokumentation methodischer Testansätze, um die Testabdeckung und Effizienz zu maximieren.
• Teammanagement: Verteilung der Rollen und Zuständigkeiten innerhalb des Testteams, um eine effektive und zielgerichtete Testdurchführung zu gewährleisten.
• Festlegung von Testprinzipien zur Sicherstellung der Testintegrität und -qualität.
• Integration und Systemtests basierend auf spezifischen Spezifikationen und Normen.
• Infrastrukturentwicklung für automatisierte Testumgebungen, einschließlich der Testsysteme und Prüfmuster.
• Testing von Yemba Ereigniserkennungsalgorithmen in einem Fahrzeugdatenlogger unter Verwendung von generativer Künstlicher Intelligenz.
• Testfallentwicklung sowohl für interne Zwecke als auch für kooperative Firmen (Gerätehersteller).
• Performance- und Lasttests zur Sicherstellung der Systemstabilität und -skalierbarkeit.
• Sicherstellung der Konformität mit relevanten Normen wie Cenelec, EN50126 und EN5012