pandas Experten in Frankfurt

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

Eigenverantwortlicher Aufbau einer Datenplattform mit systemübergreifendem Prozessmonitoring.

• Konzeption der Bronze/Silver/Gold-Architektur und Python-basierte Pipelines für heterogene operative Quellen.
• Bereinigung, Harmonisierung und Validierung der Daten; Verarbeitung und Ablage im Parquet-Format.
• Historisierung von Datenständen und Aufbau fachlicher Fakten- und Dimensionsmodelle für nachvollziehbare Auswertungen.
• Automatisierte Datenbereitstellung mit Python und Power Automate (Desktop und Cloud); SharePoint für Archivierung und Datenzugriff.
• Entwicklung der Power-BI-Lösung von der Datenaufbereitung bis zur Visualisierung von Prozesszuständen, Bearbeitungsständen und Abweichungen.

Technologien: Python, SQL, Parquet, Power BI, Power Query, Power Automate, SharePoint, Copilot

• Analyse der bestehenden Reporting-Plattform inklusive Prozesse und Governance-Themen mit Stakeholdern aus Vertrieb und Marketing.

• Detaillierte Analyse und Bewertung der kundenseitig definierten Anforderungen an bestehendes Reporting sowie neu aufzusetzende Dashboards.

• Unterstützung der Stakeholder bei der Steuerung der Vertriebsprozesse und frühzeitigen Erkennung von KPI-Entwicklungen.

• Nutzung von Microsoft Power BI als zentrale Analyse- und Reporting-Plattform.

• Erarbeitung eines Vorschlags zur notwendigen Weiterentwicklung der Prozesse sowie der Power-BI-Plattform.

• Aufnahme der IST-Geschäftsprozesse und Ableitung unternehmensweiter KPIs inklusive Abstimmung mit Stakeholdern.

• Analyse und Bestandsaufnahme der Power-BI-Plattform des Kunden.

• Analyse von Prozessen und Data-Governance.

• Aufnahme und Dokumentation der IST-Geschäftsprozesse.

• Erarbeitung von Empfehlungen zur Weiterentwicklung von Prozessen und Reporting-Plattform.

• Konzeption und Umsetzung von Dashboards in Power BI.

• Erarbeitung unternehmensweiter KPIs und Abstimmung mit Stakeholdern.

• Microsoft Power BI.

• Data-Analytics.

• KPI-Definition und Reporting.

• Dashboard-Konzeption und Datenvisualisierung.

• Stakeholder-Management und Anforderungsmanagement.

Statistischer Prognosealgorithmus

• Verbesserung eines statistischen probabilistischen Prognosealgorithmus für Umsätze + Evaluierung
• Migration von R/On-Premise zu Python/Snowflake
• Überführung in den Produktivbetrieb auf Snowflake in Zusammenarbeit mit Data Engineers & DevOps

Monitoring-Dashboard

• Data Engineering zur Aufbereitung & Bereitstellung notwendiger Daten/Ressourcen auf Snowflake
• Entwicklung & Bereitstellung eines Streamlit-Dashboards in Snowflake

ML-basierte probabilistische Prognosen auf Vertex AI

• Entwicklung eines ML-basierten probabilistischen Prognosealgorithmus von Grund auf
• Implementierung einer MLOps-Pipeline in Kubeflow auf Google Cloud Vertex AI

Tech Stack: Python, Snowflake/Snowpark, R, Streamlit, Gitlab/Gitlab CICD, Terraform, Google Cloud, Vertex AI (aiplatform SDK, gcloud CLI, Feature Store, Model Registry usw.), kubeflow

• Porsche ID ist eine einheitliche digitale Identitätsplattform, die sichere Authentifizierung und nahtlosen Zugriff auf Porsches Online-Dienste, mobile Apps und vernetzte Fahrzeugfunktionen bietet
• Entwarf und implementierte neue Authentifizierungs- und Autorisierungsfunktionen für Benutzer und Systeme
• Stellte hohe Verfügbarkeit, Sicherheit und Performance sicher, um Porsche-Kunden eine einwandfreie digitale Erfahrung zu bieten
• Technologien: Auth0, Angular, Tailwind, AWS, Terraform, GitHub
• Methoden: Scrum und SAFe

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Datenextrakte aus Oracle-Datenbanken konfiguriert und automatisiert, wodurch in einem kritischen Migrationsprojekt eine Datenqualität von 100 % erreicht wurde, manuelle Fehler deutlich reduziert und der Migrationszeitplan beschleunigt wurde.

• Schnittstellen mit Order Management Systems (OMS) entworfen und implementiert, was einen reibungslosen und automatisierten Datenaustausch ermöglichte und die operative Effizienz durch schnellere, fehlerfreie Auftragsverarbeitung über Geschäftseinheiten hinweg verbesserte.

• Datenextraktions-Workflows entwickelt und eingeführt, um regulatorische Anforderungen und Kundenreporting zu unterstützen, wodurch die fristgerechte Lieferung wichtiger Reports sichergestellt, manueller Aufwand reduziert und die Kundenzufriedenheit erhöht wurde.

KI-gestützte Plattform für automatisierte UX-Validierung und Designer-Unterstützung

• Konzeption und technische Leitung einer unternehmensweiten KI-Lösung zur automatisierten UX-Überprüfung, die die Designqualität verbessert und manuelle Review-Prozesse in den Teams deutlich reduziert
• Entwicklung eines automatischen UX-Validierungstools als Figma-Plugin und Web-Anwendung, das auf Basis interner Richtlinien Testfälle generiert und aktuelle Designs zuverlässig auf Konsistenz und Standardkonformität prüft
• Umsetzung eines interaktiven Designer-Chats auf RAG-Basis, der Fragen zum aktuellen Design sowie zu den UX-Richtlinien des Unternehmens beantwortet sowie Konzeption der Deployment-Architektur auf Basis containerisierter Services
• Python, Azure OpenAI, PostgreSQL, REST API, Docker, OpenShift, Helm, CI/CD, Figma MCP, LLM, RAG, Prompt Engineering, GenAI, XAI, KI-Architektur, KI-Strategie

• Power-BI-Dashboards erstellt und datenbasierte Strategien auf digitalen Plattformen ermöglicht

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Job-Simulation abgeschlossen, bei der Web-Aktivitätsprotokolle gelesen wurden.
• Unterstützte einen Kunden bei einem Cyber-Sicherheitsvorfall.
• Beantwortete Fragen, um verdächtige Nutzeraktivitäten zu identifizieren.

• Entwicklung einer zentralen Abrechnungs-App für Cloud-Kosten bei der DB
• AWS
• Python
• AWS CDK
• RDS
• Spark (PySpark)
• Glue
• Lambda
• CI/CD (GitLab)
• React/Typescript
• Datenoptimierung
• Scrum

• Analyse von Systemanforderungen und Mapping-Konzepten (ETL-Anforderungen) für Datenströme und Datentransformationslogiken im DWH der Bank
• Analyse von Daten in DB-Tabellen und -Views des DWH mittels SQL (DB2)
• Eigenständige Definition, Anlage und Ausführung von Testfällen in JIRA Xray (SIT)
• Schreiben von SQL-Abfragen in DB2 zur Verifizierung von Datenkonstellationen und Mappings
• Erstellung von Testkonzepten für SAP FSDP und parallellaufende Projekte
• Durchführung von Fehler- und Ursachenanalysen in Abstimmung mit Business-Analysten, Entwicklern, Test Managern und Infrastruktur-Team
• Ausführliche Dokumentation von Testergebnissen in JIRA Xray
• Koordination zwischen Business Analyse, Entwicklung, DB-Infrastruktur, Fachbereichen und externen Dienstleistern

• Praxisorientiertes Coaching zu Kernaspekten der Data Science
• Vermittlung fortgeschrittener Konzepte in Python sowie Automatisierung (mit Make und n8n) und ETL-Prozesse mit Apache Airflow
• Wöchentliche Vorbereitung und Durchführung von praxisorientierten Kursen zur Programmierung anhand realer Beispiele
• Förderung praktischer Programmierkenntnisse bei Teilnehmenden durch interaktive Übungen und individuelle Betreuung
• Entwicklung didaktischer Materialien und Anpassung der Inhalte an den Kenntnisstand der Teilnehmer
• Enge Zusammenarbeit mit dem Team zur kontinuierlichen Verbesserung der Kursqualität und Lernerfolge