Apache Spark Experten in Frankfurt

• Leitete die Discovery-Phase und den POC für die Migration von Shopware zu Shopify Plus in EMEA-Märkten und bewertete die Eignung der Plattform, die technische Architektur sowie Multi-Brand-/Multi-Country-Funktionen anhand der Business-Anforderungen.
• Entwarf die Referenzarchitektur für die Shopify-Plus-Implementierung mit Headless-Frontend-Patterns (Vue.js, Nuxt.js), CMS-Integration (Magnolia) und Azure-Middleware (APIM, Functions, Logic Apps, Service Bus) für 11 EMEA-Märkte.
• Definierte die Migrationsstrategie mit Analyse von Data Mapping, Cutover-Ansatz und Zero-Downtime-Deployment-Patterns unter Einsatz von Varnish-Cache, GitOps-Pipelines und CI/CD-Orchestrierung über sechs Vendor-Teams hinweg.
• Entwickelte ein Multi-Tenant-Governance-Modell für Shopify Plus mit zentraler Administration, lokaler Storefront-Anpassung und Compliance-Kontrollen (GDPR, Datenresidenz).
• Prototypte KI-gestützte Suchoptimierung (LLM.txt, JSON-LD) für die Auffindbarkeit von Produkten in Google-AI-Ergebnissen und zeigte damit Potenziale für die Performance nach dem Go-live auf.
• Definierte mit C-Level-Strategie-Workshops die EMEA-Expansions-Roadmap für 15+ Märkte, einschließlich gestaffeltem Rollout, marktspezifischen Konfigurationen und Ressourcenbedarf.
• Tech Stack: React, Nuxt.js, Vue.js, Magnolia CMS, Shopware, Shopify Plus, Azure (APIM, Functions, Logic Apps, Service Bus, Front Door), Varnish, SAP, MS Dynamics, Docker, Kubernetes, GitHub Actions, PostgreSQL, Kafka

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Unterstützung des Projekts Internationaler Webauftritt der BA (IntWeb) im Bereich Qualitätsmanagement mit dem Ziel die Verantwortung für die Qualität der Prozesse und Projektergebnisse unter Berücksichtigung der BA-Standards zu übernehmen. Kernziele des Projekts lauten: den Fachkräften im Ausland einen schnellen Überblick über ihre Chancen für den Weg nach Deutschland zu geben und sie durch den Zugang zu Dienstleistungen in die Lage zu versetzen, die dafür notwendigen Schritte konsequent & digital unterstützt gehen zu können.

• Vorgaben der grundsätzlichen Richtlinien mit dem QS-Handbuch

• Zusammenfassen der Prüfergebnisse in QS-Berichten für PLA

• Analyse der Projektergebnisse auf Verbesserungsmöglichkeiten

• Qualitätsmanagement der Anforderungsanalyse (insbesondere Prozesse, Methoden und Werkzeuge)

• Sicherstellung der Einhaltung der SERA-Vorgaben

• Erstellung eines Projektübergreifenden Testkonzepts

• Vereinbarung von Sprintabschlussberichte

• Formales Review von Arbeitsergebnissen gemäß Vorgaben und/oder Projektplan

• Ansprechpartner für Innenrevision, externe Audits durch Wirtschaftsprüfer oder BRH (Bundesrechnungshof)

• Technologien: JIRA, Confluence, MS Office, GitLab, Kubernetes

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Vortrag zur Einführung in generische K.I. und Large Language Models
• Erläuterung rechtlicher Rahmenbedingungen (EU AI Act, US CLOUD Act, DSGVO)
• Systematische Betrachtung von KI-Tools entlang des SDLC und Holistische Systeme
• Vergleich On-Prem LLMs vs. cloudbasiert sowie Change-Management und Betriebsrat
• Moderation der Diskussion und Ableitung nächster Schritte für die Einführung von KI Entwicklungstools

• Entwicklung einer zentralen Abrechnungs-App für Cloud-Kosten bei der DB
• AWS
• Python
• AWS CDK
• RDS
• Spark (PySpark)
• Glue
• Lambda
• CI/CD (GitLab)
• React/Typescript
• Datenoptimierung
• Scrum

• Leitung eines internationalen sechsköpfigen Entwickler-Teams im Scrum-Umfeld
• Festlegung der strategischen Ziele für das Projekt in Abstimmung mit den Stakeholdern und dem Entwicklungsteam
• Prompt Engineering für Sprachmodelle zur Verbesserung der Genauigkeit und Relevanz der generierten Antworten
• Implementierung von LangChain Komponenten eines RAG Chatbots zur Beantwortung rechtlicher Fragen
• Technologien: GPT-4, LangChain, Python (Pandas, sklearn, streamlit), Docker, GitLab, ChromaDB

• Konzeption, Architektur & Entwicklung/Programmierung der ETL/ELT-Datenpipelines, DWH und BI-Lösung
• Technische Projektleitung, POC – Erstellung eines Proof of Concept
• Vermittlung zwischen Fachbereichen und technischen Teams
• Azure DevOps Boards & Jira
• Datenmodellierung & Data Engineering – Data Warehouse & Data Mart
• Azure (Data Factory, Azure SQL, Azure DevOps CI/CD, Azure Data Lake V2, Business Central REST API, OData API, OAuth2-Token)
• SharePoint-Liste & API für ADF, Firebird DB, Postgres DB, DB2
• Power BI (Power Query), DAX, Excel-PBI-Add-on, GIS-Daten
• Automatisiertes Monitoring/Logging von ETL-Prozessen, Performance-Monitoring, Fehler-Monitoring – Erkennung und Behebung
• Index-Performance-Tuning & Statistik-Monitoring, Transact-SQL
• Datensicherheit – MFA – Multifaktor-Authentifizierung & OAuth2, MS Graph, Azure-Netzwerke & Firewalls, Gateways, Rollen, Benutzergruppen – mit Lese- und Schreibberechtigungen
• Quellen – Vario Bill, Camunda, Radius, Geo-Datenbank, OTRS, PAST, MS Dynamics Business Central, Azure Blob Data Lake, SharePoint-Liste