Apache Spark Spezialisten in Frankfurt

• Unterstützung des Projekts Internationaler Webauftritt der BA (IntWeb) im Bereich Qualitätsmanagement mit dem Ziel die Verantwortung für die Qualität der Prozesse und Projektergebnisse unter Berücksichtigung der BA-Standards zu übernehmen. Kernziele des Projekts lauten: den Fachkräften im Ausland einen schnellen Überblick über ihre Chancen für den Weg nach Deutschland zu geben und sie durch den Zugang zu Dienstleistungen in die Lage zu versetzen, die dafür notwendigen Schritte konsequent & digital unterstützt gehen zu können.

• Vorgaben der grundsätzlichen Richtlinien mit dem QS-Handbuch

• Zusammenfassen der Prüfergebnisse in QS-Berichten für PLA

• Analyse der Projektergebnisse auf Verbesserungsmöglichkeiten

• Qualitätsmanagement der Anforderungsanalyse (insbesondere Prozesse, Methoden und Werkzeuge)

• Sicherstellung der Einhaltung der SERA-Vorgaben

• Erstellung eines Projektübergreifenden Testkonzepts

• Vereinbarung von Sprintabschlussberichte

• Formales Review von Arbeitsergebnissen gemäß Vorgaben und/oder Projektplan

• Ansprechpartner für Innenrevision, externe Audits durch Wirtschaftsprüfer oder BRH (Bundesrechnungshof)

• Technologien: JIRA, Confluence, MS Office, GitLab, Kubernetes

• Leitung der Discovery-Phase und des POC für die Migration von Shopware zu Shopify Plus in den EMEA-Märkten, einschließlich Bewertung der Plattformtauglichkeit, der technischen Architektur sowie der Multi-Brand- und Multi-Country-Funktionen anhand der Geschäftsanforderungen.
• Entwicklung einer Referenzarchitektur für die Shopify-Plus-Implementierung mit Headless-Frontend-Patterns (Vue.js, Nuxt.js), CMS-Integration (Magnolia) und Azure-Middleware (APIM, Functions, Logic Apps, Service Bus) für 11 EMEA-Märkte.
• Definition der Migrationsstrategie durch Analyse des Datenmappings, des Cutover-Ansatzes und von Deployment-Patterns ohne Ausfallzeit mit Varnish-Caching, GitOps-Pipelines und CI/CD-Orchestrierung über sechs Anbieter-Teams hinweg.
• Entwicklung eines Multi-Tenant-Governance-Modells für Shopify Plus mit zentraler Administration, lokaler Anpassung der Storefronts und Compliance-Kontrollen (GDPR, Datenresidenz).
• Entwicklung eines Prototyps für KI-gestützte Suchoptimierung (LLM.txt, JSON-LD), um die Auffindbarkeit von Produkten in Google-AI-Ergebnissen zu verbessern und Chancen für die Performance nach dem Launch aufzuzeigen.
• Definition der EMEA-Expansions-Roadmap für 15+ Märkte durch strategische Workshops mit dem C-Level, einschließlich Identifikation des schrittweisen Rollouts, marktspezifischer Konfigurationen und des Ressourcenbedarfs.
• Tech Stack: React, Nuxt.js, Vue.js, Magnolia CMS, Shopware, Shopify Plus, Azure (APIM, Functions, Logic Apps, Service Bus, Front Door), Varnish, SAP, MS Dynamics, Docker, Kubernetes, GitHub Actions, PostgreSQL, Kafka

Eigenverantwortlicher Aufbau einer Datenplattform mit systemübergreifendem Prozessmonitoring.

• Konzeption der Bronze/Silver/Gold-Architektur und Python-basierte Pipelines für heterogene operative Quellen.
• Bereinigung, Harmonisierung und Validierung der Daten; Verarbeitung und Ablage im Parquet-Format.
• Historisierung von Datenständen und Aufbau fachlicher Fakten- und Dimensionsmodelle für nachvollziehbare Auswertungen.
• Automatisierte Datenbereitstellung mit Python und Power Automate (Desktop und Cloud); SharePoint für Archivierung und Datenzugriff.
• Entwicklung der Power-BI-Lösung von der Datenaufbereitung bis zur Visualisierung von Prozesszuständen, Bearbeitungsständen und Abweichungen.

Technologien: Python, SQL, Parquet, Power BI, Power Query, Power Automate, SharePoint, Copilot

Statistischer Prognosealgorithmus

• Verbesserung eines statistischen probabilistischen Prognosealgorithmus für Umsätze + Evaluierung
• Migration von R/On-Premise zu Python/Snowflake
• Überführung in den Produktivbetrieb auf Snowflake in Zusammenarbeit mit Data Engineers & DevOps

Monitoring-Dashboard

• Data Engineering zur Aufbereitung & Bereitstellung notwendiger Daten/Ressourcen auf Snowflake
• Entwicklung & Bereitstellung eines Streamlit-Dashboards in Snowflake

ML-basierte probabilistische Prognosen auf Vertex AI

• Entwicklung eines ML-basierten probabilistischen Prognosealgorithmus von Grund auf
• Implementierung einer MLOps-Pipeline in Kubeflow auf Google Cloud Vertex AI

Tech Stack: Python, Snowflake/Snowpark, R, Streamlit, Gitlab/Gitlab CICD, Terraform, Google Cloud, Vertex AI (aiplatform SDK, gcloud CLI, Feature Store, Model Registry usw.), kubeflow

• Leitete die Konzeption, Entwicklung und Bereitstellung von Datenlösungen zur Unterstützung einer großen Pharmaübernahme für Takeda Pharmaceutical Company und lieferte Systeme für Transparenzberichte auf Azure,Databricks (Python and Shell Scripting)-Plattformen.
• Verantwortete die Konzeption und Entwicklung skalierbarer ELT-Pipelines zur Verarbeitung von Kunden- und Produktdaten mit Azure, komplexem SQL, Databricks und Shell scripting und ermöglichte eine effiziente Datenintegration und -verarbeitung aus mehreren Quellen einschließlich Orchestrierung von Jobs und Workflow-Automatisierung.
• Implementierte Techniken zur Performance-Optimierung (Abfrageoptimierung, Parallelisierung, Workload-Optimierung) und verbesserte dadurch die Systemeffizienz und Verarbeitungszeit.
• Setzte ausgeprägte analytische Fähigkeiten und Problemlösungskompetenz ein, um technische Lösungen zu bewerten und Geschäftsanforderungen für Compliance- und Transparenzberichte zu unterstützen.
• Entwickelte skalierbare Datengrundlagen für nachgelagerte Analysen und KI-Workloads.
• Leitete Initiativen zur Datenqualität, indem Daten aus mehreren Quellen bewertet, Qualitätsmetriken definiert und Prozesse für Überwachung und kontinuierliche Verbesserung etabliert wurden.

• Vortrag zur Einführung in generische K.I. und Large Language Models
• Erläuterung rechtlicher Rahmenbedingungen (EU AI Act, US CLOUD Act, DSGVO)
• Systematische Betrachtung von KI-Tools entlang des SDLC und Holistische Systeme
• Vergleich On-Prem LLMs vs. cloudbasiert sowie Change-Management und Betriebsrat
• Moderation der Diskussion und Ableitung nächster Schritte für die Einführung von KI Entwicklungstools

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

KI-gestützte Plattform für automatisierte UX-Validierung und Designer-Unterstützung

• Konzeption und technische Leitung einer unternehmensweiten KI-Lösung zur automatisierten UX-Überprüfung, die die Designqualität verbessert und manuelle Review-Prozesse in den Teams deutlich reduziert
• Entwicklung eines automatischen UX-Validierungstools als Figma-Plugin und Web-Anwendung, das auf Basis interner Richtlinien Testfälle generiert und aktuelle Designs zuverlässig auf Konsistenz und Standardkonformität prüft
• Umsetzung eines interaktiven Designer-Chats auf RAG-Basis, der Fragen zum aktuellen Design sowie zu den UX-Richtlinien des Unternehmens beantwortet sowie Konzeption der Deployment-Architektur auf Basis containerisierter Services
• Python, Azure OpenAI, PostgreSQL, REST API, Docker, OpenShift, Helm, CI/CD, Figma MCP, LLM, RAG, Prompt Engineering, GenAI, XAI, KI-Architektur, KI-Strategie

• Entwurf und Umsetzung der agentischen KI-Architektur für eine unternehmensweite Plattform zur sicheren Bereitstellung von LLM-basierten Agenten
• Design und Implementierung von End-to-End RAG-Pipelines aus multiplen Quellen: Dokumentenaufbereitung, Chunking-Strategien für heterogene Dokumenttypen, Embedding, Retrieval mit Re-Ranking und robuste Prompt-Orchestrierung
• Modulares Context-Engineering-Framework mit Skill-Architektur, Kontext-Isolation und dynamischer Ressourcenverwaltung; Human-in-the-Loop-Kontrolle für Enterprise-Tool-Integrationen
• Aufbau der CI/CD-Pipeline, Test-Strategie, Tracing sowohl auf Software-Seite als auch automatisierte LLM- und Agenten-Evaluierungen, Red Team Testing und Tracing sowie Übergabe in reproduzierbaren Betrieb (ISO27001 und SOC2 konform)

• Power-BI-Dashboards erstellt und datenbasierte Strategien auf digitalen Plattformen ermöglicht

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Entwicklung einer zentralen Abrechnungs-App für Cloud-Kosten bei der DB
• AWS
• Python
• AWS CDK
• RDS
• Spark (PySpark)
• Glue
• Lambda
• CI/CD (GitLab)
• React/Typescript
• Datenoptimierung
• Scrum