Apache Hive Experten in München

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

Großes Versicherungsunternehmen – Consultant Wiesbaden: Beratungsunterstützung bei der Einführung eines integrierten Planungs- und Performance-Management-Frameworks (operativ, finanziell, Kunde) zur Verbesserung der kundenzentrierten Transparenz, der Entscheidungsqualität und der Steuerungsfähigkeit über alle Geschäftsbereiche innerhalb eines Versicherungsunternehmens:

• Analyse bestehender Prozesse, Reports, KPIs und Methoden zur KPI-Berechnung
• Konzeption und Einführung neuer, standardisierter Kunden-KPIs (brutto/netto) sowie zentraler Steuerungskennzahlen mit konsistenter Verknüpfung über alle Geschäftsbereiche hinweg
• Neuberechnung, Validierung und Plausibilitätsprüfungen von KPIs auf Basis bestehender und neu integrierter Datenquellen
• Konzeptionelle Unterstützung beim Aufbau eines integrierten Reporting- und Performance-Management-Setups
• Durchführung von Customer-Insights-Analysen zur Identifikation von Mustern und Auffälligkeiten in Kunden-Datenclustern

Großes Handelsunternehmen – Consultant in Karlsruhe: Beratungsleistungen für den Aufbau und die schrittweise Implementierung einer international einsetzbaren RELEX-Lösung im Umfeld des Supply-Chain-Managements:

• Beratung der Gesamt- und Teilprojektleitung bei Methodik, Projektaufsetzung und Steuerung (z. B. agiler Ansatz, Jira-Konfiguration, RELEX-Phasen, Jira Structure PPM)
• Strategisch-operative Beratung bei der Einführung von RELEX einschließlich Best Practices
• Unterstützung bei der Definition übergeordneter Ziele und Anforderungen (2-Jahres-Zielbild)
• Begleitung bei der Eingrenzung eines relevanten Supply-Chain-Netzwerksegments für das Projekt
• Entwicklung einer Roadmap für den iterativen, inkrementellen RELEX-Aufbau und Rollout
• Bewertung von Projektabhängigkeiten (Schnittstellen, Konfigurationen etc.)
• Beratung zur priorisierten Umsetzung von fachlichen Anforderungen und Datenschnittstellen
• Unterstützung bei der Testplanung (Datenvalidierung, Systemtest, UAT)
• Beratung zu Internationalisierung, Change Management, Training und Wissenstransfer
• Stakeholder-Beratung und Abstimmung zwischen Kunde, Implementierungspartner und RELEX

Versicherungsunternehmen – Management Consultant in München: Analyse, Beratung und Unterstützung bei der Optimierung einer groß angelegten Business- und IT-Transformation. Fokus auf strategisch wichtige Programme und Modernisierungsprojekte im Bereich Managed Services Operations und Prozesse:

• Prüfung von Projektplänen und Deliverables; Analyse von Programmen und Projekten (z. B. Cloud-Ansatz, Prozessstandardisierung, Systemintegration, Roadmaps)
• Identifikation technischer, fachlicher und personeller Risiken und Herausforderungen; Entwicklung inhaltlicher Maßnahmen und Alternativen
• Vorschläge zur Qualitätsverbesserung für Programm- und Modernisierungsmaßnahmen
• Sparringspartner sowie fachliche, technische, strukturelle und organisatorische Beratung für Projekt- und Programmmanagement

Großer Handelskonzern – Management Consultant & Stream Lead in Köln: Beratung, Prozess-, Projekt- und Produktmanagement für die Einführung und Umsetzung eines großen strategischen Programms im Bereich Advanced Analytics, Sortiment und Flächenmanagement:

• Aufbau, Test und Rollout eines neuen Flächenplanungs-, Automatisierungs- und Optimierungsprodukts auf Basis des bestehenden clusterbasierten Merchandising-Ansatzes
• Definition und Aufbau neuer Prozesse sowie Transformations- und Change-Management-Maßnahmen für den neuen filialspezifischen Merchandising-Ansatz
• Zusammenarbeit mit Advanced Analytics und IT (intern und extern) bei Softwareeinführungen, Automatisierungen, Erweiterungen und Schnittstellen
• MVP-Ansatz und Pilotierung in Phasen mit schrittweisem Rollout (Pilot mit 80 Filialen, Region mit 500 Filialen, nationale Ebene mit 4000 Filialen)

Großes Handelsunternehmen – Agile Coach & Change Agent in Köln: Agile Coach, OKR Master und Facilitator für die Einführung des OKR-Ansatzes in einem großen strategischen Digitalisierungsprogramm für Einzelhandelsfilialen:

• Coaching des Kernteams mit Themenverantwortlichen und Teamleitern
• Einführung in das OKR-Thema und Aufbau des OKR-Zyklus
• Etablierung des OKR-Ansatzes in den Teams und auf bereichsübergreifender Ebene

Dienstleistungs- und Logistikunternehmen – Management Consultant in Großbritannien: Beratung und Coaching bei der Umstrukturierung der Data-Analytics-Abteilung:

• Analyse der aktuellen Herausforderungen
• Definition übergeordneter Ziele
• Entwicklung eines Vorschlags für eine neue Teamstruktur
• Identifikation benötigter Kompetenzen, Fähigkeiten und Verantwortlichkeiten
• Beratung und Abstimmung zur Kommunikations- und Change-Management-Strategie

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Konzeptionierung und Entwicklung der "Credit Risk Engine" mit Camunda, Node.js und TypeScript
• Greenfield-Projekt zur Kreditkarten-Bonitätsberechnung von Bestands- und Neukunden, inklusive EBA KPIs, SCHUFA und CRIF Scorings
• Aufbau und Modellierung von Workflows (BPMN) und Entscheidungslogiken (DMN) mit Camunda Modeler in enger Zusammenarbeit mit den Stakeholdern
• Implementierung von Service Tasks, User Tasks und Jobs mit Nest.js, Node.js und TypeScript, inklusive Exception Handling
• Backend For Frontend (BFF), Frontend mit React, Tailwind und Antd UI Library
• CI/CD mit Gitlab, Kubernetes/Rancher

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeiter).

• Technische Integration von allen Subprojekten in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung eines Cloud Management Platforms (CMP), die in der Lage ist, Private/Mixed Cloud von beliebiger Komplexität anhand einer textuellen Beschreibung mit einem Click oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus Hardware Management.

• Als Basis wird Kubernetes, Openstack und Hadoop benutzt.

• Die Managementschicht beinhaltet Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Privat Cloud kann beliebige Workloads von Kunden ausführen, darunter volle Hadoop Schicht mit HDFS, Spark, MapRed, Mezos, HBase und ca. 20 weiteren ML/DL Technologien.

• Hadoop Worker Cluster kann auch ohne Kubernetes on Bare Metal oder Commodity Hardware automatisch installiert werden.

• Openstack mit Nova, Neutron, Ironic, Swift, Cinder, Ceph.

• Entwicklung einer Java Anwendung Rudi: Soap, Rest, Containers, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), Openstack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualizierung (Kubernetes (K3S), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Skripte für Web-Scraping entwickelt, um über 5000 Produktdaten von der Zalando-Website zu extrahieren und zu parsen.
• ETL-Prozesse mit Apache Spark in CDSW durchgeführt, die Daten in das Hadoop-Ökosystem (HDFS) geladen und mit Hive sowie Impala verwaltet.
• Machine-Learning-Algorithmen implementiert und eine Genauigkeit von 85–90 % bei der mehrklassigen Produktklassifikation erzielt.
• Produkt- und Preisdaten von Zalando in Dashboards mit Otto und Takko integriert, um interaktive Visualisierungen zu erstellen.

• Entwickelte Energieschätzmodelle, um den Stromlade- und Wasserstoffbetankungsbedarf an Lade- und Tankstellen für Logistik-Lkw in Deutschland zu ermitteln.
• Schätzte die zukünftige Güterverkehrsnachfrage in Deutschland mithilfe eines hausinternen Verkehrsbedarfsmodells.
• Entwarf ein Netzwerk aus Stromlade- und Wasserstofftankstellen auf Basis der Ergebnisse des Verkehrsmodells und unterstützte so die datenbasierte Infrastrukturplanung.

• Implementierung, Wartung und Betrieb eines ERP-Systems und einer Dokumentenaustauschplattform für einen Wellpappe-Hersteller.
• Werkzeuge und Systeme: Unix (Debian 6.x), C, SVN, Windows, C#, MS SQL-Server, SCRUM.