Apache Hadoop Experten in München

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

Aufgaben & Ergebnisse:

• Maßnahmen zur verbesserten Management-Steuerung während eines Restrukturierungsprogramms (ca. 80 Beteiligte) ausgearbeitet
• PMO-Setup zur Durchsetzung von Transparenz, Reporting und datengetriebenen Entscheidungen
• Integration...

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Großes Versicherungsunternehmen – Consultant Wiesbaden: Beratungsunterstützung bei der Einführung eines integrierten Planungs- und Performance-Management-Frameworks (operativ, finanziell, Kunde) zur Verbesserung der kundenzentrierten Transparenz, der Entscheidungsqualität und der Steuerungsfähigkeit über alle Geschäftsbereiche innerhalb eines Versicherungsunternehmens:

• Analyse bestehender Prozesse, Reports, KPIs und Methoden zur KPI-Berechnung
• Konzeption und Einführung neuer, standardisierter Kunden-KPIs (brutto/netto) sowie zentraler Steuerungskennzahlen mit konsistenter Verknüpfung über alle Geschäftsbereiche hinweg
• Neuberechnung, Validierung und Plausibilitätsprüfungen von KPIs auf Basis bestehender und neu integrierter Datenquellen
• Konzeptionelle Unterstützung beim Aufbau eines integrierten Reporting- und Performance-Management-Setups
• Durchführung von Customer-Insights-Analysen zur Identifikation von Mustern und Auffälligkeiten in Kunden-Datenclustern

Großes Handelsunternehmen – Consultant in Karlsruhe: Beratungsleistungen für den Aufbau und die schrittweise Implementierung einer international einsetzbaren RELEX-Lösung im Umfeld des Supply-Chain-Managements:

• Beratung der Gesamt- und Teilprojektleitung bei Methodik, Projektaufsetzung und Steuerung (z. B. agiler Ansatz, Jira-Konfiguration, RELEX-Phasen, Jira Structure PPM)
• Strategisch-operative Beratung bei der Einführung von RELEX einschließlich Best Practices
• Unterstützung bei der Definition übergeordneter Ziele und Anforderungen (2-Jahres-Zielbild)
• Begleitung bei der Eingrenzung eines relevanten Supply-Chain-Netzwerksegments für das Projekt
• Entwicklung einer Roadmap für den iterativen, inkrementellen RELEX-Aufbau und Rollout
• Bewertung von Projektabhängigkeiten (Schnittstellen, Konfigurationen etc.)
• Beratung zur priorisierten Umsetzung von fachlichen Anforderungen und Datenschnittstellen
• Unterstützung bei der Testplanung (Datenvalidierung, Systemtest, UAT)
• Beratung zu Internationalisierung, Change Management, Training und Wissenstransfer
• Stakeholder-Beratung und Abstimmung zwischen Kunde, Implementierungspartner und RELEX

Versicherungsunternehmen – Management Consultant in München: Analyse, Beratung und Unterstützung bei der Optimierung einer groß angelegten Business- und IT-Transformation. Fokus auf strategisch wichtige Programme und Modernisierungsprojekte im Bereich Managed Services Operations und Prozesse:

• Prüfung von Projektplänen und Deliverables; Analyse von Programmen und Projekten (z. B. Cloud-Ansatz, Prozessstandardisierung, Systemintegration, Roadmaps)
• Identifikation technischer, fachlicher und personeller Risiken und Herausforderungen; Entwicklung inhaltlicher Maßnahmen und Alternativen
• Vorschläge zur Qualitätsverbesserung für Programm- und Modernisierungsmaßnahmen
• Sparringspartner sowie fachliche, technische, strukturelle und organisatorische Beratung für Projekt- und Programmmanagement

Großer Handelskonzern – Management Consultant & Stream Lead in Köln: Beratung, Prozess-, Projekt- und Produktmanagement für die Einführung und Umsetzung eines großen strategischen Programms im Bereich Advanced Analytics, Sortiment und Flächenmanagement:

• Aufbau, Test und Rollout eines neuen Flächenplanungs-, Automatisierungs- und Optimierungsprodukts auf Basis des bestehenden clusterbasierten Merchandising-Ansatzes
• Definition und Aufbau neuer Prozesse sowie Transformations- und Change-Management-Maßnahmen für den neuen filialspezifischen Merchandising-Ansatz
• Zusammenarbeit mit Advanced Analytics und IT (intern und extern) bei Softwareeinführungen, Automatisierungen, Erweiterungen und Schnittstellen
• MVP-Ansatz und Pilotierung in Phasen mit schrittweisem Rollout (Pilot mit 80 Filialen, Region mit 500 Filialen, nationale Ebene mit 4000 Filialen)

Großes Handelsunternehmen – Agile Coach & Change Agent in Köln: Agile Coach, OKR Master und Facilitator für die Einführung des OKR-Ansatzes in einem großen strategischen Digitalisierungsprogramm für Einzelhandelsfilialen:

• Coaching des Kernteams mit Themenverantwortlichen und Teamleitern
• Einführung in das OKR-Thema und Aufbau des OKR-Zyklus
• Etablierung des OKR-Ansatzes in den Teams und auf bereichsübergreifender Ebene

Dienstleistungs- und Logistikunternehmen – Management Consultant in Großbritannien: Beratung und Coaching bei der Umstrukturierung der Data-Analytics-Abteilung:

• Analyse der aktuellen Herausforderungen
• Definition übergeordneter Ziele
• Entwicklung eines Vorschlags für eine neue Teamstruktur
• Identifikation benötigter Kompetenzen, Fähigkeiten und Verantwortlichkeiten
• Beratung und Abstimmung zur Kommunikations- und Change-Management-Strategie

• Entwicklung von High-Performance-Ad-Auslieferung über Auktionen
• Ganzheitliche Optimierung der Anzeigenplatzierung (multi-campaign & multi-channel)
• Algorithmische Optimierung für NP-Hard/NP-e
• Multiple Knapsack Problem mit Nebenbedingungen
• Online-Schätzung von Parametern in stochastischen Umgebungen

Tools: Python, R, Kotlin, MILP/SAT/CP-Solver, Pytorch, Pandas, Docker

• Es ist wie ein Start-up innerhalb von REWE, wo wir ein neues Forecasting-System auf der Google Cloud Platform von Grund auf aufbauen müssen. Offiziell heißt meine Rolle zwar MLOps, aber zu meinen tatsächlichen Aufgaben gehören auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Umsetzung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeiter).

• Technische Integration von allen Subprojekten in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung eines Cloud Management Platforms (CMP), die in der Lage ist, Private/Mixed Cloud von beliebiger Komplexität anhand einer textuellen Beschreibung mit einem Click oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus Hardware Management.

• Als Basis wird Kubernetes, Openstack und Hadoop benutzt.

• Die Managementschicht beinhaltet Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Privat Cloud kann beliebige Workloads von Kunden ausführen, darunter volle Hadoop Schicht mit HDFS, Spark, MapRed, Mezos, HBase und ca. 20 weiteren ML/DL Technologien.

• Hadoop Worker Cluster kann auch ohne Kubernetes on Bare Metal oder Commodity Hardware automatisch installiert werden.

• Openstack mit Nova, Neutron, Ironic, Swift, Cinder, Ceph.

• Entwicklung einer Java Anwendung Rudi: Soap, Rest, Containers, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), Openstack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualizierung (Kubernetes (K3S), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Entwicklung der KI-Strategie für einen großen österreichischen Einzelhändler mit über 10 Mrd. € Jahresumsatz.
• Entwicklung einer Go-to-Market-Strategie für KI-Services eines norwegischen Beratungsunternehmens, spezialisiert auf SAP-Technologien.
• Durchführung von KI-für-Business-Schulungsprogrammen für eine führende deutsche Supermarktkette.
• Definition der Projektstruktur und Roadmap für AI-Governance bei einem großen deutschen Hersteller.
• Zertifizierte:r Facilitator für den AI Design Sprint™, Leitung von Use-Case-Discovery-Workshops für Großunternehmen.
• IEEE Certified AI Ethics Assessor mit Expertise im Aufbau von AI-Governance-Frameworks gemäß der EU AI-Verordnung.
• Gründer von aiethicsassessor.com als Wissensbasis für AI-Governance und AI-Gesetzgebung.
• Autor eines Bestsellers auf Udemy zum Thema Datenarchitektur.
• Entwicklung intelligenter Agenten mit Low-Code/No-Code-Plattformen zur Automatisierung komplexer Geschäftsprozesse.

• Skripte für Web-Scraping entwickelt, um über 5000 Produktdaten von der Zalando-Website zu extrahieren und zu parsen.
• ETL-Prozesse mit Apache Spark in CDSW durchgeführt, die Daten in das Hadoop-Ökosystem (HDFS) geladen und mit Hive sowie Impala verwaltet.
• Machine-Learning-Algorithmen implementiert und eine Genauigkeit von 85–90 % bei der mehrklassigen Produktklassifikation erzielt.
• Produkt- und Preisdaten von Zalando in Dashboards mit Otto und Takko integriert, um interaktive Visualisierungen zu erstellen.

• Implementierung, Wartung und Betrieb eines ERP-Systems und einer Dokumentenaustauschplattform für einen Wellpappe-Hersteller.
• Werkzeuge und Systeme: Unix (Debian 6.x), C, SVN, Windows, C#, MS SQL-Server, SCRUM.

• Entwarf und implementierte DSGVO-konforme Datenpipelines.
• Entwickelte Machine-Learning-Algorithmen für After-Sales-Analysen, was die Reparaturerkennung verbesserte.
• Erstellte cloudbasierte Data-Lake-Architektur und ermöglichte damit abteilungsübergreifende digitale Transformation.