Apache Pig Experten in Deutschland

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeiter).

• Technische Integration von allen Subprojekten in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung eines Cloud Management Platforms (CMP), die in der Lage ist, Private/Mixed Cloud von beliebiger Komplexität anhand einer textuellen Beschreibung mit einem Click oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus Hardware Management.

• Als Basis wird Kubernetes, Openstack und Hadoop benutzt.

• Die Managementschicht beinhaltet Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Privat Cloud kann beliebige Workloads von Kunden ausführen, darunter volle Hadoop Schicht mit HDFS, Spark, MapRed, Mezos, HBase und ca. 20 weiteren ML/DL Technologien.

• Hadoop Worker Cluster kann auch ohne Kubernetes on Bare Metal oder Commodity Hardware automatisch installiert werden.

• Openstack mit Nova, Neutron, Ironic, Swift, Cinder, Ceph.

• Entwicklung einer Java Anwendung Rudi: Soap, Rest, Containers, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), Openstack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualizierung (Kubernetes (K3S), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Definition einer generischen, universellen Systemplattform für XR (AR, VR)-Anwendungsfälle im Rahmen der europäischen IPCEI-Initiative
• Bewertung der verfügbaren Optionen für Backend-, Streaming- und Client-Implementierungen
• Entwicklung von PoC-Implementierungen und technische Bewertung potenzieller Komponenten
• Leitung des Entwicklungsteams und Definition der Ziel-Architektur für eine vollständige End-to-End-Lösung
• Entwurf und Integration von GenAI-PoCs (LLM, Zeitreihen, Vorhersagen, Agents)
• Erforschung von NeRFs und Gaussian Splatting für XR-Content-Erstellung und Analyse von Methoden zur Messung und Reduzierung von Systemlatenzen
• Arbeit an GPU-Scheduling, CUDA und verwandten Themen
• Definition und Implementierung von Backoffice- und Endnutzer-Dashboards mit Grafana und Superset
• Einsatz von Jaeger Tracing zur Analyse spezifischer Ereignisse
• Definition einer GenAI-basierten automatischen Alarmfunktion für bestimmte Ereignisse und Ereigniscluster mit KPI-Werten
• Integration von AR/VR/XR-IoT-Geräten
• Zusammenarbeit mit Business-Development- und UX-Teams in einem parallelen Design-Thinking-Prozess zur Abstimmung technischer und Customer-Journey-Anforderungen
• Integration der neuen Services und Plattform in bestehende Telko-Umgebungen und Analyse von Tools wie Camara für Teilintegrationen und Handover-Szenarien

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Mitwirkung an über 20 erfolgreichen Projekten

• Globale Marketing-Analysen für Hitachi Energy im Rahmen einer globalen Datenmodernisierungsinitiative, die darauf abzielt, die Datenspeicherung und Verfügbarkeit historischer Daten zu verbessern und Eloquas 2-jährige Aufbewahrung für Remote-Interaktionsberichte und Analysen bereitzustellen.

• Analyse der Standardaufbewahrungsrichtlinie von Eloqua und Identifizierung des Risikos von Datenverlusten für Datensätze, die älter als zwei Jahre sind.

• Entwurf und Implementierung einer Strategie zur historischen Datenaufbewahrung durch Erstellung transformierter Tabellen in der Ziel-Datenplattform, um ältere Daten zu archivieren und gleichzeitig Dashboards zur Datenqualität sicherzustellen.

• Zusammenarbeit mit dem Power BI-Team, um Dashboards von Rohdaten aus Eloqua-Importen auf die neu erstellte Archivschicht umzustellen.

• Nutzung von Jira zur Verfolgung und Verwaltung von Data-Engineering-Aufgaben, Fehlern und Feature-Requests in agilen Sprints; Koordination der Backlog-Priorisierung und Aufgabenverteilung, um die Entwicklung der Datenpipelines an den Geschäftsanforderungen auszurichten.

• Optimierung von Power BI-Dashboards:

• Enge Zusammenarbeit mit Stakeholdern, um Berichtserfordernisse für Bestandskunden zu bewerten und zu verstehen.

• Entwurf und Implementierung eines inkrementellen Aktualisierungsprozesses in Power BI, um tägliche Updates ohne vollständiges Neuladen zu gewährleisten.

• Zusammenarbeit mit Azure-Dateningenieuren zur Optimierung von Datenverarbeitungs- und Veröffentlichungsprozessen.

• Kommunikation mit Stakeholdern & Datenmodellierung:

• Vermittlung zwischen Group Data Office und Technology Office, um Standards für Datenmodellierung abzustimmen.

• Anforderungserhebung im Data-Engineering-Team und Teilnahme an wöchentlichen Statusmeetings, um Implementierungsupdates zu geben und Blocker in Teams in Deutschland, Polen und Indien zu lösen.

• Dokumentation & Qualitätssicherung:

• Erstellung von technischen End-to-End-Design-Dokumentationen, Datenflussdiagrammen und Power BI-Audit-Leitfäden für die Zukunft.

• Teilnahme an UAT-Sessions mit Fachanwendern, um Datenoutputs und Berichtgenauigkeit zu validieren.

• Implementierung, Wartung und Betrieb eines ERP-Systems und einer Dokumentenaustauschplattform für einen Wellpappe-Hersteller.
• Werkzeuge und Systeme: Unix (Debian 6.x), C, SVN, Windows, C#, MS SQL-Server, SCRUM.