Finde erfahrene Data Engineers in München, die in Minuten passend vermittelt werden – aus über 15.000 CVs mit der Kraft von KI.

• Entwickelte eine Python-Pipeline, die Web-Inhalte aus dem Lektionar in strukturierte tägliche JSON-Daten umwandelt und dabei liturgische Kalenderregeln für eine genaue Abdeckung von Wochentagen und Sonntagen anwendet.
• Stellte eine reine FastAPI-REST-API mit gemeinsamen Pydantic-Modellen bereit und lieferte einen Kirundi-first Web-Client für Browser und Mobile.
• Verantwortete die Datenebene und die Backend-Architektur, arbeitete eng an Systemarchitektur und Schnittstellen mit und automatisierte Aktualisierungen mit GitHub Actions; außerdem validierte ich das ETL mit pytest.
• Impact: Schuf eine verlässliche, API-gestützte Single Source of Truth für tägliche Bibellesungen auf Kirundi und ermöglichte so einen konsistenten Zugriff auf zuvor unstrukturierte Inhalte.

DWH für Kunden- und Finanzdaten

• Erweiterung des DWH um neue Datenquellen
• Berichtsentwicklung
• Datenqualitätsmanagement

Vorgehensmodell: Scrum

Werkzeuge: Atlassian Confluence & Jira

Datenbanken: Microsoft SQL Server

Programmiersprachen: SQL, T-SQL

ETL: Microsoft SQL Server Integration Services (SSIS)

Frontend-Plattform: PowerBI, Microsoft Reporting Services

• Backend-Systeme, Datenverarbeitungslösungen und Software-Integrationen für Enterprise-Business-Anwendungen geliefert.
• API-basierte Services entworfen und umgesetzt, die interne Plattformen mit externen Systemen verbinden.
• Automatisierte Verarbeitungs-Workflows gebaut, um strukturierte Geschäftsdaten im großen Umfang zu verarbeiten.
• Die Anwendungsperformance durch Datenbankoptimierung, Caching-Strategien und Backend-Refactoring um 30–50 % verbessert.
• Den manuellen operativen Aufwand durch die Automatisierung wiederkehrender Workflows um 40–60 % reduziert.
• Produktionsumgebungen durch Troubleshooting, verbesserte Überwachung und laufende Optimierung unterstützt.
• Technische Dokumentation erstellt und Wissenstransfer-Sessions geleitet, um die langfristige Wartbarkeit zu unterstützen.

• Skalierbare Datenanwendungen entworfen, entwickelt und konfiguriert, passend zu Geschäftsprozessen und technischen Anforderungen.
• Skalierbare, kosteneffiziente Datenarchitekturen mit Snowflake über AWS, Azure und GCP entwickelt und dabei dbt für Datentransformation und Modellierung eingebunden.
• Robuste ETL-Datenpipelines aufgebaut und gepflegt, um hohe Datenqualität für eine reibungslose Migration und systemübergreifende Integration sicherzustellen.
• Starke Expertise in SQL und Python mit umfassender Erfahrung in Datenmodellierung, ETL/ELT-Pipeline-Entwicklung und Streaming-Datenverarbeitung gezeigt; sicher im Umgang mit Git-basiertem Versionsmanagement, CI/CD-Prozessen und Test-Frameworks, mit solidem Wissen in den Bereichen Datenqualität, Observability, Kostenoptimierung, Sicherheit und Data-Governance.
• Mehrere Datenmigrationsinitiativen von SAP HANA nach Snowflake mit einem modularen dbt-Framework geleitet.
• End-to-End-Daten-Transformations-Workflows mit dbt auf Snowflake entworfen und gepflegt, geschichtete Datenmodelle implementiert, die Performance optimiert und eine hochwertige Datenbereitstellung für Business Intelligence und Reporting sichergestellt.
• Entwicklungs-, QA- und Produktions-Deployments über strukturierte Versionskontrolle und Release-Management mit GitLab gesteuert.
• Daten aus mehreren Quellen, darunter relationale Datenbanken, Flat Files, Excel und große Systeme, in Snowflake integriert und zentralisiert.
• Umfassende Expertise in den Datenbereichen Sales, Marketing, HR und ERP angewendet und relevante KPIs sowie Reporting-Lösungen entwickelt und gepflegt.
• Mit funktionsübergreifenden Teams zusammengearbeitet, um End-to-End-Datenlösungen termingerecht durch proaktives Lösen von Problemen und gute Abstimmung umzusetzen.
• Die Snowflake-Sandbox-Umgebung für die Data-Engineering-Abteilung administriert.
• Kolleginnen und Kollegen, die in Datenrollen gewechselt sind, in Snowflake geschult und technische Beratung sowie Mentoring für Junior-Teammitglieder übernommen.

• Entwurf, Entwicklung und Pflege vollständiger ETL-Pipelines für eine skalierbare und zuverlässige Datenintegration
• Unterstützung bei Datenqualitätsprüfungen, Tests und Migrationen
• Entwicklung und Pflege von dbt-Modellen für strukturierte, modulare und wiederverwendbare Datentransformationen
• Einsatz von KI-gestützter Entwicklung, um ETL-Jobs und die Codequalität zu verbessern
• Entwicklung von CI/CD-Pipelines für die automatisierte Bereitstellung

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Migration vorhandener Data-Jobs von Cognos Data Manager zu Tibco/IBI Datamigrator
• Parametrisierung der Data-Jobs für dynamische Abläufe
• Optimierung und Reduzierung
• Regressionstests
• Wissensvermittlung und Dokumentation

• Etablierung und Leitung eines mehrjährigen Forschungsfahrplans
• Entwicklung und Umsetzung eines Einstellungsplans für Wissenschaft und Daten
• Führend bei Data-Engineering-Initiativen im Unternehmen
• Leitung des Teams zur Einführung eines neuen Trading-Algorithmus, wodurch der Umsatz der Assets um 18 % gesteigert wurde

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Ablösung einer Java Anwendung und der Oracle DB zur Beladung des internen System WerWasWo mittels SSIS.
• Entwicklung von SSIS Paketen zum Laden von Textdateien in die Datenbank (SQL Server)
• Entwicklung eines Datenbankprojektes zum Deployment auf verschiedenen Servern
• Entwicklung von Queries zum Monitoring der Beladungsläufe
• Entwicklung eines PowerShell Skriptes zum automatisierten Bereitstellen der SSDT – Projekte.
• Oracle, SQL Developer, Microsoft SQL-Server 2022 on Prem, SQL Server Management Studio v21, Visual Studio 2022, SSIS, SSDT, PowerShell.

• Konzipierte eine agentenbasierte Echtzeit-Engine zur Angebotsorchestrierung, in der spezialisierte Agenten (Retrieval, Pricing/Optimierung und Richtlinien/Guardrails) zusammenarbeiten, um Promotionen über alle Touchpoints zu personalisieren, mittels RAG mit FAISS auf Delta Lake und latenzarmem Databricks Model Serving. Arbeit mit Produktmanagern und kommerziellen Stakeholdern zur Roadmap-Gestaltung und Bewertung neuer Agentenmuster für den Produktionseinsatz.

• Entwickelte einen agentenbasierten Data-Quality-Service, der Schema-Erkennung, Entity-Normalisierung und Validator-/Exception-Handling-Agenten orchestriert, um SKU-Feeds mehrerer Händler in großem Maßstab zu bereinigen. Verpackte Modellaufrufe in PySpark-UDFs für verteilte Inferenz, automatisiert über Databricks Workflows und CI/CD.

• Entwickelte eine multimodale, agentenbasierte Extraktions-Pipeline, in der Vision-, Parsing- und Compliance-Agenten zusammenarbeiten, um Marke, Verpackung und Volumen aus gescannten Bildern mit Claude 3 Sonnet und Swin Transformer-Encodern zu extrahieren. Orchestriert über Azure Event Hub, mit Speicherung der Ergebnisse in Delta Lake.

• Implementierte einen GS1-Taxonomie-Klassifizierungsservice, der auf kooperierenden Agenten für Inferenz, Drift-Monitoring und automatisierte Retrainings-Governance basiert, unter Nutzung von Falcon 180B (LoRA-feinjustiert) mit Batch-Pipeline auf Databricks.

• Erstellte einen hybriden Agenten-Workflow, bei dem ein Retrieval-Agent Kandidaten über Embeddings ermittelt und ein Reasoning/Verifikations-Agent (Mixtral 8x7B) die Übereinstimmung von Beleg und SKU überprüft, integriert in eine Streaming-Pipeline auf Databricks.

• Entwickelte eine multimodale Attribut-Inferenz-Pipeline, aufgebaut aus kooperierenden Vision-Sprach-, Regel-/Konsistenz- und Compliance-Agenten, um NutriScore, Nährwertfelder und Verpackungsarten aus Namen und Bildern mit LLaMA 3-8B und CLIP-Embeddings zu ermitteln.

• Entwickelte ein GenAI-basiertes Orchestrierungssystem, das Rezepte von mehreren Websites einliest, Zutaten über strukturierte Extraktions-Agenten analysiert und diese dynamisch über Tagging, semantisches Reasoning und Business-Rule-Agenten mit Echtzeit-Händlerangeboten verknüpft.

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeitern).

• Technische Integration aller Subprojekte in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung einer Cloud-Management-Plattform (CMP), die in der Lage ist, Private/Mixed-Cloud beliebiger Komplexität anhand einer textuellen Beschreibung per Klick oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus des Hardware-Managements.

• Als Basis werden Kubernetes, OpenStack und Hadoop eingesetzt.

• Die Managementschicht umfasst Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Private Cloud kann beliebige Workloads von Kunden ausführen, darunter die komplette Hadoop-Schicht mit HDFS, Spark, MapReduce, Mesos, HBase und ca. 20 weiteren ML-/DL-Technologien.

• Hadoop-Worker-Cluster können auch ohne Kubernetes auf Bare Metal oder Standardhardware automatisch installiert werden.

• OpenStack mit Nova, Neutron, Ironic, Swift, Cinder und Ceph.

• Entwicklung einer Java-Anwendung Rudi: SOAP, REST, Container, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), OpenStack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualisierung (Kubernetes (K3s), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Architektur, Konzeption und Entwicklung einer MVP-Anwendung eines Anbieters für spezialisierte Reiseerlebnisse
• Technologien: Python, FastAPI, Firestore, Firebase, Docker

• Datenextraktion aus PostgreSQL mit dem Talend ETL-Tool entwickelt
• SQL/PL-SQL-Skripte und -Views nach Bedarf für den ETL-Prozess entwickelt
• Das GIT-Repository zusammen mit dem bestehenden CI/CD-Prozess für Test- und Produktionsbereitstellungen verwendet
• Mehrere komplexe ETL-Jobs erstellt und aktualisiert, um Tarifdaten für den Input-Pool in SQLite-Dateien abzubilden
• Quelldaten über eine H2-Datenbank extrahiert und für MT- und Fahrkartenautomaten in SQLite transformiert
• Eng mit Anforderungsingenieuren und Datenmanagern in einem agilen Umfeld zusammengearbeitet