ETL Experten in Köln

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Integration medizinischer Modalitäten (u. a. Ultraschall) in die bestehende IT-Infrastruktur (DICOM, HL7) – Inbetriebnahme im geplanten Zeitrahmen.
• Administration und Optimierung von PACS-Systemen für effiziente Archivierung und Verteilung radiologischer Bilddaten an mehreren Standorten.
• Sicherstellung konsistenter Datenqualität und nahtloser Interoperabilität im Datenaustausch zwischen KIS, RIS und PACS.
• Enge Zusammenarbeit mit ärztlichem Personal zur Analyse und digitalen Optimierung klinischer Workflows.
• Anforderungsmanagement und Testkoordination bei der Implementierung klinischer Anforderungen in komplexe IT-Strukturen.

• Analyse der geschäftlichen Anforderungen
• Integration verschiedener Datenquellen wie ERP-Systeme, Produktionssysteme und externe Datenquellen
• Implementierung der Beladungsstrecken und Verarbeitungslogik mit MSSQL
• Datenmodellierung und Optimierung von Datenmodellen
• Aufsetzen eines Data Quality Managements inkl. Data Profiling mit dynamischer Programmierung
• Unterstützung bei der Konzipierung und Etablierung der Data Governance, insb. im Bereich Data Quality Management und Datenschutz
• Mithilfe bei der Entwicklung von BI-Lösungen mit Tableau zur Unterstützung von Entscheidungsprozessen

Branche: digitale Souveränität, öffentlicher Dienst

Inhalte:

• Projektsteuerung (Teams: Beratung, Entwicklung, Test, Deployment/Betrieb)

Produkte und Standards:

• Jira, Confluence, Asana, Miro, Mural
• Open Source, Keycloak, Open Xchange, ownCloud

• Selbständig automatisierte Validierungs-Workflows mit Python initiiert und implementiert, wodurch manuelle Bearbeitung um 58% reduziert und Effizienz gesteigert wurde
• Ein Machine-Learning-Modell zur synthetischen Fehlererzeugung entwickelt, um Ausfallzeiten und Produktionskosten zu senken; lokal und über Databricks sowie Azure AI Factory bereitgestellt
• Ein kleines Datenset mit Bilddaten von Produktionslinien genutzt und dieses Datenset durch Training von Modellen wie cycleGAN und pix2pix erweitert
• Die Linux-basierte Entwicklungsumgebung für das Training von 3D-Modellen aufgebaut und optimiert; Reproduzierbarkeit über GitHub sichergestellt
• Technische Erkenntnisse vor funktionsübergreifenden Teams (Ingenieure, QA, Projektmanager) präsentiert und so die Abstimmung der ML-Lösungen an betriebliche Anforderungen sichergestellt

• Entwicklung und Erweiterung von ETL-Datenbeladungsjobs mit IBM DataStage und SQL-Optimierung in einer IBM DB2 Umgebung im Rahmen der Agree21 Datenmigration
• Analyse der Datenqualität und Entwicklung von Testprozeduren
• Erstellung von Skripten in MS Powershell und Dokumentation von GIT-Deploymentprozessen
• Technologien: RedHat Linux, IBM DB2 mit DB Visualizer, IBM InfoSphere DataStage 11.7, JIRA, TortoiseGIT, TortoiseSVN, Powershell Skripts

• Entwurf und Leitung der Entwicklung eines automatisierten Kurzvideo-Generierungssystems.
• Aufbau eines skalierbaren AWS-Backends mit Step Functions, Lambda, S3, ECS Fargate und DynamoDB.
• Entwicklung der Videoerstellung mit OpenCV und FFMPEG; Gewährleistung wartbarer Python-Codequalität.
• Betreuung und Coaching eines Python-Entwicklers und Schulung des Kunden in AI-Workflows.
• Reduzierung der End-to-End-Produktionszeit von Stunden auf Minuten.
• Erstellung einer modularen, erweiterbaren Architektur zur Unterstützung künftiger AI-Modelle.

• Implementierung von maßgeschneiderten Reporting-Lösungen für Finanzkennzahlen, die auf spezifische Geschäftsanforderungen abgestimmt sind

• Entwicklung einer Anwendung für maschinelles Lernen, die eine Leistungssteigerung von 250% erzielte

• Datenarchitekt „Produktionsnahe Qualitätssicherung“ (03/2024–09/2024):

• Konzeption und Umsetzung einer Analyseplattform zur Erkennung von Qualitätsabweichungen in der Fertigung

• Aufbau einer skalierbaren Data-Lakehouse-Architektur auf Databricks in Kombination mit SAP ERP-Daten über SAP Datasphere

• Enge Zusammenarbeit mit dem SAP-Team zur Harmonisierung der Stücklisten- und Auftragsdaten

• Visualisierung der KPIs zur Unterstützung des Shopfloor-Managements

• Leitender Dateningenieur „Monitoring der Vertriebsleistung“ (08/2023–12/2023):

• Design und Implementierung einer Databricks-basierten Plattform zur Analyse von Verkaufszahlen und Promotion-Effekten

• Integration von SAP SD-Daten über SAP BW/4HANA

• Nutzung von Azure DevOps zur Orchestrierung von ETL-Jobs und Deployment der Workflows

• Technischer Projektleiter „Cloud-Migration & Datenstrategie“ (02/2023–05/2023):

• Migration eines heterogenen Data-Warehouse-Stacks in eine moderne Cloud-Architektur auf Azure mit Databricks als zentrale Verarbeitungsplattform

• Entwicklung einer Governance-konformen Datenarchitektur zur Integration von SAP-Finanzdaten und nicht-SAP-Quellen

Technologien: Databricks, Delta Lake, Python, SAP Datasphere, Azure DevOps, PowerBI, SQL

• Entwickelte automatisierte ETL-Pipelines mit AWS Glue und Athena zur Sicherstellung konsistenter Datenqualität und Governance-Anforderungen
• Implementierte Maßnahmen zur Validierung, Anonymisierung und Verschlüsselung von Daten im Einklang mit DSGVO
• Optimierte Cloud-Kosten durch Einführung von FinOps-Verfahren und erhöhte die Transparenz für Fachbereiche
• Überwachte Performance, führte Ursachenanalysen durch und stellte die Einhaltung von SLAs sicher
• Unterstützte Daten- und Lösungsarchitekten beim Aufbau tragfähiger Datenmodelle für ML- und Analytics-Szenarien

• Fungierte als zentrale Schnittstelle zwischen Rechts-, Engineering- und Business-Teams, um null Compliance-Verstöße sicherzustellen und gleichzeitig die Produktgeschwindigkeit beizubehalten.

• Führte die Entwicklung einer DSGVO-konformen KI-Aggregator-Plattform an und managte eine Roadmap, die rechtliche Vorgaben mit ambitionierter Feature-Auslieferung in Einklang bringt.

• Skalierte das Engineering-Team von 4 auf 9 Entwickler, etablierte Einstellungsprotokolle und technische Onboarding-Prozesse zur Unterstützung schneller Produktiterationen.

• Optimierte den Entwicklungsprozess durch Einführung strukturierter Sprint-Zyklen und Backlog-Pflege, was zu einer 20%igen Reduktion der Feature-Entwicklungszeit führte.

• Entwarf Architektur und Prototypen für agentenbasierte KI-Workflows mit n8n und RAG-Pipelines auf Langchain.

• Technische Projektleitung, Anforderungsmanagement und Konzeption zur Steuerung des Datenteams bei der Entwicklung eines "predictive maintenance" Modells für die Instandhaltungsplanung der DB InfraGo.
• Statistische Modellierung und Auswertungsprogrammierung mit R Studio zur Störungsanalyse im Präventionsmanagement: Multivariate Modellierung via QuasiPoisson-, Negativ-Binomial, Lasso, offset, Splines, RandomForest.
• Umsetzung verschiedener R ShinyDashboards.
• Sparringspartner und Anforderungsmanagement Datenengineering, Datenmodell und ETL-Strecke in Tableau Prep.

• Im Bürger- und Geschäftskundenportal der Zollverwaltung geben Fluggesellschaften monatlich Anträge für Starts und Landungen ein

• Per SOAP-Webservice werden diese Anträge an die Sachbearbeiter weitergeleitet und nach Prüfung sowie Bearbeitung werden Rückfragen oder Bescheide per SOAP-Webservice zurückgegeben

• PL/SQL-Programmierung von SOAP-Webservice-Client-Anfragen für den HTTP/XML-Nachrichtenaustausch zwischen dem BuG und den Sachbearbeitern

• Neu-Erstellung und Änderungsanforderungen für Forms- und Reports-12-Module

• Forms-Anwendungen starten und lesen SOAP-Webservice-Anfragen über PL/SQL-Packages, werten diese aus und schicken Reports-12-Dokumente an die Fluggesellschaften

• Extraktion und Transformation der relevanten Daten aus dem für die Bank entwickelten SAP-System und Konsolidierung in der existierenden Reporting-Umgebung
• Integration der Daten in das existierende BI-Modell (Erweiterung des Sternschemas zum Galaxy-Schema) zur Durchführung des Förderausschuss-Berichtes und des Berichtes zur Geschäftsentwicklung
• Datenqualitätssicherung
• Know-how-Transfer an Mitarbeiter des Bereiches (SAP, SQL-Datenbank, Power Pivot, DAX)

• Verbesserung von Tagetik
• Sonstige Aufgaben