ETL-Experten in Köln

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

Branche: digitale Souveränität, öffentlicher Dienst

Inhalte:

• Projektsteuerung (Teams: Beratung, Entwicklung, Test, Deployment/Betrieb)

Produkte und Standards:

• Jira, Confluence, Asana, Miro, Mural
• Open Source, Keycloak, Open Xchange, ownCloud

• Analyse der geschäftlichen Anforderungen
• Integration verschiedener Datenquellen wie ERP-Systeme, Produktionssysteme und externe Datenquellen
• Implementierung der Beladungsstrecken und Verarbeitungslogik mit MSSQL
• Datenmodellierung und Optimierung von Datenmodellen
• Aufsetzen eines Data Quality Managements inkl. Data Profiling mit dynamischer Programmierung
• Unterstützung bei der Konzipierung und Etablierung der Data Governance, insb. im Bereich Data Quality Management und Datenschutz
• Mithilfe bei der Entwicklung von BI-Lösungen mit Tableau zur Unterstützung von Entscheidungsprozessen

• Automatisierte Validierungs-Workflows mit Python eigenständig initiiert und implementiert, dadurch die manuelle Verarbeitung um 58% reduziert und die Effizienz verbessert
• Ein Machine-Learning-Modell zur Erzeugung synthetischer Fehler entwickelt, Ausfallzeiten und Produktionskosten reduziert; lokal sowie über Databricks und Azure AI Factory bereitgestellt
• Einen kleinen Bilddatensatz aus den Produktionslinien genutzt und durch das Training von Modellen wie cycleGAN und pix2pix erweitert
• Die Linux-basierte Entwicklungsumgebung für das Training von 3D-Modellen aufgebaut und optimiert; die Reproduzierbarkeit über GitHub sichergestellt
• Technische Erkenntnisse funktionsübergreifenden Teams (Ingenieuren, QA, Projektmanagern) präsentiert und so die Abstimmung von ML-Lösungen auf betriebliche Anforderungen sichergestellt

• Integration medizinischer Modalitäten (u. a. Ultraschall) in die bestehende IT-Infrastruktur (DICOM, HL7) – Inbetriebnahme im geplanten Zeitrahmen.
• Administration und Optimierung von PACS-Systemen für effiziente Archivierung und Verteilung radiologischer Bilddaten an mehreren Standorten.
• Sicherstellung konsistenter Datenqualität und nahtloser Interoperabilität im Datenaustausch zwischen KIS, RIS und PACS.
• Enge Zusammenarbeit mit ärztlichem Personal zur Analyse und digitalen Optimierung klinischer Workflows.
• Anforderungsmanagement und Testkoordination bei der Implementierung klinischer Anforderungen in komplexe IT-Strukturen.

Schwerpunkt:

Beratung im Bereich Reporting und Projektmanagement für Power BI

Ziel:

Erstellung IT Application Dashboard für Geschäftsbereiche

Tätigkeiten:

• Fachliche Beratung und Unterstützung bei der Steuerung und Koordination eines bestehenden Reporting-Setups
• Strukturierte Aufnahme, Analyse und Aufbereitung fachlicher Reporting-Anforderungen
• Fachliche Abstimmung mit definierten internen Ansprechpartnern
• Konzeption und Optimierung von Power-B-Reportings zur Verbesserung der Datenanalyse
• Erarbeitung von Konzepten und Empfehlungen zur Weiterentwicklung eines effizienten und transparenten Reporting-Systems
• Unterstützung bei der nutzerfreundlichen Visualisierung relevanter Unternehmenskennzahlen als Entscheidungsgrundlage

Tools/Skills: MS-PowerBI, DAX, MS-Office 365, PowerQuery M, BCS

• Entwurf und Leitung der Entwicklung eines automatisierten Kurzvideo-Generierungssystems.
• Aufbau eines skalierbaren AWS-Backends mit Step Functions, Lambda, S3, ECS Fargate und DynamoDB.
• Entwicklung der Videoerstellung mit OpenCV und FFMPEG; Gewährleistung wartbarer Python-Codequalität.
• Betreuung und Coaching eines Python-Entwicklers und Schulung des Kunden in AI-Workflows.
• Reduzierung der End-to-End-Produktionszeit von Stunden auf Minuten.
• Erstellung einer modularen, erweiterbaren Architektur zur Unterstützung künftiger AI-Modelle.

• Entwicklung und Erweiterung von ETL-Datenbeladungsjobs mit IBM DataStage und SQL-Optimierung in einer IBM DB2 Umgebung im Rahmen der Agree21 Datenmigration
• Analyse der Datenqualität und Entwicklung von Testprozeduren
• Erstellung von Skripten in MS Powershell und Dokumentation von GIT-Deploymentprozessen
• Technologien: RedHat Linux, IBM DB2 mit DB Visualizer, IBM InfoSphere DataStage 11.7, JIRA, TortoiseGIT, TortoiseSVN, Powershell Skripts

• Entwickelte automatisierte ETL-Pipelines mit AWS Glue und Athena zur Sicherstellung konsistenter Datenqualität und Governance-Anforderungen
• Implementierte Maßnahmen zur Validierung, Anonymisierung und Verschlüsselung von Daten im Einklang mit DSGVO
• Optimierte Cloud-Kosten durch Einführung von FinOps-Verfahren und erhöhte die Transparenz für Fachbereiche
• Überwachte Performance, führte Ursachenanalysen durch und stellte die Einhaltung von SLAs sicher
• Unterstützte Daten- und Lösungsarchitekten beim Aufbau tragfähiger Datenmodelle für ML- und Analytics-Szenarien

• Fungierte als zentrale Schnittstelle zwischen Rechts-, Engineering- und Business-Teams, um null Compliance-Verstöße sicherzustellen und gleichzeitig die Produktgeschwindigkeit beizubehalten.

• Führte die Entwicklung einer DSGVO-konformen KI-Aggregator-Plattform an und managte eine Roadmap, die rechtliche Vorgaben mit ambitionierter Feature-Auslieferung in Einklang bringt.

• Skalierte das Engineering-Team von 4 auf 9 Entwickler, etablierte Einstellungsprotokolle und technische Onboarding-Prozesse zur Unterstützung schneller Produktiterationen.

• Optimierte den Entwicklungsprozess durch Einführung strukturierter Sprint-Zyklen und Backlog-Pflege, was zu einer 20%igen Reduktion der Feature-Entwicklungszeit führte.

• Entwarf Architektur und Prototypen für agentenbasierte KI-Workflows mit n8n und RAG-Pipelines auf Langchain.

• Technische Projektleitung, Anforderungsmanagement und Konzeption zur Steuerung des Datenteams bei der Entwicklung eines "predictive maintenance" Modells für die Instandhaltungsplanung der DB InfraGo.
• Statistische Modellierung und Auswertungsprogrammierung mit R Studio zur Störungsanalyse im Präventionsmanagement: Multivariate Modellierung via QuasiPoisson-, Negativ-Binomial, Lasso, offset, Splines, RandomForest.
• Umsetzung verschiedener R ShinyDashboards.
• Sparringspartner und Anforderungsmanagement Datenengineering, Datenmodell und ETL-Strecke in Tableau Prep.

• Im Bürger- und Geschäftskundenportal der Zollverwaltung geben Fluggesellschaften monatlich Anträge für Starts und Landungen ein

• Per SOAP-Webservice werden diese Anträge an die Sachbearbeiter weitergeleitet und nach Prüfung sowie Bearbeitung werden Rückfragen oder Bescheide per SOAP-Webservice zurückgegeben

• PL/SQL-Programmierung von SOAP-Webservice-Client-Anfragen für den HTTP/XML-Nachrichtenaustausch zwischen dem BuG und den Sachbearbeitern

• Neu-Erstellung und Änderungsanforderungen für Forms- und Reports-12-Module

• Forms-Anwendungen starten und lesen SOAP-Webservice-Anfragen über PL/SQL-Packages, werten diese aus und schicken Reports-12-Dokumente an die Fluggesellschaften

• Extraktion und Transformation der relevanten Daten aus dem für die Bank entwickelten SAP-System und Konsolidierung in der existierenden Reporting-Umgebung
• Integration der Daten in das existierende BI-Modell (Erweiterung des Sternschemas zum Galaxy-Schema) zur Durchführung des Förderausschuss-Berichtes und des Berichtes zur Geschäftsentwicklung
• Datenqualitätssicherung
• Know-how-Transfer an Mitarbeiter des Bereiches (SAP, SQL-Datenbank, Power Pivot, DAX)

• Verbesserung von Tagetik
• Sonstige Aufgaben