Data-Pipeline-Experten in Köln

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Integration medizinischer Modalitäten (u. a. Ultraschall) in die bestehende IT-Infrastruktur (DICOM, HL7) – Inbetriebnahme im geplanten Zeitrahmen.
• Administration und Optimierung von PACS-Systemen für effiziente Archivierung und Verteilung radiologischer Bilddaten an mehreren Standorten.
• Sicherstellung konsistenter Datenqualität und nahtloser Interoperabilität im Datenaustausch zwischen KIS, RIS und PACS.
• Enge Zusammenarbeit mit ärztlichem Personal zur Analyse und digitalen Optimierung klinischer Workflows.
• Anforderungsmanagement und Testkoordination bei der Implementierung klinischer Anforderungen in komplexe IT-Strukturen.

• Verantwortung für Architektur und Entwicklung einer KI-nativen SaaS-Plattform für industrielles Produktportfoliomanagement.
• Konzeption der modernen Datenplattformarchitektur auf Azure für skalierbare Analysen und unternehmensweite Datenintegration.
• Aufbau von Unternehmens-Daten-Ingestions- und Transformationspipelines für komplexe industrielle Systemlandschaften.
• Entwicklung graphbasierter Darstellungen von Produktstrukturen und Abhängigkeiten für analytische Auswertungen.
• Konzeption und Implementierung eines agentischen KI-Frameworks für KI-gestützte Entscheidungsabläufe.
• Aufbau skalierbarer analytischer Microservices und Integration von Reporting mithilfe moderner BI-Technologien.
• Koordination der Backend-, KI- und Frontend-Entwicklung im gesamten MYNR-Plattform-Stack.

• Selbständig automatisierte Validierungs-Workflows mit Python initiiert und implementiert, wodurch manuelle Bearbeitung um 58% reduziert und Effizienz gesteigert wurde
• Ein Machine-Learning-Modell zur synthetischen Fehlererzeugung entwickelt, um Ausfallzeiten und Produktionskosten zu senken; lokal und über Databricks sowie Azure AI Factory bereitgestellt
• Ein kleines Datenset mit Bilddaten von Produktionslinien genutzt und dieses Datenset durch Training von Modellen wie cycleGAN und pix2pix erweitert
• Die Linux-basierte Entwicklungsumgebung für das Training von 3D-Modellen aufgebaut und optimiert; Reproduzierbarkeit über GitHub sichergestellt
• Technische Erkenntnisse vor funktionsübergreifenden Teams (Ingenieure, QA, Projektmanager) präsentiert und so die Abstimmung der ML-Lösungen an betriebliche Anforderungen sichergestellt

• Entwurf und Leitung der Entwicklung eines automatisierten Kurzvideo-Generierungssystems.
• Aufbau eines skalierbaren AWS-Backends mit Step Functions, Lambda, S3, ECS Fargate und DynamoDB.
• Entwicklung der Videoerstellung mit OpenCV und FFMPEG; Gewährleistung wartbarer Python-Codequalität.
• Betreuung und Coaching eines Python-Entwicklers und Schulung des Kunden in AI-Workflows.
• Reduzierung der End-to-End-Produktionszeit von Stunden auf Minuten.
• Erstellung einer modularen, erweiterbaren Architektur zur Unterstützung künftiger AI-Modelle.

• Entwickelte automatisierte ETL-Pipelines mit AWS Glue und Athena zur Sicherstellung konsistenter Datenqualität und Governance-Anforderungen
• Implementierte Maßnahmen zur Validierung, Anonymisierung und Verschlüsselung von Daten im Einklang mit DSGVO
• Optimierte Cloud-Kosten durch Einführung von FinOps-Verfahren und erhöhte die Transparenz für Fachbereiche
• Überwachte Performance, führte Ursachenanalysen durch und stellte die Einhaltung von SLAs sicher
• Unterstützte Daten- und Lösungsarchitekten beim Aufbau tragfähiger Datenmodelle für ML- und Analytics-Szenarien

• Fungierte als zentrale Schnittstelle zwischen Rechts-, Engineering- und Business-Teams, um null Compliance-Verstöße sicherzustellen und gleichzeitig die Produktgeschwindigkeit beizubehalten.

• Führte die Entwicklung einer DSGVO-konformen KI-Aggregator-Plattform an und managte eine Roadmap, die rechtliche Vorgaben mit ambitionierter Feature-Auslieferung in Einklang bringt.

• Skalierte das Engineering-Team von 4 auf 9 Entwickler, etablierte Einstellungsprotokolle und technische Onboarding-Prozesse zur Unterstützung schneller Produktiterationen.

• Optimierte den Entwicklungsprozess durch Einführung strukturierter Sprint-Zyklen und Backlog-Pflege, was zu einer 20%igen Reduktion der Feature-Entwicklungszeit führte.

• Entwarf Architektur und Prototypen für agentenbasierte KI-Workflows mit n8n und RAG-Pipelines auf Langchain.

• Technische Projektleitung, Anforderungsmanagement und Konzeption zur Steuerung des Datenteams bei der Entwicklung eines "predictive maintenance" Modells für die Instandhaltungsplanung der DB InfraGo.
• Statistische Modellierung und Auswertungsprogrammierung mit R Studio zur Störungsanalyse im Präventionsmanagement: Multivariate Modellierung via QuasiPoisson-, Negativ-Binomial, Lasso, offset, Splines, RandomForest.
• Umsetzung verschiedener R ShinyDashboards.
• Sparringspartner und Anforderungsmanagement Datenengineering, Datenmodell und ETL-Strecke in Tableau Prep.