Databricks Experten in Frankfurt

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Fachliche Steuerung als Product Owner für das DMS-Modul im agilen Multi-Team-Setup
• Koordination des bundesweiten Rollouts inklusive Anforderungsmanagement und Roadmap-Entwicklung
• Aufbau und Pflege des Product Backlogs mit Fokus auf Skalierbarkeit, Nutzerfreundlichkeit und Datenschutz
• Durchführung von Sprint-Reviews, Refinements und Stakeholder-Demos mit über 15 beteiligten Einheiten
• Entwicklung eines Rollout- und Trainingskonzepts zur erfolgreichen Einführung in über 200 Behördenstellen
• Einführung eines Reporting- und Monitoring-Dashboards zur Erfolgsmessung der Nutzung
• Enge Zusammenarbeit mit Architektur, QA und Betrieb zur Sicherstellung der Integrationsfähigkeit ins bestehende Systemumfeld

• Entwurf und Umsetzung der agentischen KI-Architektur für eine unternehmensweite Plattform zur sicheren Bereitstellung von LLM-basierten Agenten
• Design und Implementierung von End-to-End RAG-Pipelines aus multiplen Quellen: Dokumentenaufbereitung, Chunking-Strategien für heterogene Dokumenttypen, Embedding, Retrieval mit Re-Ranking und robuste Prompt-Orchestrierung
• Modulares Context-Engineering-Framework mit Skill-Architektur, Kontext-Isolation und dynamischer Ressourcenverwaltung; Human-in-the-Loop-Kontrolle für Enterprise-Tool-Integrationen
• Aufbau der CI/CD-Pipeline, Test-Strategie, Tracing sowohl auf Software-Seite als auch automatisierte LLM- und Agenten-Evaluierungen, Red Team Testing und Tracing sowie Übergabe in reproduzierbaren Betrieb (ISO27001 und SOC2 konform)

• Entwickelte eine Retrieval-Augmented-Generation-(RAG)-Anwendung mit LangChain und LangGraph zur Analyse von Unternehmensdokumenten, bereitgestellt als installierbare Electron-Desktop-App mit lokalen KI-Modellen über Ollama.
• Bietet aktuell fortlaufenden KI-Feature-Support für das Loan Pricing Tool der Hamburg Commercial Bank mit einem Einsatz von drei Tagen pro Monat.
• Konzipierte Kubernetes-native Lösungen, einschließlich Helm-Chart-Konfiguration und Azure DevOps-Pipeline-Integration.

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

• Evaluation möglicher Anbieter (Snowflake vs Databricks) und Konzeption der Analytics-Datenplattform mittels Databricks
• Datenspeicherung und Ingestion Layer mit Amazon S3
• Erstellung von ETL-Prozessen und Datentransformationen mit AWS Glue und Databricks Notebooks
• Orchestrierung mit AWS Glue Workflow, Databricks Workflow und Databricks DLT
• Verarbeitung unstrukturierter Daten unter anderem Text, Bild und Video
• Databricks Workspace Einrichtung und Administration
• Aufsetzen einer Medaillen-Architektur zur Gewährleistung von Datenqualität
• Evaluation möglicher BI-Tools (Power BI, AWS Quicksight, Tableau)
• Etablierung von MLOps mittels MLFlow
• Einführung von Data Governance und Data Lineage mittels Unity Catalog

• Sicherstellung des stabilen Betriebs geschäftskritischer Anwendungen im energiewirtschaftlichen Umfeld (KRITIS-nahe Systeme), Abstimmung mit IT-Betrieb zu Zertifikaten, Berechtigungen und sicherheitsrelevantem Logging
• Kontinuierliches Monitoring von Schnittstellen, Prozessen und Systemzuständen inkl. Analyse von Abweichungen und Performanceproblemen
• Entwicklung und Aufbau abgesicherter Schnittstellen inkl. Authentifizierungs- und Zugriffskonzepten
• Incident Management: Priorisierung, Ursachenanalyse, Koordination der Fehlerbehebung mit IT-Betrieb, Fachbereichen und externen Dienstleistern
• Change- und Releasemanagement inkl. Abstimmung, Testkoordination, Produktivsetzung und Nachbetreuung
• Product Owner für operative Systeme im laufenden Betrieb (Prognosen, Fahrplanmanagement, Marktdatenim- und -exporte, Vertragsmanagement, regulatorisches Reporting)
• Dokumentation von Betriebsprozessen, Changes und Incidents zur Sicherstellung von Nachvollziehbarkeit und Auditfähigkeit
• Automatisierung und Digitalisierung von Betriebsprozessen
• Einführung und Einsatz von KI-gestützten Analyse- und Monitoringansätzen und Agenten mit Microsoft 365 Copilot

• Bewertete Suchergebnisse auf Relevanz, Genauigkeit und Qualität gemäß den Vorgaben.
• Führte Datenannotation und Inhaltskennzeichnung für KI-Trainingsmodelle durch.
• Bewertete Nutzerabsichten, um Suchmaschinenalgorithmen zu verfeinern und zu verbessern.
• Lieferte linguistische Einblicke zur Optimierung der mehrsprachigen Suche.
• Überprüfte KI-generierte Antworten zur Verbesserung der Sprachverarbeitung (NLP).

• Konzeption, Architektur & Entwicklung/Programmierung der ETL/ELT-Datenpipelines, DWH und BI-Lösung
• Technische Projektleitung, POC – Erstellung eines Proof of Concept
• Vermittlung zwischen Fachbereichen und technischen Teams
• Azure DevOps Boards & Jira
• Datenmodellierung & Data Engineering – Data Warehouse & Data Mart
• Azure (Data Factory, Azure SQL, Azure DevOps CI/CD, Azure Data Lake V2, Business Central REST API, OData API, OAuth2-Token)
• SharePoint-Liste & API für ADF, Firebird DB, Postgres DB, DB2
• Power BI (Power Query), DAX, Excel-PBI-Add-on, GIS-Daten
• Automatisiertes Monitoring/Logging von ETL-Prozessen, Performance-Monitoring, Fehler-Monitoring – Erkennung und Behebung
• Index-Performance-Tuning & Statistik-Monitoring, Transact-SQL
• Datensicherheit – MFA – Multifaktor-Authentifizierung & OAuth2, MS Graph, Azure-Netzwerke & Firewalls, Gateways, Rollen, Benutzergruppen – mit Lese- und Schreibberechtigungen
• Quellen – Vario Bill, Camunda, Radius, Geo-Datenbank, OTRS, PAST, MS Dynamics Business Central, Azure Blob Data Lake, SharePoint-Liste

• Globale Marketing-Analysen für Hitachi Energy im Rahmen einer globalen Datenmodernisierungsinitiative, die darauf abzielt, die Datenspeicherung und Verfügbarkeit historischer Daten zu verbessern und Eloquas 2-jährige Aufbewahrung für Remote-Interaktionsberichte und Analysen bereitzustellen.

• Analyse der Standardaufbewahrungsrichtlinie von Eloqua und Identifizierung des Risikos von Datenverlusten für Datensätze, die älter als zwei Jahre sind.

• Entwurf und Implementierung einer Strategie zur historischen Datenaufbewahrung durch Erstellung transformierter Tabellen in der Ziel-Datenplattform, um ältere Daten zu archivieren und gleichzeitig Dashboards zur Datenqualität sicherzustellen.

• Zusammenarbeit mit dem Power BI-Team, um Dashboards von Rohdaten aus Eloqua-Importen auf die neu erstellte Archivschicht umzustellen.

• Nutzung von Jira zur Verfolgung und Verwaltung von Data-Engineering-Aufgaben, Fehlern und Feature-Requests in agilen Sprints; Koordination der Backlog-Priorisierung und Aufgabenverteilung, um die Entwicklung der Datenpipelines an den Geschäftsanforderungen auszurichten.

• Optimierung von Power BI-Dashboards:

• Enge Zusammenarbeit mit Stakeholdern, um Berichtserfordernisse für Bestandskunden zu bewerten und zu verstehen.

• Entwurf und Implementierung eines inkrementellen Aktualisierungsprozesses in Power BI, um tägliche Updates ohne vollständiges Neuladen zu gewährleisten.

• Zusammenarbeit mit Azure-Dateningenieuren zur Optimierung von Datenverarbeitungs- und Veröffentlichungsprozessen.

• Kommunikation mit Stakeholdern & Datenmodellierung:

• Vermittlung zwischen Group Data Office und Technology Office, um Standards für Datenmodellierung abzustimmen.

• Anforderungserhebung im Data-Engineering-Team und Teilnahme an wöchentlichen Statusmeetings, um Implementierungsupdates zu geben und Blocker in Teams in Deutschland, Polen und Indien zu lösen.

• Dokumentation & Qualitätssicherung:

• Erstellung von technischen End-to-End-Design-Dokumentationen, Datenflussdiagrammen und Power BI-Audit-Leitfäden für die Zukunft.

• Teilnahme an UAT-Sessions mit Fachanwendern, um Datenoutputs und Berichtgenauigkeit zu validieren.

• Entwickelte und automatisierte eine Datenpipeline mit GitLab CI/CD für Datenaufnahme, Validierung und Laden in eine zentrale Datenbank.
• Entwickelte Python-Skripte zur Datenvalidierung und -transformation und stellte so die Datenqualität und Einhaltung der Metadatenstandards sicher.
• Verwaltete den gesamten Datenlebenszyklus von dateibasierten Repositories bis zu einer strukturierten SQL-Server-Datenbank.
• Arbeitete in einem interdisziplinären Team am Aufbau einer zentralen Datenbank für Omics-Daten und zur Sicherstellung der Reproduzierbarkeit computergestützter Analysen.