Databricks Experten in Frankfurt

Felix T.

Qualitäts- und Prozessmanager Handel – Schwerpunkt Systeme

Letzte Position:

Data Engineering und Power BI bei Wesernetz Bremen

Eigenverantwortlicher Aufbau einer Datenplattform mit systemübergreifendem Prozessmonitoring.

Konzeption der Bronze/Silver/Gold-Architektur und Python-basierte Pipelines für heterogene operative Quellen.
Bereinigung, Harmonisierung und Validierung der Daten; Verarbeitung und Ablage im Parquet-Format.
Historisierung von Datenständen und Aufbau fachlicher Fakten- und Dimensionsmodelle für nachvollziehbare Auswertungen.
Automatisierte Datenbereitstellung mit Python und Power Automate (Desktop und Cloud); SharePoint für Archivierung und Datenzugriff.
Entwicklung der Power-BI-Lösung von der Datenaufbereitung bis zur Visualisierung von Prozesszuständen, Bearbeitungsständen und Abweichungen.

Technologien: Python, SQL, Parquet, Power BI, Power Query, Power Automate, SharePoint, Copilot

Monika T.

Senior Technical Lead

Letzte Position:

Senior ETL Lead bei Takeda GmbH

Leitete die Konzeption, Entwicklung und Bereitstellung von Datenlösungen zur Unterstützung einer großen Pharmaübernahme für Takeda Pharmaceutical Company und lieferte Systeme für Transparenzberichte auf Azure,Databricks (Python and Shell Scripting)-Plattformen.
Verantwortete die Konzeption und Entwicklung skalierbarer ELT-Pipelines zur Verarbeitung von Kunden- und Produktdaten mit Azure, komplexem SQL, Databricks und Shell scripting und ermöglichte eine effiziente Datenintegration und -verarbeitung aus mehreren Quellen einschließlich Orchestrierung von Jobs und Workflow-Automatisierung.
Implementierte Techniken zur Performance-Optimierung (Abfrageoptimierung, Parallelisierung, Workload-Optimierung) und verbesserte dadurch die Systemeffizienz und Verarbeitungszeit.
Setzte ausgeprägte analytische Fähigkeiten und Problemlösungskompetenz ein, um technische Lösungen zu bewerten und Geschäftsanforderungen für Compliance- und Transparenzberichte zu unterstützen.
Entwickelte skalierbare Datengrundlagen für nachgelagerte Analysen und KI-Workloads.
Leitete Initiativen zur Datenqualität, indem Daten aus mehreren Quellen bewertet, Qualitätsmetriken definiert und Prozesse für Überwachung und kontinuierliche Verbesserung etabliert wurden.

Ulm P.

Freiberuflicher IT-Spezialist

Steinbach (Taunus)

Letzte Position:

DataStage ETL Experte bei ING Bank

Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

Ashkan Z.

Senior Data Engineer / Senior Data Scientist (Microsoft Azure)

Kelkheim (Taunus)

Letzte Position:

Senior Data Engineer / Senior Data Scientist (Microsoft Azure) bei Vattenfall Europe

Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
Entwurf und Implementierung von ETLs und Datenpipelines
Erstellung und Pflege von APIs
Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
Modellierung von Daten
Modellentwicklung und Modelloptimierung
Anomalieerkennung mit KI
Predictive Analytics

Verwendete Technologien:

Snowflake
Fabric
Azure Synapse Analytics
Azure DataFactory
Azure Data Lake
Azure DevOps
Databricks
Spark
CI/CD
SQL Database
Python
Power Platform

Samet P.

Technischer Product Owner & Rollout Manager

Flörsheim am Main

Letzte Position:

Technischer Product Owner & Rollout Manager bei EY

Fachliche Steuerung als Product Owner für das DMS-Modul im agilen Multi-Team-Setup
Koordination des bundesweiten Rollouts inklusive Anforderungsmanagement und Roadmap-Entwicklung
Aufbau und Pflege des Product Backlogs mit Fokus auf Skalierbarkeit, Nutzerfreundlichkeit und Datenschutz
Durchführung von Sprint-Reviews, Refinements und Stakeholder-Demos mit über 15 beteiligten Einheiten
Entwicklung eines Rollout- und Trainingskonzepts zur erfolgreichen Einführung in über 200 Behördenstellen
Einführung eines Reporting- und Monitoring-Dashboards zur Erfolgsmessung der Nutzung
Enge Zusammenarbeit mit Architektur, QA und Betrieb zur Sicherstellung der Integrationsfähigkeit ins bestehende Systemumfeld

Anton R.

AI-Engineer

Letzte Position:

AI-Engineer bei Börsennotiertes Unternehmen, Industrielle Sicherheitstechnik

Entwurf und Umsetzung der agentischen KI-Architektur für eine unternehmensweite Plattform zur sicheren Bereitstellung von LLM-basierten Agenten
Design und Implementierung von End-to-End RAG-Pipelines aus multiplen Quellen: Dokumentenaufbereitung, Chunking-Strategien für heterogene Dokumenttypen, Embedding, Retrieval mit Re-Ranking und robuste Prompt-Orchestrierung
Modulares Context-Engineering-Framework mit Skill-Architektur, Kontext-Isolation und dynamischer Ressourcenverwaltung; Human-in-the-Loop-Kontrolle für Enterprise-Tool-Integrationen
Aufbau der CI/CD-Pipeline, Test-Strategie, Tracing sowohl auf Software-Seite als auch automatisierte LLM- und Agenten-Evaluierungen, Red Team Testing und Tracing sowie Übergabe in reproduzierbaren Betrieb (ISO27001 und SOC2 konform)

Kabir K.

KI-Ingenieur / Spezialist für Bank-IT

Letzte Position:

KI-Ingenieur / Spezialist für Bank-IT bei Hamburg Commercial Bank (HCOB) & Immobilienunternehmen

Entwickelte eine Retrieval-Augmented-Generation-(RAG)-Anwendung mit LangChain und LangGraph zur Analyse von Unternehmensdokumenten, bereitgestellt als installierbare Electron-Desktop-App mit lokalen KI-Modellen über Ollama.
Bietet aktuell fortlaufenden KI-Feature-Support für das Loan Pricing Tool der Hamburg Commercial Bank mit einem Einsatz von drei Tagen pro Monat.
Konzipierte Kubernetes-native Lösungen, einschließlich Helm-Chart-Konfiguration und Azure DevOps-Pipeline-Integration.

Tan P.

DevOps- & Fullstack-Ingenieur

Hanau

Letzte Position:

DevOps-Ingenieur im DevOps-Team bei Rise-World

Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
Einsatz von Scrum- und Kanban-Methoden.
Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
Datenbankunterstützung.
Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.

Virginia W.

Freiberuflicher Datenannotator & Suchrelevanzbewerter

Offenbach am Main

Letzte Position:

Freiberuflicher Datenannotator & Suchrelevanzbewerter bei SIGMA AI

Bewertete Suchergebnisse auf Relevanz, Genauigkeit und Qualität gemäß den Vorgaben.
Führte Datenannotation und Inhaltskennzeichnung für KI-Trainingsmodelle durch.
Bewertete Nutzerabsichten, um Suchmaschinenalgorithmen zu verfeinern und zu verbessern.
Lieferte linguistische Einblicke zur Optimierung der mehrsprachigen Suche.
Überprüfte KI-generierte Antworten zur Verbesserung der Sprachverarbeitung (NLP).

Petru K.

Architekt & Technischer Teamleiter & Senior Entwickler

Frankfurt

Letzte Position:

Architekt & Technischer Teamleiter & Senior Entwickler bei Goetel GmbH

Konzeption, Architektur & Entwicklung/Programmierung der ETL/ELT-Datenpipelines, DWH und BI-Lösung
Technische Projektleitung, POC – Erstellung eines Proof of Concept
Vermittlung zwischen Fachbereichen und technischen Teams
Azure DevOps Boards & Jira
Datenmodellierung & Data Engineering – Data Warehouse & Data Mart
Azure (Data Factory, Azure SQL, Azure DevOps CI/CD, Azure Data Lake V2, Business Central REST API, OData API, OAuth2-Token)
SharePoint-Liste & API für ADF, Firebird DB, Postgres DB, DB2
Power BI (Power Query), DAX, Excel-PBI-Add-on, GIS-Daten
Automatisiertes Monitoring/Logging von ETL-Prozessen, Performance-Monitoring, Fehler-Monitoring – Erkennung und Behebung
Index-Performance-Tuning & Statistik-Monitoring, Transact-SQL
Datensicherheit – MFA – Multifaktor-Authentifizierung & OAuth2, MS Graph, Azure-Netzwerke & Firewalls, Gateways, Rollen, Benutzergruppen – mit Lese- und Schreibberechtigungen
Quellen – Vario Bill, Camunda, Radius, Geo-Datenbank, OTRS, PAST, MS Dynamics Business Central, Azure Blob Data Lake, SharePoint-Liste

Ritika S.

Services Solution Architect

Frankfurt

Letzte Position:

AWmOpsRtKekEX(CPEliRenIEtN: CInEfoSrs.yDs,aHtaitAarcchhiiEtencetr(gAyW) S)

Globale Marketing-Analysen für Hitachi Energy im Rahmen einer globalen Datenmodernisierungsinitiative, die darauf abzielt, die Datenspeicherung und Verfügbarkeit historischer Daten zu verbessern und Eloquas 2-jährige Aufbewahrung für Remote-Interaktionsberichte und Analysen bereitzustellen.
Analyse der Standardaufbewahrungsrichtlinie von Eloqua und Identifizierung des Risikos von Datenverlusten für Datensätze, die älter als zwei Jahre sind.
Entwurf und Implementierung einer Strategie zur historischen Datenaufbewahrung durch Erstellung transformierter Tabellen in der Ziel-Datenplattform, um ältere Daten zu archivieren und gleichzeitig Dashboards zur Datenqualität sicherzustellen.
Zusammenarbeit mit dem Power BI-Team, um Dashboards von Rohdaten aus Eloqua-Importen auf die neu erstellte Archivschicht umzustellen.
Nutzung von Jira zur Verfolgung und Verwaltung von Data-Engineering-Aufgaben, Fehlern und Feature-Requests in agilen Sprints; Koordination der Backlog-Priorisierung und Aufgabenverteilung, um die Entwicklung der Datenpipelines an den Geschäftsanforderungen auszurichten.
Optimierung von Power BI-Dashboards:
Enge Zusammenarbeit mit Stakeholdern, um Berichtserfordernisse für Bestandskunden zu bewerten und zu verstehen.
Entwurf und Implementierung eines inkrementellen Aktualisierungsprozesses in Power BI, um tägliche Updates ohne vollständiges Neuladen zu gewährleisten.
Zusammenarbeit mit Azure-Dateningenieuren zur Optimierung von Datenverarbeitungs- und Veröffentlichungsprozessen.
Kommunikation mit Stakeholdern & Datenmodellierung:
Vermittlung zwischen Group Data Office und Technology Office, um Standards für Datenmodellierung abzustimmen.
Anforderungserhebung im Data-Engineering-Team und Teilnahme an wöchentlichen Statusmeetings, um Implementierungsupdates zu geben und Blocker in Teams in Deutschland, Polen und Indien zu lösen.
Dokumentation & Qualitätssicherung:
Erstellung von technischen End-to-End-Design-Dokumentationen, Datenflussdiagrammen und Power BI-Audit-Leitfäden für die Zukunft.
Teilnahme an UAT-Sessions mit Fachanwendern, um Datenoutputs und Berichtgenauigkeit zu validieren.

Aparna V.

Datenmanager

Hanau

Letzte Position:

Datenmanager bei Universität zu Köln

Entwickelte und automatisierte eine Datenpipeline mit GitLab CI/CD für Datenaufnahme, Validierung und Laden in eine zentrale Datenbank.
Entwickelte Python-Skripte zur Datenvalidierung und -transformation und stellte so die Datenqualität und Einhaltung der Metadatenstandards sicher.
Verwaltete den gesamten Datenlebenszyklus von dateibasierten Repositories bis zu einer strukturierten SQL-Server-Datenbank.
Arbeitete in einem interdisziplinären Team am Aufbau einer zentralen Datenbank für Omics-Daten und zur Sicherstellung der Reproduzierbarkeit computergestützter Analysen.

Leonard H.