Amazon Redshift Experten in Frankfurt

• Leitete die Konzeption, Entwicklung und Bereitstellung von Datenlösungen zur Unterstützung einer großen Pharmaübernahme für Takeda Pharmaceutical Company und lieferte Systeme für Transparenzberichte auf Azure,Databricks (Python and Shell Scripting)-Plattformen.
• Verantwortete die Konzeption und Entwicklung skalierbarer ELT-Pipelines zur Verarbeitung von Kunden- und Produktdaten mit Azure, komplexem SQL, Databricks und Shell scripting und ermöglichte eine effiziente Datenintegration und -verarbeitung aus mehreren Quellen einschließlich Orchestrierung von Jobs und Workflow-Automatisierung.
• Implementierte Techniken zur Performance-Optimierung (Abfrageoptimierung, Parallelisierung, Workload-Optimierung) und verbesserte dadurch die Systemeffizienz und Verarbeitungszeit.
• Setzte ausgeprägte analytische Fähigkeiten und Problemlösungskompetenz ein, um technische Lösungen zu bewerten und Geschäftsanforderungen für Compliance- und Transparenzberichte zu unterstützen.
• Entwickelte skalierbare Datengrundlagen für nachgelagerte Analysen und KI-Workloads.
• Leitete Initiativen zur Datenqualität, indem Daten aus mehreren Quellen bewertet, Qualitätsmetriken definiert und Prozesse für Überwachung und kontinuierliche Verbesserung etabliert wurden.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Analyse der Web- und Kampagnen-Performance zur Ableitung umsetzbarer Erkenntnisse für die Optimierung von Marketing und Wachstum
• Implementierung und Pflege von Tag-Management-Lösungen zur Sicherstellung einer zuverlässigen und konsistenten Datenerhebung
• Kontinuierliche Weiterentwicklung und Optimierung von Reporting-Strukturen mit Fokus auf Skalierbarkeit und Datenqualität
• Durchführung regelmäßiger Deep-Dive-Analysen sowie Leitung monatlicher Stakeholder-Sessions zur Präsentation von Ergebnissen und Abstimmung von Optimierungsmaßnahmen
• Konzeption und Betrieb von End-to-End-Datenflüssen von der Datenerhebung bis zur Visualisierung
• Tools: GA4, Google Tag Manager, Looker Studio, Airbyte, BigQuery

• Entwicklung einer zentralen Abrechnungs-App für Cloud-Kosten bei der DB
• AWS
• Python
• AWS CDK
• RDS
• Spark (PySpark)
• Glue
• Lambda
• CI/CD (GitLab)
• React/Typescript
• Datenoptimierung
• Scrum

• Globale Marketing-Analysen für Hitachi Energy im Rahmen einer globalen Datenmodernisierungsinitiative, die darauf abzielt, die Datenspeicherung und Verfügbarkeit historischer Daten zu verbessern und Eloquas 2-jährige Aufbewahrung für Remote-Interaktionsberichte und Analysen bereitzustellen.

• Analyse der Standardaufbewahrungsrichtlinie von Eloqua und Identifizierung des Risikos von Datenverlusten für Datensätze, die älter als zwei Jahre sind.

• Entwurf und Implementierung einer Strategie zur historischen Datenaufbewahrung durch Erstellung transformierter Tabellen in der Ziel-Datenplattform, um ältere Daten zu archivieren und gleichzeitig Dashboards zur Datenqualität sicherzustellen.

• Zusammenarbeit mit dem Power BI-Team, um Dashboards von Rohdaten aus Eloqua-Importen auf die neu erstellte Archivschicht umzustellen.

• Nutzung von Jira zur Verfolgung und Verwaltung von Data-Engineering-Aufgaben, Fehlern und Feature-Requests in agilen Sprints; Koordination der Backlog-Priorisierung und Aufgabenverteilung, um die Entwicklung der Datenpipelines an den Geschäftsanforderungen auszurichten.

• Optimierung von Power BI-Dashboards:

• Enge Zusammenarbeit mit Stakeholdern, um Berichtserfordernisse für Bestandskunden zu bewerten und zu verstehen.

• Entwurf und Implementierung eines inkrementellen Aktualisierungsprozesses in Power BI, um tägliche Updates ohne vollständiges Neuladen zu gewährleisten.

• Zusammenarbeit mit Azure-Dateningenieuren zur Optimierung von Datenverarbeitungs- und Veröffentlichungsprozessen.

• Kommunikation mit Stakeholdern & Datenmodellierung:

• Vermittlung zwischen Group Data Office und Technology Office, um Standards für Datenmodellierung abzustimmen.

• Anforderungserhebung im Data-Engineering-Team und Teilnahme an wöchentlichen Statusmeetings, um Implementierungsupdates zu geben und Blocker in Teams in Deutschland, Polen und Indien zu lösen.

• Dokumentation & Qualitätssicherung:

• Erstellung von technischen End-to-End-Design-Dokumentationen, Datenflussdiagrammen und Power BI-Audit-Leitfäden für die Zukunft.

• Teilnahme an UAT-Sessions mit Fachanwendern, um Datenoutputs und Berichtgenauigkeit zu validieren.

• Evaluierung möglicher Anbieter (Snowflake vs Databricks) und Konzeption der Analytics-Datenplattform mittels Databricks
• Datenspeicherung und Ingestion Layer mit Amazon S3
• Erstellung von ETL-Prozessen und Datentransformationen mit AWS Glue und Databricks Notebooks
• Orchestrierung mit AWS Glue Workflow, Databricks Workflow und Databricks DLT
• Verarbeitung unstrukturierter Daten, unter anderem Text, Bild und Video
• Einrichtung und Administration des Databricks Workspace
• Aufsetzen einer Medaillen-Architektur zur Gewährleistung der Datenqualität
• Evaluierung möglicher BI-Tools (Power BI, AWS Quicksight, Tableau)
• Etablierung von MLOps mittels MLFlow
• Einführung von Data Governance und Data Lineage mittels Unity Catalog