Data Engineers in Berlin

Java 21 · Spring Boot 3 · Keycloak · PostgreSQL · Docker · Nginx · GitHub Actions · DigitalOcean · React 18 · TypeScript · Plasmo

• Eine produktionsreife Job-Application-Tracker-Lösung von Grund auf konzipiert und live gestellt: REST-API mit 5-stufigem Workflow, Pagination, Sortierung und dynamischem Filtern — komplette Verantwortung von Design bis zum Live-Deployment in der Cloud auf DigitalOcean.
• Produktives Identity Management umgesetzt: OAuth 2.0 / OpenID Connect / JWT / RBAC über Keycloak, unter Anwendung von Hexagonaler Architektur und DDD-Prinzipien.
• Automatisierte CI/CD-Pipeline gebaut (GitHub Actions); mit Docker containerisiert; Nginx Reverse Proxy mit pathbasiertem Routing und SSL-Terminierung.
• Eine Chrome-Erweiterung entwickelt (Plasmo-Framework, Manifest V3), die Job-Bewerbungen direkt von LinkedIn in den Tracker übernimmt — zeigt ein komplettes Produktverständnis über Backend-API und Browser-Client hinweg.

• ETL-Pipelines auf Basis von Python und SQL für Daten aus mehreren Quellen entworfen und gepflegt
• Prozesse zur Datenvalidierung und zum Monitoring aufgebaut, um Genauigkeit und Zuverlässigkeit sicherzustellen
• Strukturierte Datensätze geliefert, um Reporting und Geschäftsentscheidungen zu unterstützen
• Mit Stakeholdern zusammengearbeitet, um Anforderungen in Datenlösungen zu übersetzen

Ich bin darauf spezialisiert, komplexe Daten aus unterschiedlichen Umgebungen durch überzeugendes visuelles Storytelling in konkreten Geschäftsnutzen zu übersetzen. Ich verfüge über umfassende Erfahrung darin, umsetzbare Erkenntnisse zu gewinnen und Empfehlungen für geschäftliche Stakeholder aufzubereiten. Meine technischen Kenntnisse in SQL, Python und führenden Datenvisualisierungstools wie Tableau und Power BI ermöglichen es mir, eine neue Generation von Self-Service-Tools und Analytics-Services bereitzustellen.

• Datenvisualisierung & Storytelling: Erstellung aussagekräftiger Datenvisualisierungen und Dashboards in Tableau und Power BI, um Erkenntnisse verständlich zu vermitteln und umsetzbare Empfehlungen für C-Suite-Stakeholder und Führungskräfte zu präsentieren.
• Stakeholder-Management: Aufbau effektiver Arbeitsbeziehungen mit wichtigen geschäftlichen Stakeholdern, Data Engineers und weiteren Partnern, um gemeinsame datenbasierte Ziele und Vorgaben zu erreichen.
• Erkenntnisse & Empfehlungen: Gewinnung umsetzbarer Erkenntnisse aus komplexen Datenanalysen zu Funnel-Konversion, Marketingleistung und ROI, mit direktem Einfluss auf Geschäftsleistung und Strategie.
• Datenzusammenarbeit & Befähigung: Enge Zusammenarbeit mit funktionsübergreifenden Teams zur Unterstützung des laufenden Datenbedarfs interner Partner und zur Optimierung interner Datenprozesse und Arbeitsabläufe.
• BI- & Datenexpertise: Einsatz umfangreicher Erfahrung in Datenmodellierung, Datenerfassung, Data Mining und Analyse zur Bereitstellung ganzheitlicher analytischer Lösungen – von der Bedarfsermittlung mit Stakeholdern bis zur Produktivsetzung.

• Dozent für den GenAI-Track des Master School Institute of Technology
• Entwicklung einer Fullstack-KI-Anwendung (React + Python/FastAPI) für den automatisierten Lieferanten-Produktimport mit intelligenter Spalten- und Kategorienklassifizierung (4-Layer hierarchisch) einschließlich Human-in-the-Loop-Validierung

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlags- und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für Echtzeit-Plattformüberwachung
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch wiederverwendbares Automatisierungsmodul für 7 Kunden-Domains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offenliegende Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• 3-Team-Integration in 1 Sprint geliefert

• Skalierbare ETL/ELT-Pipelines mit Python, SQL, dbt, AWS und Informatica entworfen und implementiert, um Daten aus Quellen wie APIs, relationalen Datenbanken und Flatfiles in Snowflake zu laden und die Laufzeit der Pipelines um ~30% zu reduzieren.
• Daten mit hohem Volumen mithilfe von AWS-Services (S3, Glue, Step Functions, IAM) von lokal betriebenem Teradata nach Snowflake migriert und dabei Datenkonsistenz und -integrität sichergestellt.
• Die Kimball-Methode zur Entwicklung von Star- und Snowflake-Schemas angewendet, wodurch die Abfrageleistung verbessert und die Snowflake-Computekosten gesenkt wurden.
• Automatisierte Datenqualitätsprüfungen mit SQL-basierten dbt-Tests und dem Great Expectations Framework implementiert, um Anomalien zu erkennen und die Datenqualität vor Produktionsläufen sicherzustellen.
• ETL-Workflows in Airflow mit Python orchestriert und Code-Bereitstellungen über Git nach CI/CD-Best-Practices verwaltet, um die Zuverlässigkeit der Bereitstellungen zu erhöhen und die Verfügbarkeit der Pipelines sicherzustellen.
• Interaktive Power BI-Dashboards und aufbereitete Datensätze erstellt, um Stakeholder bei datenbasierten Entscheidungen zu unterstützen.
• Technische Dokumentation für ETL-Workflows in Confluence gepflegt und Wissensaustausch-Sessions für neue Mitarbeitende geleitet.

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Beratung des Entwicklungsteams bei der Neustrukturierung von Daten zur Verbesserung der Performance und Reduzierung der Code-Komplexität
• Neugestaltung der Datenbanktabellen für Caching und Einbindung vordefinierter Modelle zur Bedienung von Kundenanfragen
• Unterstützung des Produkts durch Analyse von Git-Commits zur Bereitstellung von KPIs für Manager großer Engineering-Teams