Apache Spark Experten in Berlin

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Architektur der Azure Landing Zone: Entwurf und Implementierung einer Azure Landing Zone mit Hub-and-Spoke-Architektur und Unterstützung mehrerer Regionen. Sie bildet die sichere, skalierbare und hochverfügbare Grundlage für Daten- und ML-Plattformen für autonomes Fahren und Parken.
• Compliance mit Azure Policy: Durchsetzung von Sicherheits- und Compliance-Standards über Azure-Abonnements hinweg mit Azure Policy (Guardrails, deny/audit/deploy-if-not-exists), wobei konstant sehr hohe Sicherheitsbewertungen der Infrastruktur erreicht wurden.
• Infrastructure-as-Code: Automatisierung der Bereitstellung und Konfiguration von Azure-Ressourcen mit Terraform und Bicep; Änderungen werden über geprüfte CI/CD-Pipelines ausgerollt.
• Azure Databricks und Unity Catalog: Umfassende Erfahrung im Betrieb von Azure Databricks mit Unity Catalog für zentrale Data Governance, Zugriffskontrolle, Datenherkunft und Auditing über mehrere Workspaces hinweg.
• Monitoring und Observability: Aufbau und Betrieb von Infrastruktur-Monitoring und Logging mit Azure Monitor, Prometheus, Grafana und Loki, einschließlich Plattformzustand, Alarmierung, Fehleranalyse und Kapazitätsentwicklung.
• Plattform im großen Maßstab: Architektur und Betrieb von Cloud-Daten- und ML-Plattformen zur Verarbeitung und Simulation von Fahrzeugdaten im PB-Bereich; Orchestrierung von auf Argo Workflows basierenden Recompute- und Autolabeling-Services mit einer Skalierung auf mehr als 100k+ gleichzeitig laufende Pods auf AKS.
• Reproduzierbares ML: Aufbau reproduzierbarer Trainingsumgebungen mit Versionierung von Datensätzen und Nachverfolgung der Datenherkunft, wodurch Audits und zuverlässige Experimente ermöglicht werden.
• Operative Exzellenz: Automatisierung der Verwaltung von GitHub-Organisationen und CI/CD-Pipelines zur Verbesserung der Entwicklerproduktivität und Zuverlässigkeit von Deployments; Automatisierung wiederkehrender Betriebsprozesse.
• FinOps: Entwicklung einer transparenten Ressourcen- und Kostenverfolgung für Azure-Umgebungen mit mehreren Projekten.
• Führung: Technische Leitung für Infrastrukturthemen in Zusammenarbeit mit Entwicklungs-, DevOps- und Sicherheitsteams; technischer Interviewer und Mitglied des Recruiting-Gremiums zum Ausbau des Engineering-Teams.

• Tätigkeit als technischer Berater zur Optimierung mehrschichtiger Ensemble-Modelle, die ResNet, CNN-BiGRU-Attention und XGBoost kombinieren.
• Begleitung der Implementierung eines Logistic-Regression-Meta-Learners zur Lösung von Problemen mit unausgeglichenen Klassen; dabei wurden 92.86% Genauigkeit und 0.9644 AUC bei den Datensätzen PTB-XL und Chapman-Shaoxing erreicht.

Als unabhängiger BI-Berater für eine FinTech-SaaS-Plattform tätig, Aufbau und Wartung des gesamten Microsoft-Azure- und Fabric-Analytics-Stacks hinter einem mandantenfähigen Buchhaltungsprodukt, mit dem Geschäftsinhaber ihre eigene finanzielle Entwicklung verfolgen.

• Zusammenarbeit mit Finanz-Stakeholdern, um komplexe Buchhaltungsabläufe in Echtzeit-BI-Dashboards (P&L, Cash Flow, Balance Sheet) zu übersetzen und 2000+ Geschäftsinhabern zu ermöglichen, Cashflow und finanzielle Gesamtsituation einfach zu verfolgen.
• Entwicklung von 10+ interaktiven Dashboards, die jedem Geschäftsinhaber eine personalisierte Echtzeitübersicht über die eigene Vertriebsleistung, die Überfälligkeit von Forderungen und die Betriebskosten bieten.
• Sicherstellung einer strengen Data Governance durch die Implementierung dynamischer Row-Level Security (RLS) mit DAX, um die Daten jedes Geschäftsinhabers innerhalb des gemeinsamen mandantenfähigen Modells zu isolieren.
• Wartung und Erweiterung einer Azure-ELT-Pipeline (Azure Data Factory, Azure SQL Database, Azure Synapse) zur automatisierten Datenaufnahme und -transformation.
• Mitwirkung an der teamweiten Plattformmigration von Azure zu Microsoft Fabric zur Optimierung der Lizenzkosten für die Kapazität.
• Konzeption und Implementierung einer Microsoft-Fabric-ELT-Pipeline (Lakehouse, Pipelines, PySpark) zur automatisierten Datenaufnahme und -transformation als Ersatz für die vorherige Azure-Pipeline.
• Modellierung der bereinigten Daten in einem Star Schema innerhalb des Data Warehouse mit T-SQL als Grundlage für das Power BI Semantic Model.
• Einsatz von KI-Tools, einschließlich Copilot und Claude, als Entwicklungspartner entlang der gesamten ELT-Pipeline, von der Datenaufnahme bis zu KPI-Reporting und Visualisierung.
• Unterstützung agiler Bereitstellungsprozesse mit Jira zur Nachverfolgung von Entwicklungsaufgaben und Confluence zur Pflege technischer und projektbezogener Dokumentation.

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Fractional Leadership; Beratung von Startups und Scale-ups in der Wachstumsphase zu Datenstrategie, ML-Produkten und Plattform-Grundlagen
• Aufbau von Entscheidungssystemen für Growth, Personalisierung und Produktexperimente in E-Commerce, Digital Health, Energie und Logistik
• Erforschung von Agentic AI und LLM-basierten Tools für produktionsreife Muster

• Entwickelte und implementierte ein hybrides Empfehlungssystem (Content-Based + Collaborative Filtering)
• Baute End-to-End-ML-Pipelines inklusive Datenverarbeitung, Feature Engineering, Modelltraining und Bewertung
• Entwickelte RAG-basierte LLM-Systeme mit LangChain und Vektordatenbanken für semantische Suche und Wissensabruf
• Etablierte MLOps-Workflows mit MLflow für Experiment-Tracking, Versionierung und Deployment-Bereitschaft
• Implementierte Deep-Learning-Modelle (Computer Vision & Klassifikation) mit PyTorch und TensorFlow

• KI- und Data-Science-Lösungen geliefert, darunter LLM-basierte Chatbots und Datenpipelines, wodurch die operative Effizienz verbessert wurde.
• An Produktfunktionen mitgearbeitet, messbare Wirkung erzielt und starke Kundenbeziehungen gepflegt.

• Entwicklung von Krypto-Quant-Strategien, automatisierte Handelsausführung, Onchain-Daten-Client (Ethereum / Solana)
• Entwicklung von Daten- und Handelsarchitekturen für die Bereitstellung von Liquidität

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlags- und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für Echtzeit-Plattformüberwachung
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch wiederverwendbares Automatisierungsmodul für 7 Kunden-Domains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offenliegende Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• 3-Team-Integration in 1 Sprint geliefert

• Kontext: Teams aus dem Gesundheitswesen und Labor brauchten eine schnellere Dokumentenanalyse, Unterstützung bei der Behandlungsplanung und zuverlässige KI-Workflows für MR-/VR-gestützte Einsätze.
• Beitrag: Ich habe die KI-Plattform für das Gesundheitswesen, Modell-/Agenten-Workflows, die Bereitstellungsplattform für VR-Brillen, REST-APIs, Next.js/React-Oberflächen und CI/CD-Pipelines aufgebaut.
• Auswirkung: Ich habe eine produktionsreife Grundlage für ein KI-Produkt geliefert, die die Prüfung klinischer Dokumente verbessert, Laborautomatisierung unterstützt und die Bereitstellung von VR-Flotten über verschiedene Umgebungen hinweg beherrschbar gemacht hat.

Tech: TypeScript, Next.js, Node.js, React, Java, Spring Boot, Python, PyTorch, TensorFlow, Docker, PostgreSQL, OpenAPI, GitLab, GitHub Actions.

• Als Price Listing Service Team Price für alle Autos und Vans in unterschiedlichen Märkten zur Verfügung stellen
• Marktspezifische Anforderungen anpassen wie Steuern, Government Subventionen, Campaign
• Neue Price für alle neuen Autos und bestehende Autos importieren, synchronisieren und in Reddis Datastore speichern
• Support für unser Produkt und On-Call-Duty
• Tagesgeschäft, Entwicklung neuer Funktionen, Fehlerbehebung
• Pair Programming, Code-Review, Mob Programming
• POC für neue Ideen entwickeln
• Wartung und Erweiterung des Backends
• DevOps-Aufgaben
• Kubernetes-Update ausführen
• Kubernetes-Ressourcen anpassen und weiterentwickeln
• Helm Charts entwickeln und anpassen
• ArgoCD anpassen und updaten
• CI/CD pflegen, anpassen, weiterentwickeln