Apache Spark Experten in Berlin

• Entwickelte ein JTBD-basiertes Priorisierungs-Framework für über 3.000 gesammelte Feature-Anfragen, identifizierte 27 Makler-Jobs, validierte 8 davon in 25 Nutzerinterviews und nutzte die daraus resultierende Job-Map als Live-Priorisierungsfilter für alle Eingangskanäle (Upvoty, CSAT, Beratungstickets).
• Verantwortlich für die Scout24-Lighthouse-Initiative: Document Intelligence mit vollständiger RAG-Architektur (semantisches Chunking, bge-m3 Embeddings, pgvector, BM25+Dense Hybrid-Retrieval).
• Reduzierte die Durchlaufzeit von Kunden-Feature-Anfragen auf 3,1 Tage durch Code-Analyse, Ticket-Spezifikation und eigenständige Implementierung mithilfe eines Coding-Agenten (Codex).
• Entwickelte einen LLM-basierten Support-Agenten (GPT-4o mini, Codex-generierte Merge Requests), der Eskalationen auf 3rd-Level von 40 % auf 5 % aller monatlichen Tickets reduzierte.
• Integrierte sechs Partner durch technische Koordination, Spezifikation, Backlog- und Release-Management und führte sieben Full-Stack-Entwickler.
• Beseitigte innerhalb von sechs Wochen regulatorische Risiken für Makler durch Risikoanalyse (BGH-Urteil zum Fernabsatz/GDPR), neue Audit-Funktionen und Koordination mit Rechts- und Datenschutzbeauftragten.

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlag und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für die Echtzeit-Überwachung der Plattform
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch ein wiederverwendbares Automatisierungsmodul für 7 Kundendomains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offengelegte Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• Integration von 3 Teams in 1 Sprint geliefert

• Leitung von Abstimmungen zwischen Fachbereich und IT
• Koordination von Entwicklung und Test
• Business Analyse und strukturierte Anforderungsaufnahme
• Spezifikation fachlicher und technischer Anforderungen
• Integration von Schnittstellen zu internen Systemen
• Entwicklung von SQL-Abfragen und Reporting
• Dokumentation in Confluence Ergebnis: Termingerechte Inbetriebnahme, strukturierte und abgestimmte Projektbasis, Sicherstellung eines koordinierten Projektablaufs.

• Biete freiberufliche Softwareentwicklungs- und AI-Orchestrierungsdienste für ein Startup in der Frühphase an.
• Entwickle und koordiniere autonome KI-Systeme, die komplexe, mehrstufige Workflows ausführen können.
• Entwickle Piloten und Proof-of-Concept-Lösungen mit Kundenkontakt.
• Nehme an Meetings mit Kunden und Investoren teil, um die Produktentwicklung und Geschäftsgespräche zu unterstützen.

• Agierte als technischer Berater zur Optimierung von mehrschichtigen Ensemble-Modellen, die ResNet, CNN-BiGRU-Attention und XGBoost kombinierten.
• Begleitete die Umsetzung eines Logistic-Regression-Meta-Lerners zur Lösung von Klassenungleichgewichten und erreichte 92,86 % Genauigkeit und einen AUC-Wert von 0,9644 auf den Datensätzen PTB-XL und Chapman-Shaoxing.

• Entwicklung von Krypto-Quant-Strategien, automatisierte Handelsausführung, On-Chain-Daten-Client (Ethereum / Solana)
• Entwicklung von Daten- und Handelsarchitektur für Liquiditätsbereitstellung

• Kontext: Teams aus dem Gesundheitswesen und Labor brauchten eine schnellere Dokumentenanalyse, Unterstützung bei der Behandlungsplanung und zuverlässige KI-Workflows für MR-/VR-gestützte Einsätze.
• Beitrag: Ich habe die KI-Plattform für das Gesundheitswesen, Modell-/Agenten-Workflows, die Bereitstellungsplattform für VR-Brillen, REST-APIs, Next.js/React-Oberflächen und CI/CD-Pipelines aufgebaut.
• Auswirkung: Ich habe eine produktionsreife Grundlage für ein KI-Produkt geliefert, die die Prüfung klinischer Dokumente verbessert, Laborautomatisierung unterstützt und die Bereitstellung von VR-Flotten über verschiedene Umgebungen hinweg beherrschbar gemacht hat.

Tech: TypeScript, Next.js, Node.js, React, Java, Spring Boot, Python, PyTorch, TensorFlow, Docker, PostgreSQL, OpenAPI, GitLab, GitHub Actions.

• Entwickle und präsentiere Lösungen mit GenAI-Software wie langchain, vercel ai sdk, copilotkit
• Arbeite mit Kunden zusammen, um ihre Herausforderungen zu verstehen und die besten Lösungen auf Basis von Open-Source-Datenprodukten zu liefern
• Baue RAG- und GraphRAG-Lösungen mit Neo4j, lancedb und Postgres
• Setze eine LLMOps-Plattform mit kubernetes, terraform, helmfile, Arize phoenix, mlflow auf
• Entwerfe und baue Datenpipelines mit dbt, Trino, Spark, Iceberg, Airflow, ArgoCD, terraform, kubernetes
• Lieferte eine nutzerzentrierte technische Strategie für Agriculture 4.0 und Precision Livestock Farming und half meinem Kunden, Fördermittel von Bpifrance zu sichern
• Entwickelte ein Prospecting-Tool für einen führenden französischen Solar-Carport-Installateur mit Geospatial Computing (GIS), wodurch der Vertriebsprozess schneller wurde
• Baute eine Digital-Twin-Architektur für Solar-Carports und EV-Ladestationen, die Echtzeit-Monitoring und intelligentes Laden möglich machte

• Fortführung seit 10/2023, Angebot meiner Data-Science-Entwicklungsfähigkeiten in Vollzeit für internationale Kunden

• Unterstützung von Unternehmen dabei, mehr über ihre vorhandenen (unstrukturierten) Daten zu erfahren, Prozesse und technische Systeme zu optimieren und Lösungen für ihre Probleme abzuleiten

• Genutzte Tools und Technologien: Python (sklearn, pandas, numpy, Django, SQLAlchemy, PyTorch), Matlab, Docker, AWS EC2, Lambda, S3, SQL, MySQL, Hadoop & Spark, Machine Learning, DNN, KI, Jira, Confluence, Git, CI/CD, GitLab, Jenkins

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte sowie höhere Transparenz und Reproduzierbarkeit
• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur
• Pipeline-Orchestrierung mit Azure Data Factory
• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions
• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)
• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses
• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs
• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS SharePoint, Mural

• Unterstützte den Wechsel des Unternehmens von einer On-Premise-Architektur zu AWS-Cloud-Diensten, modernisierte die Infrastruktur und optimierte die Betriebseffizienz.
• Setzte Fachwissen in Automatisierung und Softwareimplementierung ein, um Skalierbarkeit, Zuverlässigkeit und Rentabilität zu steigern.
• Implementierte Poetry und Ruff, um das Python-Abhängigkeitsmanagement und die Code-Qualitätsprüfungen zu optimieren, was die Entwicklungseffizienz verbesserte und Fehler reduzierte.
• Implementierte eine automatisierte CI/CD-Strategie mit GitHub Actions, die die Bereitstellungszeiten verkürzte und manuelle Eingriffe minimierte.
• Führte eine Deployment-Automatisierung für Kubernetes ein, um die Skalierbarkeit und Zuverlässigkeit von Anwendungen im gesamten Unternehmen zu verbessern.
• Bewertete und implementierte Apache Airflow für das Workflow-Management, was zu einer effizienteren Planung und Überwachung von Datenpipelines führte.
• Erstellte Datenschnittstellen für Energiehändler, die ihnen ermöglichten, ihre Gewinnmargen durch verbesserte Datenanalyse und Entscheidungswerkzeuge zu optimieren.

• Produktstrategie & Vision: Leitung der Reporting-Plattform für Kampagnen-Performance mit über 700 Partnern, Umwandlung manueller, auf MSTR basierender Wochenberichte in eine Echtzeit-Self-Service-Plattform zur Steigerung der Partner-Autonomie und operativen Effizienz
• Strategisches Roadmap-Management: Führung einer stufenweisen Migration mit Priorisierung von Performance-Kampagnen (70 % Umsatz) vor Awareness und Engagement, um eine iterative Plattformentwicklung im Einklang mit Zielen, Partner-Feedback, DSGVO-Vorgaben und Datenaufbewahrungsrichtlinien voranzutreiben
• Nutzerforschung & Kundenerkundung: Regelmäßige Interviews mit Partnern geführt, um Berichtserfordernisse, Entscheidungsprozesse und zusätzliche KPI-Anforderungen zu verstehen, und diese Erkenntnisse in Plattform-Verbesserungen und Feature-Priorisierungen überführt
• Funktionsübergreifende Führung: Zusammenarbeit mit Produktberatern, Analysten, Dateningenieuren, Frontend-Teams und Produktmarketing zur nahtlosen Plattformmigration, Verringerung des PC-Teams um 2 FTE bei gleichzeitiger Verbesserung der Servicequalität
• Skalierte Nutzerakzeptanz: Strategisches Onboarding der Top-30-Partner im Partnerprogramm, Ausweitung auf über 700 Partner im Partnerprogramm und Großhandel durch Schulungsdokumentation, Trainingskoordination und iterative Feedback-Einbindung
• Datengetriebene Produktoptimierung: Implementierung von Google Analytics Tracking und Engagement-Monitoring, Identifikation von Features mit geringer Nutzung (Bericht-Downloads, Detaillinks), Einsatz von AppCues und Re-Engagement-Kampagnen mit einer wöchentlichen Engagement-Rate von 40 %
• KPI-Standardisierung & Governance: Leitung einer funktionsübergreifenden Initiative zur Vereinheitlichung von KPI-Definitionen und -Formeln in Berichten, Dashboards und der ZMS-Plattform, Festlegung von North-Star-Metriken und wesentlichen KPIs für jedes Kampagnenziel zur Gewährleistung konsistenter Messung und Entscheidungsfindung

• Als Datenspezialist habe ich meine analytischen Fähigkeiten genutzt, um Rohdaten in umsetzbare Erkenntnisse zu verwandeln und damit strategische Entscheidungen und operative Verbesserungen vorangetrieben. Meine Aufgaben umfassten Dateninterpretation, Automatisierung von Berichten und funktionsübergreifende Zusammenarbeit unter Einsatz von Tools wie Microsoft Excel, Power BI und Python für umfassende Datenanalysen.
• Implementierung von Python-Skripten zur Validierung und Abstimmung großer Datensätze, wodurch manuelle Fehler reduziert und die Datenzuverlässigkeit erhöht wurden.
• Einsatz von Python (Pandas, NumPy, Matplotlib/Seaborn) zur Automatisierung von Datenbereinigung, -analyse und -visualisierung, was Effizienz und Genauigkeit im Reporting steigerte.
• Entwicklung interaktiver Dashboards in Power BI zur Darstellung wichtiger Kennzahlen, Trends und Leistungsindikatoren, um Entscheidungsprozesse in Echtzeit zu unterstützen.
• Gestaltung und Durchführung automatisierter Berichte mit Excel (Pivot-Tabellen, Power Query, VBA) und Power BI, um Datenkonsistenz und -genauigkeit abteilungsübergreifend sicherzustellen.
• Datenanalyse: Excel (Erweiterte Pivot-Tabellen, Power Query), Power BI (DAX, Datenmodellierung), Python (Pandas, NumPy, Visualisierungsbibliotheken)
• Automatisierung & Reporting: Power BI Dashboards, Excel-Makros (VBA), Python-Skripting.