PySpark-Experten

• Konzeption und Entwicklung einer produktionsreifen Data Platform auf Basis von Microsoft Fabric für ein E Commerce Unternehmen
• Aufbau einer skalierbaren Medallion Architektur (Bronze, Silver, Gold) mit Lakehouse und Delta Lake als Grundlage für Analytics und AI Anwendungen
• Entwicklung einer metadata driven ETL Plattform mit PySpark sowie eines generischen Incremental Loading Frameworks (SQL Server → Bronze → Silver → Gold)
• Entwicklung wiederverwendbarer Komponenten für Microsoft Fabric Notebooks zur Standardisierung von Datenintegration, Transformation und Validierung
• Implementierung automatisierter Data Pipelines inklusive Monitoring, Logging, Fehlerbehandlung und Delta MERGE Strategien für einen stabilen produktiven Betrieb
• Aufbau einer Business Layer Architektur für Reporting, Data Warehouse und wiederverwendbare Datenprodukte
• Integration heterogener Datenquellen über SQL Server, REST APIs, Amazon SP API und Google Analytics 4
• Enge Zusammenarbeit mit Fachbereichen zur Analyse fachlicher Anforderungen und Übersetzung in skalierbare Datenarchitekturen

Technologien: Microsoft Fabric, PySpark, Python, SQL Server, Delta Lake, Lakehouse, OneLake, Data Factory, Data Warehouse, REST APIs, Amazon SP-API, Google Analytics 4

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

• Machine Learning, BI und Big Data für Master-Studierende unterrichtet.

Technologien: Python, Power BI, SQL, ML, SnowflakeDB, databricks, MS Fabric, MongoDB, LLM

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

Entwicklung Python-basierter KI-Microservices und Integrationen für eine AEC/VR-SaaS-App auf Unity-Basis, mit Schwerpunkt auf LLM/VLM-Funktionen, retrievalgestützten Systemen, RESTful APIs, containerisierter Bereitstellung und einem Automatisierungs-Microservice für die CAD-zu-Unity-Pipeline.

• Entwicklung eines eigenen, auf Hybrid A* basierenden Algorithmus in C#, um Krankenhausszenarien zu simulieren, Konflikte in frühen Entwurfsphasen anhand von Kollisions- und Raumdaten zu erkennen und strukturierte Berichte zu erstellen.
• Lösung und Automatisierung des zeitaufwendigen Problems, CAD-Dateien in nutzbare Unity-Umgebungen umzuwandeln – mit einer speziell entwickelten Echtzeit-Pipeline und einer ZeroMQ-basierten Kommunikationsschicht zur Verteilung von Aufgaben auf mehrere Prozesse und für Echtzeit-Performance.
• Entwicklung einer Docker-basierten FastAPI-Pipeline zur Automatisierung von CAD-zu-Unity-Prozessen, die visuelles Objekt-Matching, Bild-Embeddings und vorab berechnete Metadaten kombiniert, um CAD-Objekte automatisch Unity-Verhaltensskripten zuzuordnen, Eigenschaften zuzuweisen und wiederholte KI-Inferenzaufrufe zu reduzieren.
• Erstellung von Dokumentationen und Beispielen, damit technische Nutzer die KI-Automatisierungspipeline verstehen, konfigurieren und erweitern können.

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

Echtzeit-Erkennung von AWS-Bedrohungen mithilfe von LLMs, UEBA und Vektoranalysen

• UEBA-Engine entwickelt, die Millionen von CloudTrail/GuardDuty-Ereignissen verarbeitet, um Verhaltensanomalien in Echtzeit zu erkennen.
• Amazon Bedrock LLMs für die narrative Bedrohungsanalyse und die strukturierte, automatisierte Zusammenfassung von Vorfällen integriert.
• Pipeline für Vektor-Embeddings (MongoDB Atlas) zum Vergleich des Verhaltens von Entitäten und zur Erkennung semantischer Anomalien entwickelt.

Technologien: Python, FastAPI, AWS, MongoDB Atlas, Amazon Bedrock, Pydantic, Motor (Async).

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Leitete die ganzheitliche Umsetzung von ML-/KI-Anwendungen für die QuantistryLab-Simulationsplattform – von der Anforderungsdefinition und Lösungsplanung über Entwicklung, Tests und Bereitstellung bis zur Unterstützung im Produktivbetrieb. Dabei koordinierte ich die Zusammenarbeit der Back-End-, DevOps- und ML-Teams.
• Entwarf und implementierte ein System zur Suche nach Verbindungen mit einem LLM mit offenen Gewichten, dem Agenten-Framework Pydantic AI und dem Model Context Protocol (MCP) und stellte es über FastAPI-Endpunkte bereit.
• Stellte den LLM-Service auf Basis von vLLM auf Kubernetes bereit und konfigurierte ihn.
• Entwickelte CI/CD-Pipelines und Helm-Charts, um Bereitstellungen in Staging- und Produktionsumgebungen zu automatisieren.
• Ergänzte das Suchsystem um OpenTelemetry-Spans und -Traces und integrierte es in die Observability-Plattform Honeycomb, um die Latenz einzelner Komponenten und Funktionsfehler zu überwachen.
• Entwickelte einen benutzerdefinierten Evaluierungsdatensatz und setzte Auswertungen für die Relevanz der Suchergebnisse, die Richtigkeit der Antworten, die Genauigkeit von Tool-Aufrufen und den Erfolg der Aufgaben von Anfang bis Ende um.
• Verkürzte die Vorhersagezeit für Infrarotspektren um 83 % (von 60 auf 10 Minuten), indem ich ein quantenmechanisches Modell durch ein vortrainiertes graph-neuronales Netzwerk ersetzte. Ich trainierte das Modell mit PyTorch weiter, entwickelte und containerisierte die Inferenzpipeline mit Docker und integrierte sie in die Plattform.
• Implementierte eine MLflow-Modellregistrierung mit MinIO-gestützter Artefaktspeicherung.
• Beriet Vertriebs- und Wissenschaftsteams zu ML-/KI-Anwendungen für potenzielle Kundenprojekte und brachte technisches Fachwissen in die Entwicklung vorgeschlagener Lösungen und Prototypen ein.

Technologien: AWS, Hetzner, Kubernetes, Helm, Docker, vLLM, Pydantic AI, MCP, Qwen, Llama 3, MLflow, MinIO, GitHub Actions, Python, FastAPI, OpenTelemetry, Honeycomb, PyTorch, Polars, pytest

• Aufbau des Lakehouse: Entwurf und Aufbau der Mitglieder- und Anspruchsberechtigungsdomäne eines Azure-Databricks-Healthcare-Lakehouses. Erfassung von Daten aus SQL Server sowie Datei- und REST/SFTP-Quellen (JSON, CSV, XML, Parquet) über Azure Data Factory in ADLS Gen2.
• Medallion-Pipelines: Transformation von Daten durch die Bronze-, Silber- und Gold-Schichten von Delta Lake mit PySpark und Spark SQL; Einsatz von Delta Live Tables / Lakeflow mit integrierten Erwartungen für deklarative Pipelines mit Qualitätsprüfungen.
• Modernisierung der Plattform: Bereitstellung einer Plattform für den Wechsel von SQL Server in die Cloud: ADF → ADLS Gen2 → Databricks → dbt Core-Modelle → Snowflake → Power BI. Ablösung älterer Berichte durch kontrollierte Analysen.
• Robustes ETL: Aufbau metadatengesteuerter, idempotenter vollständiger und inkrementeller Ladevorgänge sowie Watermark-gesteuerter Ladevorgänge mit Schema-Evolution und Fehlerstatusbehandlung. Verbesserung der Zuverlässigkeit und erneuten Ausführbarkeit.
• Datenmodellierung: Entwurf von Kimball-Sternschemata mit SCD Type 1 & 2-Dimensionen; Optimierung langsamer Abfragen und Pipelines mithilfe von Ausführungsplänen.
• Governance & Sicherheit: Einsatz von Unity Catalog RBAC, Lineage und Audit-Logging sowie Azure Key Vault-Secrets und verwalteten Identitäten zur Erfüllung der HIPAA- und GDPR-Anforderungen.
• Führung & Mentoring: Leitung eines 6-köpfigen Teams (2 Data Engineers, 2 Analysts, BI-Entwickler, QA); Mentoring von Engineers, Festlegung von Lieferstandards und Abstimmung mit internationalen Stakeholdern.
• Bereitstellung & KI-gestützte Arbeit: Durchführung von CI/CD und Aufgabenverfolgung in Azure DevOps; Aufbau von Power-BI-Semantikmodellen mit DAX und RLS; Einsatz von Genie Code, Claude und Copilot zur schnelleren Entwicklung von PySpark/SQL, DAX und Dokumentation.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

Tools: Fabric, AWS, dbt, Power BI, SQL, DWH, R, Python

• Unterstützte Kunden bei der Umsetzung eines Architekturdesigns zur Extraktion und Aufbereitung von Daten
• Verantwortete die Konzeption und Implementierung der BI- und DWH-Plattform
• Sicherte die Skalierbarkeit und Performance der Datenplattform

Konzeption und Entwicklung einer Azure-basierten KI- und Datenplattform, die verteilte Projektdokumente in durchsuchbares, strukturiertes Wissen für einen Enterprise-KI-Assistenten überführt. Kombination aus inkrementeller Dokumentverarbeitung, hybrider Keyword-/Vektorsuche, Wissensgraph-Extraktion und konversationeller KI für Microsoft Teams und Microsoft 365 Copilot. Implementierung von Python-Pipelines zur Verarbeitung von PDF-, Word-, Outlook- und Textdateien; Lifecycle-Management für Azure Cosmos DB; Azure AI Search; Azure AI Foundry und Azure OpenAI; identitätsbewusste Suche mit Microsoft Entra ID; Projektberechtigungen; eines TypeScript-Agenten mit Microsoft Agents SDK; Pulumi-Infrastruktur; robustem Scheduling sowie Werkzeugen für Wiederholungen und Diagnosen. Technologie-Stack: Python, TypeScript, FastAPI, Pydantic, Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure Cosmos DB, Blob/Table Storage, Container Apps/Jobs, Service Bus, Key Vault, Entra ID, Docker, Pulumi, pytest, Microsoft Teams und Microsoft 365 Copilot.