PySpark Experten

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

• Entwicklung einer produktionsreifen Enterprise-AI-Lösung zur automatisierten Verarbeitung von Rechnungen und Geschäftsdokumenten
• Integration von Azure AI Document Intelligence und LLM-Technologien in bestehende Unternehmensprozesse
• Entwicklung robuster REST APIs zur automatisierten Dokumentenverarbeitung und Systemintegration
• Extraktion, Validierung und Speicherung strukturierter Rechnungsdaten in Azure SQL als Grundlage für Analytics- und Machine-Learning-Modelle
• Entwicklung einer AI-basierten Recommendation Engine mit Machine Learning und Deep Learning zur Generierung personalisierter Produktempfehlungen auf Basis historischer Einkaufsdaten
• Implementierung von Logging, Monitoring, Fehlerbehandlung und Validierungsmechanismen für einen stabilen produktiven Betrieb
• Zusammenarbeit mit Fachbereichen zur Definition von Geschäftsregeln und Integration der Lösung in bestehende Enterprise-Prozesse

Technologien: Python, Azure AI Document Intelligence, Azure OpenAI, Azure SQL Database, REST APIs, Machine Learning, Deep Learning, OCR, Pandas, JSON, Workflow-Automatisierung

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

Tools: Fabric, AWS, dbt, Power BI, SQL, DWH, R, Python

• Unterstützte Kunden bei der Umsetzung eines Architekturdesigns zur Extraktion und Aufbereitung von Daten
• Verantwortete die Konzeption und Implementierung der BI- und DWH-Plattform
• Sicherte die Skalierbarkeit und Performance der Datenplattform

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

Entwickelte Python-basierte KI-Microservices und Integrationen für eine AEC/VR-SaaS-App auf Unity-Basis, mit Fokus auf LLM-/VLM-Funktionen, retrieval-gestützte Systeme, RESTful APIs, containerisierte Bereitstellung und einen Automatisierungs-Microservice für die CAD-zu-Unity-Pipeline.

• Entwickelte einen eigenen Hybrid-A*-Algorithmus in C#, um Hospitalszenarien zu simulieren und frühe Designkonflikte anhand von Kollisions- und Raumdaten zu erkennen sowie strukturierte Berichte zu erzeugen.
• Löste und automatisierte das zeitaufwändige Problem, CAD-Dateien in nutzbare Unity-Umgebungen zu überführen, mit einer eigens entwickelten Echtzeit-Pipeline und einer ZeroMQ-basierten Kommunikationsebene, um Lasten auf mehrere Prozesse zu verteilen und Echtzeitfähigkeit zu erreichen.
• Entwickelte eine Docker-basierte FastAPI-Pipeline für die CAD-zu-Unity-Automatisierung, die bildbasierte Objekterkennung, Image Embeddings und vorab berechnete Metadaten kombiniert, um CAD-Objekte automatisch Unity-Verhaltensskripten zuzuordnen, Eigenschaften zu setzen und wiederholte KI-Inferenzaufrufe zu reduzieren.
• Erstellte Dokumentation und Beispiele, um technischen Nutzern zu helfen, die KI-Automatisierungspipeline zu verstehen, zu konfigurieren und zu erweitern.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

• Konzeption und Aufbau einer vollständig abgeschotteten AWS-Offline-Umgebung ohne ausgehenden Internetpfad für den Betrieb einer browserbasierten Fachanwendung
• Entwurf und Implementierung eines Proxy- und Antwortdienstes, der sämtliche externen Aufrufe der Anwendung innerhalb der VPC terminiert und aus lokal vorgehaltenen Inhalten bedient; Ermittlung des tatsächlichen Kommunikationsbedarfs messbasiert über DNS-Query-Logging
• Erstellung von Architekturdesigns und Entscheidungsvorlagen inklusive Variantenvergleich (Application Load Balancer mit Lambda und S3, Reverse Proxy auf EC2, privates API Gateway) mit Bewertung nach Betriebsaufwand, Kosten und Verfügbarkeit
• Übertragung der bislang ausschließlich für Azure vorliegenden Lösungs- und Betriebsdokumentation auf eine AWS-Zielarchitektur inklusive Neuzuordnung sämtlicher Dienste und Betriebsabläufe
• Automatisierter Rollout als Infrastructure as Code (Terraform, CloudFormation) mit CI-Deployment über GitHub Actions sowie Aufbau privater DNS-Zonen und einer eigenen Zertifikatskette für den Betrieb ohne Internetanbindung
• Erstellung der Architektur-, Deployment- und Betriebsdokumentation und Übergabe an den Kunden
• Aufbau einer privaten Cloud-Plattform auf OpenStack beim Provider TelemaxX mit Terraform, inklusive FortiGate-HA-Clustern, FortiManager und Kubernetes
• Einführung von Policy as Code (Open Policy Agent, Conftest) sowie Entwicklung von MCP-Servern (Model Context Protocol) zur Anbindung von KI-Assistenten an Betriebs- und Projektwerkzeuge

Erfolge:

• Fachanwendung erstmals vollständig ohne Internetanbindung betriebsfähig gemacht; die Ursache des Ladefehlers wurde durch systematische Eingrenzung auf fehlende CORS-Header zurückgeführt, nachdem die naheliegende Zertifikatsspur widerlegt war
• Bestehendes Azure-Konzept vollständig auf AWS übertragen und die zuvor manuell erstellte Umgebung durch einen reproduzierbaren, CI-gestützten Rollout abgelöst

Technologie Stack: AWS (VPC, Application Load Balancer, Lambda, S3, Route 53 Private Hosted Zones und Resolver Query Logging, IAM, CloudWatch, EC2, CloudFormation), Infrastructure as Code (Terraform, CloudFormation, Remote State), CI/CD (GitHub Actions mit OIDC, Azure DevOps Pipelines), OpenStack, FortiGate, FortiManager, Kubernetes, Policy as Code (Open Policy Agent, Conftest), Offline- und Air-Gap-Architekturen, PKI & Zertifikate (interne CA, TLS, CRL/OCSP), DNS, Netzwerksegmentierung, Linux, Windows Server, Python, Bash, PowerShell, YAML, JSON, Architekturdesign & Entscheidungsvorlagen, Dokumentation (Confluence, Markdown), Generative & Agentic AI (Model Context Protocol, Agentic AI Coding Tools)

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Leitung der strategischen Softwareentwicklung von Fusionsalgorithmen für präzises Objekt-Tracking, Trajektorienvorhersage und Umgebungsmodellierung auf Basis multimodaler Sensordaten (u. a. Kamera, LiDAR, Radar, GNSS, IMU)
• Entwicklung und Implementierung von Navigationsalgorithmen für autonome Fahrzeuge, einschließlich Pfadplanung, Hindernisvermeidung und Sensorfusion aus visuellen, inertialen und distanzbasierten Sensorquellen
• Automatisierung des Extraktions- und Trainingsprozesses mit CI/CD
• Entwicklung und Optimierung von Datenpipelines und -prozessen in Microsoft Azure mithilfe von Apache Spark, Databricks und PySpark
• Entwicklung und Optimierung von Embedded-Software für automotive Steuergeräte
• Entwicklung von latenzkritischer Software für Echtzeitsteuerungen in robotischen Systemen mit RTOS (freeRTOS, SAFERTOS)
• Verwendung der Vector-Toolchain (CANdela, Davinci, CANoe) für Konfiguration und Diagnose
• Optimierung bestehender Datenpipelines und -prozesse (ETL, Data Warehouse, SQL)
• Entwicklung und Training von Machine-Learning-Modellen mithilfe von PyTorch
• Entwicklung Deep-Learning-basierter Objekterkennungs- und VisualSLAM-Algorithmen, trainiert auf kombinierten Daten aus Kamera-, LiDAR- und IMU-Sensorik
• Implementierung von Computer-Vision-Algorithmen zur Objekterkennung und -klassifikation in Robotersystemen auf Basis von OpenCV und YOLO unter Nutzung synchronisierter Bild- und Tiefendaten
• Implementierung verhaltensbasierter Steuerungssysteme für autonome Roboter mittels ROS2 Behavior Trees
• Durchführung von Tests, Freigabe und Einführung der Sensorfusionsalgorithmen in die Produktionsprogramme der Automobilbranche
• Einhaltung geeigneter Softwareentwicklungsprozesse und Sicherheitsstandards zur Gewährleistung hoher Datenqualität (MISRA, ISO 26262, ASPICE)

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.