Apache Spark Experten in Deutschland

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

Stabilisierung einer Azure-/.NET-Landschaft im laufenden Betrieb.

• Architektur, DevOps und Betriebsfähigkeit; technische Entscheidungen unter Zeitdruck
• Azure DevOps, Monitoring, ETL/ELT, Cloud Security, FinOps und Data-Mesh-nahe Themen

Technologien: Azure DevOps, .NET, CI/CD, Monitoring, FinOps

• Entwicklung einer produktionsreifen Enterprise-AI-Lösung zur automatisierten Verarbeitung von Rechnungen und Geschäftsdokumenten
• Integration von Azure AI Document Intelligence und LLM-Technologien in bestehende Unternehmensprozesse
• Entwicklung robuster REST APIs zur automatisierten Dokumentenverarbeitung und Systemintegration
• Extraktion, Validierung und Speicherung strukturierter Rechnungsdaten in Azure SQL als Grundlage für Analytics- und Machine-Learning-Modelle
• Entwicklung einer AI-basierten Recommendation Engine mit Machine Learning und Deep Learning zur Generierung personalisierter Produktempfehlungen auf Basis historischer Einkaufsdaten
• Implementierung von Logging, Monitoring, Fehlerbehandlung und Validierungsmechanismen für einen stabilen produktiven Betrieb
• Zusammenarbeit mit Fachbereichen zur Definition von Geschäftsregeln und Integration der Lösung in bestehende Enterprise-Prozesse

Technologien: Python, Azure AI Document Intelligence, Azure OpenAI, Azure SQL Database, REST APIs, Machine Learning, Deep Learning, OCR, Pandas, JSON, Workflow-Automatisierung

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Task Engineering: Bewertung von Coding Agents.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien auf Deutsch. Entscheidend ist dabei, dass diese Assets in der Zielsprache bleiben, um den Umgang mit mehreren Sprachen wirklich zu messen.
• Prompting & Translation: Finden von Fehlerstellen, an denen die KI nicht funktioniert, auf Deutsch.
• Implementierung & Verifikation: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben sehr zuverlässiger, deterministischer Verifizierungs-Skripte (mit rubric-basierten Bewertungen nur dann, wenn es unbedingt nötig ist).
• Kalibrierung & Ausführung: Auswertung von Ausführungslogs und Kalibrierung des Aufgabenschwierigkeitsgrads (Easy bis Very Hard) mit Standard-Terminal-Bench-Run-Konfigurationen gegen verschiedene Modellstufen (Haiku, Opus).
• Qualitätssicherung: Mitarbeit in einem strengen, 4-stufigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Prüfung, Kalibrierungsprüfung und Audit) zusammen mit automatisierten LLM-basierten Checks, um Fairness, grammatikalische Korrektheit und Benchmark-Integrität sicherzustellen.
• Linguistische Prüfung: Überprüfung von KI-Benchmark-Aufgaben in Hindi, Arabisch, Japanisch, Chinesisch, Tschechisch und Türkisch.

KI-Agenten-SaaS

Gründung und Aufbau eines KI-Agenten-SaaS für automatisierten Kundensupport und Lead-Qualifizierung, inkl. Implementierung bei Pilotkunden.

• Transformation Service → Produkt: Produktisierung aus der Agentur heraus zu einem eigenständigen KI-Agenten-SaaS. Ausgangspunkt war das konkrete Problem eines Kunden; das produkt entstand gemeinsam mit ihm.
• Entwicklung und Einführung von KI-Agenten für Website-Inbound, Lead-Qualifizierung und Kundenservice mit 8K€ MRR.
• Remote-Team aus Engineering, LLM-Ops und Customer Enablement strukturiert und geführt.
• Case PTC Auto (E-Commerce auf Shopify): KI-Support-Agent an den Shop angebunden, automatisierte Produktdaten- & Support-Workflows, ~10–15h/Woche weniger Aufwand pro Support-Mitarbeiter.
• Datenverarbeitung der KI-Agenten DSGVO-konform aufgesetzt: Auftragsverarbeitung, Löschkonzepte, Speicherorte der Kundendaten.
• Agenten gegen den EU AI Act eingeordnet (Risikoklasse, Transparenzpflichten) und danach gebaut.
• Compliance- und Sicherheitsanforderungen von Kunden beantwortet (Fragebögen, Nachweise, Verträge), um überhaupt verkaufen zu können.
• Technische Leitplanken im Produkt gegen Fehlverhalten der Agenten: Halluzinationen, Eskalation an Menschen, Protokollierung.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

Tools: Fabric, AWS, dbt, Power BI, SQL, DWH, R, Python

• Unterstützte Kunden bei der Umsetzung eines Architekturdesigns zur Extraktion und Aufbereitung von Daten
• Verantwortete die Konzeption und Implementierung der BI- und DWH-Plattform
• Sicherte die Skalierbarkeit und Performance der Datenplattform

• Private Cloud-Datenplattform auf VMware vSphere entworfen und implementiert, Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr integriert und Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry entwickelt.
• Migration von Oracle Exadata zu Greenplum geleitet, Datenmodelle neu architektonisch aufgebaut, Speicher optimiert, RabbitMQ mit Debezium für CDC implementiert und VectorDB für Generative AI eingeführt.
• PoC für Multi-Cloud-Migration über AWS, Azure und GCP entworfen und umgesetzt, KPIs für Durchsatz, Latenz und Kosteneffizienz definiert, Bulk-Datentransfers durchgeführt, Analytics- und Streaming-Workloads validiert und Architektur-Empfehlungen im großen Maßstab geliefert.
• Legacy-On-Premises-Infrastruktur bewertet und moderne cloud-native Datenplattformen mit Greenplum und containerisierten Microservices entworfen, mit Beratung zu Skalierbarkeit, Disaster Recovery und High Availability.

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

• Entwicklung des Audit-Logging-Frameworks
• Implementierung von APIs, die Entwickler in ihre Codebasen integrieren können
• Implementierung der Ingestion-Pipeline, der Datenbank-Abfrageschicht und der UI zum Durchsuchen der Audit-Events
• Verbesserung der Stabilität und Zuverlässigkeit des Backend-Systems

Entwickelte Python-basierte KI-Microservices und Integrationen für eine AEC/VR-SaaS-App auf Unity-Basis, mit Fokus auf LLM-/VLM-Funktionen, retrieval-gestützte Systeme, RESTful APIs, containerisierte Bereitstellung und einen Automatisierungs-Microservice für die CAD-zu-Unity-Pipeline.

• Entwickelte einen eigenen Hybrid-A*-Algorithmus in C#, um Hospitalszenarien zu simulieren und frühe Designkonflikte anhand von Kollisions- und Raumdaten zu erkennen sowie strukturierte Berichte zu erzeugen.
• Löste und automatisierte das zeitaufwändige Problem, CAD-Dateien in nutzbare Unity-Umgebungen zu überführen, mit einer eigens entwickelten Echtzeit-Pipeline und einer ZeroMQ-basierten Kommunikationsebene, um Lasten auf mehrere Prozesse zu verteilen und Echtzeitfähigkeit zu erreichen.
• Entwickelte eine Docker-basierte FastAPI-Pipeline für die CAD-zu-Unity-Automatisierung, die bildbasierte Objekterkennung, Image Embeddings und vorab berechnete Metadaten kombiniert, um CAD-Objekte automatisch Unity-Verhaltensskripten zuzuordnen, Eigenschaften zu setzen und wiederholte KI-Inferenzaufrufe zu reduzieren.
• Erstellte Dokumentation und Beispiele, um technischen Nutzern zu helfen, die KI-Automatisierungspipeline zu verstehen, zu konfigurieren und zu erweitern.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows