LLMOps-Experten in Deutschland

• ▶ Echtzeit-Sprachassistenten entwickelt (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter einschließlich faster-whisper und Azure Speech getestet und bewertet. Latenz von unter 3 Sekunden erreicht, Groq API (Llama 3) mit Multi-Turn-Speicher eingesetzt – einschließlich direkter Behandlung von Sonderfällen bei Diktaten sowie der Erkennung von Namen und Zugangscodes.

• Tätigkeit als technischer Berater zur Optimierung mehrschichtiger Ensemble-Modelle, die ResNet, CNN-BiGRU-Attention und XGBoost kombinieren.
• Begleitung der Implementierung eines Logistic-Regression-Meta-Learners zur Lösung von Problemen mit unausgeglichenen Klassen; dabei wurden 92.86% Genauigkeit und 0.9644 AUC bei den Datensätzen PTB-XL und Chapman-Shaoxing erreicht.

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Entwickelte und implementierte ein hybrides Empfehlungssystem (Content-Based + Collaborative Filtering)
• Baute End-to-End-ML-Pipelines inklusive Datenverarbeitung, Feature Engineering, Modelltraining und Bewertung
• Entwickelte RAG-basierte LLM-Systeme mit LangChain und Vektordatenbanken für semantische Suche und Wissensabruf
• Etablierte MLOps-Workflows mit MLflow für Experiment-Tracking, Versionierung und Deployment-Bereitschaft
• Implementierte Deep-Learning-Modelle (Computer Vision & Klassifikation) mit PyTorch und TensorFlow

• Entwicklung einer SaaS-Anwendung zur automatisierten Schadenbearbeitung mit KI-Agenten (LLM) als primäres Entwicklungsteam
• Design & Test von effizienten und sicheren Context-Management-Setups im Entwicklungsprozess (u. a. Einsatz von Multi-Subagenten, Speichersystemen, Caching)
• Definition und Umsetzung von LLMOps-Pipelines mit Azure AI Foundry für KI-Agenten im Kundenkontakt (inkl. Versionierung, Logging, Audit-Trail, Sicherheitstests)
• Infrastrukturbereitstellung über IaC (Bicep), Anwendungskonfiguration über GitOps-basierte CI/CD-Pipelines (Rules Engine, Workflow Engine)
• Entwicklung integrierter Sicherheitsarchitektur-Designs zwischen KI-basierten und klassischen Anwendungen mit besonderem Fokus auf regulatorische Anforderungen
• Integration von Workflow- und Rules-Engine in einer NestJS-Servicearchitektur — zur automatisierten, regelbasierten Steuerung von Schadensprozessen
• Probabilistische Extraktion und Aufbereitung von Schadendaten als Grundlage für regelbasierte, deterministische Entscheidungslogik — nachvollziehbar, auditierbar und regulatorisch konform

• Wandelt natürliche Sprache mithilfe von RAG und pgvector in JQL um. Liefert strukturiertes JSON mit einer Abfrage, einer Diagrammspezifikation und einer Antwort in Klartext. Ein zweistufiger Router beantwortet allgemeine Fragen, ohne die JQL-Pipeline überhaupt zu verwenden.
• Austauschbare LLM-Backends: Ollama, vLLM, Groq, Anthropic Claude, AWS Bedrock – zur Laufzeit umschaltbar, ohne Codeänderungen. Selbstheilendes JQL: Bei einem Jira-Validierungsfehler wird der Fehler an das LLM zurückgegeben und bis zu 4-mal erneut versucht. OCI Vault für Geheimnisse. Auf Oracle Cloud A1 bereitgestellt, mit GPU-Inferenz über ein privates Tailscale-Netzwerk. Open Source.

KI-Assistenz und Zielbild für teilautonome Energieportfolio-Steuerung

Aufbau einer KI-Steuerungsschicht direkt auf dem tagesaktuellen Live-Portfolio eines großen Energieversorgers — nicht als isolierter Pilot, sondern als operative Erweiterung der bestehenden DB1- und Portfolio-Steuerung. Ziel ist die schrittweise Entwicklung von Assistenz über Monitoring/Alerting bis zu Analyse-Agenten mit Human-in-the-Loop-Freigaben, ergänzt um ein rollenspezifisches System of Engagement neben dem BI-System of Record. Parallel werden Business Case, Zielbild und Management-Pitch gegenüber statischem Monatsreporting erarbeitet.

• KI-Steuerungsschicht: Konzeption und Aufbau auf dem bestehenden Live-Portfolio-Datenprodukt (mehrere Mio. Verträge) — Ausbaustufen Assistenz → Monitoring/Alerting → Agenten mit Human-in-the-Loop-Freigaben.
• LLM-gestützte Datenanalyse: Semantische Abfragen, SQL-/Tool-Anbindung und ergänzende RAG-Komponenten auf Portfolio-, Plan-Ist- und Datenqualitätsdaten (Azure OpenAI, Snowflake) mit Drill-downs bis auf Einzelvertragsebene.
• Analyse-Agenten: Mehrstufige Agenten für Abweichungs- und Treiberanalysen zu Churn, Preisanpassungen, Mengen und Beschaffungskosten.
• Sichtenkonzept: Rollenspezifische Oberflächen für Fachbereich, Management und C-Level als System of Engagement neben dem BI-System of Record.
• Business Case & Pitch: Zielbild und Kosten-Nutzen-Argumentation gegenüber statischem Monatsreporting.
• LLM-Setup (Datenschutz & Security): Abstimmung mit IT-Security und Datenschutz — EU-Region, Datentrennung, Freigabeprozesse.
• Agenten-Architektur: Mehrstufige Agenten-Pipelines (Analyse → Validierung → Zusammenfassung) mit dokumentierten Datenquellen, Tool-Aufrufen, Prüfschritten und Quellenbezug je Aussage.
• Datenfundament: Aufsatz auf dem tagesaktuellen DB1-Datenprodukt (Snowflake, dbt) — Portfolio-, Plan-Ist- und Datenqualitätskennzahlen als gemeinsame Basis aller KI-Analysen.
• Guardrails & Evaluation: Evaluations- und Freigabeprozesse für LLM-Antworten bei steuerungsrelevanten Aussagen — Testsets, Metriken, Human-Review.
• Prototyping & Validierung: Iterative Validierung der Agenten-Antworten mit dem Fachbereich — Testfragen-Katalog, Feedback-Schleifen, Antwortqualität je Release.
• Roadmap & Ausbaustufen: Detaillierung der Stufen Assistenz → Monitoring/Alerting → teilautonome Steuerung inkl. Übergangskriterien und Governance je Stufe.
• Integration: Einbettung in die bestehende BI- und Datenlandschaft — BI bleibt System of Record, die KI-Schicht liefert interaktive Drill-down-Pfade als System of Engagement.
• Enablement: Befähigung der Anwender im Fachbereich — Prompting-Leitfäden, Schulungen und Betriebsmodell für den laufenden Einsatz.
• Steuerung: Koordination Fachbereich, Data Engineering, IT-Security & Datenschutz.
• Change Management: Kommunikation und Erwartungsmanagement gegenüber Fachbereich und Management entlang der Ausbaustufen.

Ergebnisse:

• Auf bestehendes tagesaktuelles Datenprodukt mit mehreren Millionen Verträgen aufgesetzt
• Mit Datenschutz und IT-Security abgestimmtes LLM-Setup in EU-Region mit Datentrennung und Freigaben etabliert
• Drei Ausbaustufen bis zur teilautonomen Steuerung definiert
• Rollenspezifische Sichten für Fachbereich, Management und C-Level konzipiert
• Business Case und Management-Pitch für die Ausbaustufen erarbeitet
• Iterativer Validierungsprozess für Antwortqualität mit dem Fachbereich etabliert
• Betriebsmodell für den Assistenzbetrieb konzipiert und in Validierung

Stack: Azure OpenAI, Azure AI Foundry, Snowflake, dbt, React, TypeScript, Entra ID, RAG, Agentic AI, Analyse-Agenten, Human-in-the-Loop, Prompt Engineering, LLM Evaluation, LLMOps, DSGVO / EU-Region, Azure DevOps, Python, SQL, Change Management

• Leite ein funktionsübergreifendes Squad aus Backend-, Frontend- und ML/Data-Engineers und verbinde praktische Mitarbeit (Architektur, Programmierung, Reviews) mit Teamleitung (Mentoring, Backlog-Priorisierung, Abstimmung der Roadmap).
• Entwickelte und lieferte ML-gestützte Such- und Discovery-Funktionen, darunter Learning-to-Rank (LTR), Query Expansion und Vektorsuche, und verbesserte dadurch die Ergebnisrelevanz und das Nutzerengagement.
• Implementierte Personalisierungs- und Empfehlungspipelines und nutzte Verhaltensdaten sowie Segmentierung, um Kundenbindung und Customer Lifetime Value zu erhöhen.
• Etablierte datenbasierte Arbeitsweisen und entwickelte A/B-Test- und Experimentier-Workflows (Odyn, MLflow), um die Auswirkungen von Funktionen auf CTR, NDCG und Conversion zu messen.
• Verantwortete die Architektur und Delivery-Roadmap des Squads und modernisierte Services mit cloudnativen Microservices und ereignisgesteuerten Systemen (AWS, Pulumi, Terraform), um Skalierbarkeit und Zuverlässigkeit zu verbessern.
• Verbesserte Zuverlässigkeit und operative Exzellenz durch die Einführung von Observability (Prometheus, Grafana, NewRelic), Incident Management und Postmortems, wodurch Ausfallzeiten bei kundenorientierten Services reduziert wurden.
• Unterstützte und entwickelte Engineers weiter und förderte durch regelmäßiges Feedback, Coaching und Code Reviews technisches Wachstum, Zusammenarbeit und eine kundenorientierte Denkweise.
• Arbeitete eng mit Product Managern, Researchern und Business-Stakeholdern zusammen, um Kundenerkenntnisse in technische Lösungen zu übersetzen, die Discovery, Engagement und Kundenbindung verbesserten.
• Untersuchte Anwendungsfälle für Generative AI/LLM (GPT-4, LangChain, RAG) und entwickelte Prototypen für intelligente Assistenten und personalisierte Discovery-Workflows, die die Nutzerzufriedenheit erhöhten.
• Erzielte konkrete Ergebnisse: Steigerung des Engagements durch Personalisierung, Beitrag zum Umsatzwachstum und Reduzierung von Incidents durch die Verankerung von Resilienz und Observability.

• Verantwortlich für Investorenakquise und Partnerschaftsentwicklung als Gründungs-Geschäftsführer, Aufbau des Business Case und der technischen Story, um Erstfinanzierung und strategische Partner im Bereich Digital Health zu gewinnen
• Konzeption von Multi-Agenten-KI-Systemen für autonome Biosignalanalysen, Orchestrierung von LLM-basierten Reasoning-Pipelines mit fachspezifischem medizinischen Kontext zur Unterstützung intelligenter, klinischer Entscheidungsfindung

• Entwickle und präsentiere Lösungen mit GenAI-Software wie langchain, vercel ai sdk, copilotkit
• Arbeite mit Kunden zusammen, um ihre Herausforderungen zu verstehen und die besten Lösungen auf Basis von Open-Source-Datenprodukten zu liefern
• Baue RAG- und GraphRAG-Lösungen mit Neo4j, lancedb und Postgres
• Setze eine LLMOps-Plattform mit kubernetes, terraform, helmfile, Arize phoenix, mlflow auf
• Entwerfe und baue Datenpipelines mit dbt, Trino, Spark, Iceberg, Airflow, ArgoCD, terraform, kubernetes
• Lieferte eine nutzerzentrierte technische Strategie für Agriculture 4.0 und Precision Livestock Farming und half meinem Kunden, Fördermittel von Bpifrance zu sichern
• Entwickelte ein Prospecting-Tool für einen führenden französischen Solar-Carport-Installateur mit Geospatial Computing (GIS), wodurch der Vertriebsprozess schneller wurde
• Baute eine Digital-Twin-Architektur für Solar-Carports und EV-Ladestationen, die Echtzeit-Monitoring und intelligentes Laden möglich machte

Predapp ist ein Sovereign-AI- und Infrastrukturunternehmen, das KI-Systeme baut, die Organisationen auf ihre Weise besitzen, kontrollieren und einsetzen können, mit voller Datensouveränität. Seit 2015 als CTO und Investor leite ich die Entwicklung der Sovereign AI Platform sowie eine Beratungspraxis für KI-Strategie für Unternehmen, Fractional-CTO-Einsätze und technische Due Diligence für VCs, PE und Family Offices.

• Die Sovereign AI Platform von Grund auf entwickelt und die technische Vision, das Infrastruktursdesign und die Engineering-Roadmap verantwortet; aktuell im Einsatz in einem europäischen Krankenhaus, bei einem Automobilkunden in Deutschland und bei zwei US-Startups, mit aktiven kommerziellen Gesprächen mit zwei führenden europäischen Hosting-Anbietern
• Dubai Health Authority (DHA / Nabidh): KI-Symptomprüfer und Triage-System für die nationale Initiative 'Doctor for Every Citizen' unter HH Sheikh Mohammed bin Rashid Al Maktoum entworfen und trainiert
• Emirates Airlines: KI-Agent für Bodenpersonal entworfen und ausgerollt, um Schulungen zu beschleunigen, die Bearbeitung von Problemen zu verbessern und die Kosten für die temporäre Belegschaft zu senken
• Erklärbares KI-Triage-System entwickelt und an der Universität Heidelberg und im Famagusta Hospital (Zypern) pilotiert; Wartezeiten für Patienten um bis zu 15 % reduziert (Validierung läuft)
• Produktionsplanungs-Engine für ein US-Industrial-AI-Startup gebaut: RL + Monte-Carlo-Tree-Search, wodurch die Planung von Stunden auf Sekunden verkürzt wurde
• Semantische Suchmaschinen mit RAG + Wissensgraphen entworfen und geleitet; Agentic-Text-to-SQL-Lösung für Citizen Data Scientists entwickelt
• Beratung zu KI-Strategie und Reifegradanalysen für Unternehmenskunden, einschließlich Architektur-Reviews, Reifegradbewertungen und Entwicklung von KI-Roadmaps

Konzeption, Planung und Produktionseinführung von zwei KI-Plattformen für industrielle Forschungs- und Engineering-Workflows, von der Use-Case-Identifikation und Anforderungsanalyse über Architekturentscheidungen und Build-vs-Buy-Abwägungen bis zum Go-Live.

• awRAG.io: Identifizierung des Anwendungsfalls (fragmentierte Wissensbasis über verteilte KI-Tools), Definition der Datenanforderungen, Architekturentscheidung für eine mandantenfähige RAG-as-a-Service-Plattform mit DSGVO-konformer EU-Infrastruktur und produktionsreifer Retrieval-Pipeline

• LAIERS.ai: Use-Case-Definition (Kontextverlust in linearen KI-Workflows), strategische Produktentscheidungen zu UX, Kostenstruktur und Multi-LLM-Orchestrierung, Rollout einer räumlichen KI-Konversationsplattform mit proprietärem Kontextmanagementsystem LAICS

• LLMOps-Verantwortung: Qualitätssicherung, Pipelineoptimierung, Sicherheitsarchitektur (OAuth 2.0, SOC 2) und Performance-Monitoring beider Plattformen im Live-Betrieb

• Kernthemen: LLM, RAG, Vektor-Datenbanken, LLMOps, KI-Architekturstrategie, Cloud-Infrastruktur, Datensouveränität

• Konzeption, Vorbereitung und Durchführung eines Webinars zum Thema „RAG in der Praxis: Wie Verlage mit KI echten Mehrwert schaffen“
• Aufbereitung technischer und strategischer Inhalte rund um Retrieval Augmented Generation (RAG) für ein fachlich gemischtes Publikum aus der Verlagsbranche
• Darstellung konkreter Use Cases, technischer Hintergründe, typischer Herausforderungen und Lösungsansätze im Einsatz von RAG
• Vermittlung von praxisnahen Einblicken in Datenaufbereitung, Modellwahl und Output-Optimierung im Kontext digitaler Verlagsportale
• Inhaltliche Konzeption und fachliche Vorbereitung des Webinars
• Auswahl und Darstellung praxisnaher Use Cases aus dem Verlagsumfeld
• Erarbeitung technischer Hintergründe zur Umsetzung von RAG-Systemen
• Präsentation und Erklärung typischer Herausforderungen und Lösungsstrategien
• Large Language Models (LLMs)
• Retrieval Augmented Generation (RAG)

• Strategischer Übergang in KI-Engineering durch intensives Mentoring und Projektdurchführung.

• Entwicklung von MASX AI, einer agentischen KI-Plattform, die LangGraph, AutoGen und RAG für geopolitische Prognosen und Echtzeit-ETL integriert.

• Entwurf und Bereitstellung funktionsfähiger KI-Prototypen für potenzielle Kunden, die angewandte Expertise in Multi-Agenten-Systemen, Echtzeit-Datenpipelines und LLM-Integrationen demonstrieren.