LLMOps Experten in Deutschland

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Wandelt natürliche Sprache mit RAG und pgvector in JQL um. Gibt strukturiertes JSON mit einer Query, einer Chart-Spezifikation und einer Klartext-Antwort zurück. Ein zweistufiger Router beantwortet allgemeine Fragen ganz ohne den JQL-Pipeline-Pfad.
• Austauschbare LLM-Backends: Ollama, vLLM, Groq, Anthropic Claude, AWS Bedrock - zur Laufzeit umschaltbar, ohne Codeänderungen. Self-healing JQL: Bei Jira-Validierungsfehlern wird der Fehler an das LLM zurückgegeben und bis zu 4 Mal erneut versucht. OCI Vault für Secrets. Bereitgestellt auf Oracle Cloud A1 mit GPU-Inferenz über ein Tailscale-Privatnetzwerk. Open Source.

• ▶ Einen Echtzeit-Sprachassistenten gebaut (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter wie faster-whisper und Azure Speech gebenchmarkt und bewertet. Sub-3s-Latenz erreicht, Groq API (Llama 3) mit Multi-Turn-Memory genutzt - mit direkter Behandlung von Edge Cases bei Diktat, Namen und Passcode-Erkennung.

• Entwickelte und implementierte ein hybrides Empfehlungssystem (Content-Based + Collaborative Filtering)
• Baute End-to-End-ML-Pipelines inklusive Datenverarbeitung, Feature Engineering, Modelltraining und Bewertung
• Entwickelte RAG-basierte LLM-Systeme mit LangChain und Vektordatenbanken für semantische Suche und Wissensabruf
• Etablierte MLOps-Workflows mit MLflow für Experiment-Tracking, Versionierung und Deployment-Bereitschaft
• Implementierte Deep-Learning-Modelle (Computer Vision & Klassifikation) mit PyTorch und TensorFlow

Predapp ist ein Sovereign-AI- und Infrastrukturunternehmen, das KI-Systeme baut, die Organisationen auf ihre Weise besitzen, kontrollieren und einsetzen können, mit voller Datensouveränität. Seit 2015 als CTO und Investor leite ich die Entwicklung der Sovereign AI Platform sowie eine Beratungspraxis für KI-Strategie für Unternehmen, Fractional-CTO-Einsätze und technische Due Diligence für VCs, PE und Family Offices.

• Die Sovereign AI Platform von Grund auf entwickelt und die technische Vision, das Infrastruktursdesign und die Engineering-Roadmap verantwortet; aktuell im Einsatz in einem europäischen Krankenhaus, bei einem Automobilkunden in Deutschland und bei zwei US-Startups, mit aktiven kommerziellen Gesprächen mit zwei führenden europäischen Hosting-Anbietern
• Dubai Health Authority (DHA / Nabidh): KI-Symptomprüfer und Triage-System für die nationale Initiative 'Doctor for Every Citizen' unter HH Sheikh Mohammed bin Rashid Al Maktoum entworfen und trainiert
• Emirates Airlines: KI-Agent für Bodenpersonal entworfen und ausgerollt, um Schulungen zu beschleunigen, die Bearbeitung von Problemen zu verbessern und die Kosten für die temporäre Belegschaft zu senken
• Erklärbares KI-Triage-System entwickelt und an der Universität Heidelberg und im Famagusta Hospital (Zypern) pilotiert; Wartezeiten für Patienten um bis zu 15 % reduziert (Validierung läuft)
• Produktionsplanungs-Engine für ein US-Industrial-AI-Startup gebaut: RL + Monte-Carlo-Tree-Search, wodurch die Planung von Stunden auf Sekunden verkürzt wurde
• Semantische Suchmaschinen mit RAG + Wissensgraphen entworfen und geleitet; Agentic-Text-to-SQL-Lösung für Citizen Data Scientists entwickelt
• Beratung zu KI-Strategie und Reifegradanalysen für Unternehmenskunden, einschließlich Architektur-Reviews, Reifegradbewertungen und Entwicklung von KI-Roadmaps

• Entwicklung einer SaaS-Anwendung zur automatisierten Schadenbearbeitung mit KI-Agenten (LLM) als primäres Entwicklungsteam
• Design & Test von effizienten und sicheren Context-Management-Setups im Entwicklungsprozess (u. a. Einsatz von Multi-Subagenten, Speichersystemen, Caching)
• Definition und Umsetzung von LLMOps-Pipelines mit Azure AI Foundry für KI-Agenten im Kundenkontakt (inkl. Versionierung, Logging, Audit-Trail, Sicherheitstests)
• Infrastrukturbereitstellung über IaC (Bicep), Anwendungskonfiguration über GitOps-basierte CI/CD-Pipelines (Rules Engine, Workflow Engine)
• Entwicklung integrierter Sicherheitsarchitektur-Designs zwischen KI-basierten und klassischen Anwendungen mit besonderem Fokus auf regulatorische Anforderungen
• Integration von Workflow- und Rules-Engine in einer NestJS-Servicearchitektur — zur automatisierten, regelbasierten Steuerung von Schadensprozessen
• Probabilistische Extraktion und Aufbereitung von Schadendaten als Grundlage für regelbasierte, deterministische Entscheidungslogik — nachvollziehbar, auditierbar und regulatorisch konform

• Agierte als technischer Berater zur Optimierung von mehrschichtigen Ensemble-Modellen, die ResNet, CNN-BiGRU-Attention und XGBoost kombinierten.
• Begleitete die Umsetzung eines Logistic-Regression-Meta-Lerners zur Lösung von Klassenungleichgewichten und erreichte 92,86 % Genauigkeit und einen AUC-Wert von 0,9644 auf den Datensätzen PTB-XL und Chapman-Shaoxing.

• Verantwortlich für Investorenakquise und Partnerschaftsentwicklung als Gründungs-Geschäftsführer, Aufbau des Business Case und der technischen Story, um Erstfinanzierung und strategische Partner im Bereich Digital Health zu gewinnen
• Konzeption von Multi-Agenten-KI-Systemen für autonome Biosignalanalysen, Orchestrierung von LLM-basierten Reasoning-Pipelines mit fachspezifischem medizinischen Kontext zur Unterstützung intelligenter, klinischer Entscheidungsfindung

• Entwickle und präsentiere Lösungen mit GenAI-Software wie langchain, vercel ai sdk, copilotkit
• Arbeite mit Kunden zusammen, um ihre Herausforderungen zu verstehen und die besten Lösungen auf Basis von Open-Source-Datenprodukten zu liefern
• Baue RAG- und GraphRAG-Lösungen mit Neo4j, lancedb und Postgres
• Setze eine LLMOps-Plattform mit kubernetes, terraform, helmfile, Arize phoenix, mlflow auf
• Entwerfe und baue Datenpipelines mit dbt, Trino, Spark, Iceberg, Airflow, ArgoCD, terraform, kubernetes
• Lieferte eine nutzerzentrierte technische Strategie für Agriculture 4.0 und Precision Livestock Farming und half meinem Kunden, Fördermittel von Bpifrance zu sichern
• Entwickelte ein Prospecting-Tool für einen führenden französischen Solar-Carport-Installateur mit Geospatial Computing (GIS), wodurch der Vertriebsprozess schneller wurde
• Baute eine Digital-Twin-Architektur für Solar-Carports und EV-Ladestationen, die Echtzeit-Monitoring und intelligentes Laden möglich machte

Konzeption, Planung und Produktionseinführung von zwei KI-Plattformen für industrielle Forschungs- und Engineering-Workflows, von der Use-Case-Identifikation und Anforderungsanalyse über Architekturentscheidungen und Build-vs-Buy-Abwägungen bis zum Go-Live.

• awRAG.io: Identifizierung des Anwendungsfalls (fragmentierte Wissensbasis über verteilte KI-Tools), Definition der Datenanforderungen, Architekturentscheidung für eine mandantenfähige RAG-as-a-Service-Plattform mit DSGVO-konformer EU-Infrastruktur und produktionsreifer Retrieval-Pipeline

• LAIERS.ai: Use-Case-Definition (Kontextverlust in linearen KI-Workflows), strategische Produktentscheidungen zu UX, Kostenstruktur und Multi-LLM-Orchestrierung, Rollout einer räumlichen KI-Konversationsplattform mit proprietärem Kontextmanagementsystem LAICS

• LLMOps-Verantwortung: Qualitätssicherung, Pipelineoptimierung, Sicherheitsarchitektur (OAuth 2.0, SOC 2) und Performance-Monitoring beider Plattformen im Live-Betrieb

• Kernthemen: LLM, RAG, Vektor-Datenbanken, LLMOps, KI-Architekturstrategie, Cloud-Infrastruktur, Datensouveränität

• Konzeption, Vorbereitung und Durchführung eines Webinars zum Thema „RAG in der Praxis: Wie Verlage mit KI echten Mehrwert schaffen“
• Aufbereitung technischer und strategischer Inhalte rund um Retrieval Augmented Generation (RAG) für ein fachlich gemischtes Publikum aus der Verlagsbranche
• Darstellung konkreter Use Cases, technischer Hintergründe, typischer Herausforderungen und Lösungsansätze im Einsatz von RAG
• Vermittlung von praxisnahen Einblicken in Datenaufbereitung, Modellwahl und Output-Optimierung im Kontext digitaler Verlagsportale
• Inhaltliche Konzeption und fachliche Vorbereitung des Webinars
• Auswahl und Darstellung praxisnaher Use Cases aus dem Verlagsumfeld
• Erarbeitung technischer Hintergründe zur Umsetzung von RAG-Systemen
• Präsentation und Erklärung typischer Herausforderungen und Lösungsstrategien
• Large Language Models (LLMs)
• Retrieval Augmented Generation (RAG)

• Strategischer Übergang in KI-Engineering durch intensives Mentoring und Projektdurchführung.

• Entwicklung von MASX AI, einer agentischen KI-Plattform, die LangGraph, AutoGen und RAG für geopolitische Prognosen und Echtzeit-ETL integriert.

• Entwurf und Bereitstellung funktionsfähiger KI-Prototypen für potenzielle Kunden, die angewandte Expertise in Multi-Agenten-Systemen, Echtzeit-Datenpipelines und LLM-Integrationen demonstrieren.

• Führung eines funktionsübergreifenden Squads aus Backend-, Frontend- und ML/Data-Ingenieuren, dabei Balance zwischen operativer Mitarbeit (Architektur, Codierung, Reviews) und Teamführung (Mentoring, Priorisierung des Backlogs, Abstimmung der Roadmap).
• Konzeption und Umsetzung von ML-basierten Such- und Discovery-Funktionen, darunter Learning-to-Rank (LTR), Query Expansion und Vektor-Suche, was die Relevanz der Ergebnisse und das Nutzerengagement verbesserte.
• Implementierung von Personalisierungs- und Empfehlungspipelines unter Nutzung von Verhaltensdaten und Segmentierung zur Steigerung der Kundenbindung und des Customer Lifetime Value.
• Einführung datengetriebener Prozesse und Aufbau von A/B-Testing- und Experimentier-Workflows (Odyn, MLflow), um die Auswirkungen von Features auf CTR, NDCG und Conversion zu messen.
• Verantwortung für die Architektur und Roadmap des Squads, Modernisierung der Services durch cloud-native Microservices und eventgesteuerte Systeme (AWS, Pulumi, Terraform) zur Steigerung von Skalierbarkeit und Zuverlässigkeit.
• Erhöhte Zuverlässigkeit und operative Exzellenz durch Einführung von Observability (Prometheus, Grafana, NewRelic), Incident Management und Post-Mortems, die Ausfallzeiten bei Kundendienstleistungen verringerten.
• Mentoring und Unterstützung von Ingenieuren, Förderung des technischen Wachstums, der Zusammenarbeit und einer kundenorientierten Denkweise durch regelmäßiges Feedback, Coaching und Code Reviews.
• Enge Zusammenarbeit mit Produktmanagern, Forschern und Stakeholdern, um Kunden-Insights in technische Lösungen umzusetzen, die Discovery, Engagement und Kundenbindung verbesserten.
• Untersuchung von Anwendungsfällen für Generative AI/LLM (GPT-4, LangChain, RAG), Prototyping intelligenter Assistenten und personalisierter Discovery-Workflows, die die Nutzerzufriedenheit steigerten.
• Erzielt greifbare Ergebnisse: Steigerung des Engagements durch Personalisierung, Beitrag zum Umsatzwachstum und Verringerung von Vorfällen durch Integration von Resilienz und Observability.

• Evaluierung von openDesk als MS365-Alternative
• Konzeption KI-optimierter Infrastruktur
• Kubernetes-Orchestrierung
• Beratung zur Container-Sicherheit