RLHF Experten in Deutschland

• 15+ Fallstudien zu Hindernissen bei der Einführung von KI in KMU zu einer strukturierten strategischen Analyse zusammengeführt und drei Startup-Veranstaltungen im größten regionalen Hightech-Netzwerk Europas mitorganisiert (1.400+ Mitgliedsunternehmen).

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• LLM-Benchmarking: Über 1,000 von LLMs generierte Antworten auf technische Korrektheit, Code-Effizienz, Sicherheit und die strikte Einhaltung komplexer technischer Prompt-Vorgaben bewertet und verglichen.
• Mathematische Prüfung: Hochdetaillierte strukturelle Prüfungen von modellgeneriertem Code und mehrstufigen mathematischen Herleitungen durchgeführt und dabei Ursachen für logische Lücken, Syntaxfehler und Halluzinationen dokumentiert.
• Prompt-Architektur: Hochkomplexe mathematische, logische und programmierbezogene Prompts entwickelt und Belastungstests unterzogen, um Fehler in Edge-Cases aufzudecken und fortgeschrittene Denkfähigkeiten zu bewerten.
• Modellausrichtung: RLHF- und SFT-Workflows geleitet, Google Collab und interaktive Python-Skripte genutzt, um umfangreiche Datensätze mit Modellausgaben zu analysieren und sehr detaillierte Präferenz-Rankings zu erstellen.

Projekt: Digitalisierung von Lagerprozessen | Aufbau einer Data-Analytics-Plattform.

• Entwickelte ein webbasiertes System zur Einsatzplanung, das die tägliche Schichtplanung digitalisierte, indem es Mitarbeitenden-Know-how passenden Lagerbereichen zuordnete. Dadurch wurde die manuelle Abstimmung durch einen strukturierten Workflow ersetzt, der im ganzen Standort genutzt wurde und den Führungskräften Zeit bei der täglichen Planung sparte.
• Entwickelte ein Dashboard für die operative Echtzeitübersicht, das Führungskräften den aktuellen Durchsatz der Aufgaben und die offene Arbeitslast in den Lagerbereichen über den Tag hinweg live anzeigte und so half, Überstunden und Leerlaufkosten zu senken.
• Entwickelte eine Optimierungslösung für das Slotting, um die Effizienz beim Kommissionieren zu verbessern und die Kommissionierzeit pro Bestellung zu senken, in enger Zusammenarbeit mit den Operations-Teams vom Konzept bis zum produktiven Einsatz.

Verwendete Technologien: Python, Django, PostgreSQL, Pandas, NumPy, HTML, Java, JavaScript, Docker, Kubernetes, AWS, Power BI, GitHub Actions CI/CD, GitOps, Claude, OpenAI

• RLHF & Modellbewertung: Large-Language-Model-Antworten (LLM) anhand von Genauigkeit, Qualität der Argumentation, Sicherheitsrichtlinien und sachlicher Richtigkeit bewertet, eingeordnet und verbessert.
• Datenannotation & Prompt Engineering: Hochkomplexe Prompts, Edge-Case-Szenarien und Referenzantworten in Goldstandard-Qualität erstellt, um generative KI-Modelle zu trainieren und zu fine-tunen.
• Qualitätssicherung & Verifikation: Sorgfältige Faktenprüfung, Validierung der logischen Konsistenz und Optimierung von mehrstufigen Antworten durchgeführt.

• Entwicklung und Bewertung hochwertiger Prompts und Vervollständigungen für Large Language Models (LLMs), mit Schwerpunkt auf der Verbesserung der Antwortgenauigkeit, der Befolgung von Anweisungen und der faktischen Konsistenz.
• Annotation und Bewertung von durch LLMs erzeugten Ausgaben hinsichtlich Grammatik, Kohärenz, Relevanz und Wahrheitsgehalt.
• Erstellung von Präferenzdaten im RLHF-Stil durch die Rangfolge von Modellvervollständigungen zur Unterstützung von Feinabstimmungszyklen des verstärkenden Lernens.
• Teilnahme an Experimenten zum Prompt Engineering, um den Einfluss von Anweisungsformat, Ausführlichkeit und Formulierung auf das Modellverhalten zu untersuchen.
• Durchführung von Fehleranalysen und Qualitätssicherung bei groß angelegten NLP-Datensätzen sowie Identifizierung von Sonderfällen und sprachlicher Mehrdeutigkeit, die die LLM-Leistung beeinflussen.

• Lead Product Owner für 4 Entwicklungsteams
• Leitung und Koordination eines Greenfield-Projekts mit paralleler Implementierung der Kernkomponenten durch unabhängige Teams; Management von Abhängigkeiten und Ressourcen
• Etablierung eines Data-Lakehouse-Ansatzes inklusive Analyse des Mengengerüsts und zukünftiger Anforderungen im Rahmen einer Cloud-Migration (Best-of-Breed-Ansatz)
• Verantwortung für die Anforderungsanalyse, Auswahl und Pilotierung eines LIMS/ELN-Systems, unterstützt durch Beratung der Entscheidungsträger und Management der externen Dienstleister
• Einführung und Management eines OpenWeb UI- und Azure Open AI-basierten RAG-Systems zur Unterstützung der Wissensgewinnung und datengetriebenen Analysen
• Einrichtung, Konfiguration und Management von Jira-Projekten sowie Entwicklung projektbezogener Workflows und Automatisierungen
• Implementierung klassischer Scrum-Prozesse mit allen Zeremonien und Übernahme der Scrum-Master-Rolle für alle beteiligten Teams
• Unterstützung bei der Personalauswahl durch Interviews und Assessments aus der Perspektive eines Product Owners
• Entscheidungsfindung in zentralen Architekturfragen, darunter die Auswahl der Plattform für das Data-Lakehouse (Databricks) und die strategische Integration von LIMS und Analyseplattformen

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.

• Konzipiert, entwickelt und weiterentwickelt ein Applied-KI-MVP, das ausführliche Audio-Interviews mithilfe agentenbasierter Orchestrierung und mehrstufigem Reasoning in strukturierte, langformatige Erzählformate über verschiedene Genres (z. B. Memoiren, institutionelles Wissen, thematische Essays) umwandelt.
• Zentrale Workflows in einem Next.js-Stack entworfen und implementiert, mit strukturierten Repräsentationen (JSON und andere Formate), Retrieval-gestützter Generierung und entstehenden Knowledge-Graph-Strukturen, um Kontext und Konsistenz über lange Dokumente hinweg zu wahren.
• Agentenverhalten in realistischen Erzählszenarien definiert und getestet, einschließlich idealer Nutzerpfade, Randfälle und Fehlerzustände, mit expliziten Kriterien für Kohärenz, faktische Übereinstimmung und Erfüllung der Nutzerabsicht.
• Führe derzeit gezielte Nutzertests mit ausgewählten Partnern durch, um Anwendungsfälle zu validieren und die nächsten Produktiterationen zu informieren.

• Erstellte und verfeinerte technische und compliance-orientierte Datensätze für KI und stellte eine hochwertige, strukturierte Dokumentation sicher.
• Führte Supervised Fine-Tuning (SFT) und RLHF-Aufgaben durch und hielt strikte Vorgaben aus Industrie- und Sicherheitsrichtlinien ein.
• Erstellte detaillierte technische Berichte und Feedback für Audit- und QA-Teams.
• Arbeitete mit funktionsübergreifenden Teams an Dokumentationsstrategien für großangelegte KI-Bereitstellungen zusammen.

• Studienführer mit über 50 Seiten für bedeutende literarische Werke eigenständig schreiben, bearbeiten und veröffentlichen, einschließlich detaillierter Kapitelszusammenfassungen, Figurenanalysen, Zitatanalysen und thematischer Rezensionen, zugeschnitten auf verschiedene Zielgruppen
• Komplexe literarische Inhalte durch gründliche Recherche, Synthese und redaktionelle Präzision innerhalb vorgegebener Fristen in strukturierte und zugängliche Ressourcen umwandeln

• Spezialisiert auf Coaching und Beratung bei technischen Umstellungen und in der Geschäftsentwicklung.
• Befähigung von Führungskräften, die Teamleistung in agilen, stressintensiven Umgebungen zu steigern.
• KI-Training & Optimierung: Einsatz von RLHF (Reinforcement Learning from Human Feedback) zur Optimierung technischer KI-Modelle und im Prompt Engineering.

• Entwarf und implementierte ein produktionsreifes GraphRAG-System mit Neo4j, Embeddings und Multi-Hop-Reasoning für über 120 Mio. Knoten, steigerte die Antwortgenauigkeit um 32 %, verringerte Halluzinationen um 41 % und senkte die Abruflatenz um 38 %.
• Entwickelte und implementierte ein Enterprise-Agenten-Ökosystem mit Model Context Protocol (MCP), das interne APIs, Datenbanken und Services als sichere aufrufbare Tools für autonome Workflows und Systemintegration bereitstellt.
• Konzipierte und setzte einen produktionsreifen E-Mail-Routing-Agenten auf LLM-Basis mit Microsoft Graph API, MCP und Azure OpenAI ein, erreichte 96 % Routing-Genauigkeit, senkte den manuellen Triage-Aufwand um 65 % und verkürzte die Reaktionszeiten von 18 Stunden auf unter 4 Stunden.
• Implementierte Selbstkorrektur-Pipelines für autonome Agenten mittels iterativer Feedback-Schleifen (Ralph Wiggum), was eine zuverlässige Fehlererkennung, automatisierte Behebung und produktionssichere Ausführung ermöglicht.
• Entwickelte eine multimodale semantische Suchplattform mit multimodalen LLMs und Vektor-Embeddings, ermöglichte semantisches Auffinden von über 250 000 Bild- und Video-Assets und verbesserte die Trefferquote um 48 %.