RLHF-Experten in Deutschland

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

Projekt: Digitalisierung von Lagerprozessen | Aufbau einer Data-Analytics-Plattform.

• Entwickelte ein webbasiertes System zur Einsatzplanung, das die tägliche Schichtplanung digitalisierte, indem es Mitarbeitenden-Know-how passenden Lagerbereichen zuordnete. Dadurch wurde die manuelle Abstimmung durch einen strukturierten Workflow ersetzt, der im ganzen Standort genutzt wurde und den Führungskräften Zeit bei der täglichen Planung sparte.
• Entwickelte ein Dashboard für die operative Echtzeitübersicht, das Führungskräften den aktuellen Durchsatz der Aufgaben und die offene Arbeitslast in den Lagerbereichen über den Tag hinweg live anzeigte und so half, Überstunden und Leerlaufkosten zu senken.
• Entwickelte eine Optimierungslösung für das Slotting, um die Effizienz beim Kommissionieren zu verbessern und die Kommissionierzeit pro Bestellung zu senken, in enger Zusammenarbeit mit den Operations-Teams vom Konzept bis zum produktiven Einsatz.

Verwendete Technologien: Python, Django, PostgreSQL, Pandas, NumPy, HTML, Java, JavaScript, Docker, Kubernetes, AWS, Power BI, GitHub Actions CI/CD, GitOps, Claude, OpenAI

• Entwarf und implementierte ein produktionsreifes GraphRAG-System mit Neo4j, Embeddings und Multi-Hop-Reasoning für über 120 Mio. Knoten, steigerte die Antwortgenauigkeit um 32 %, verringerte Halluzinationen um 41 % und senkte die Abruflatenz um 38 %.
• Entwickelte und implementierte ein Enterprise-Agenten-Ökosystem mit Model Context Protocol (MCP), das interne APIs, Datenbanken und Services als sichere aufrufbare Tools für autonome Workflows und Systemintegration bereitstellt.
• Konzipierte und setzte einen produktionsreifen E-Mail-Routing-Agenten auf LLM-Basis mit Microsoft Graph API, MCP und Azure OpenAI ein, erreichte 96 % Routing-Genauigkeit, senkte den manuellen Triage-Aufwand um 65 % und verkürzte die Reaktionszeiten von 18 Stunden auf unter 4 Stunden.
• Implementierte Selbstkorrektur-Pipelines für autonome Agenten mittels iterativer Feedback-Schleifen (Ralph Wiggum), was eine zuverlässige Fehlererkennung, automatisierte Behebung und produktionssichere Ausführung ermöglicht.
• Entwickelte eine multimodale semantische Suchplattform mit multimodalen LLMs und Vektor-Embeddings, ermöglichte semantisches Auffinden von über 250 000 Bild- und Video-Assets und verbesserte die Trefferquote um 48 %.

• Lead Product Owner für 4 Entwicklungsteams
• Leitung und Koordination eines Greenfield-Projekts mit paralleler Implementierung der Kernkomponenten durch unabhängige Teams; Management von Abhängigkeiten und Ressourcen
• Etablierung eines Data-Lakehouse-Ansatzes inklusive Analyse des Mengengerüsts und zukünftiger Anforderungen im Rahmen einer Cloud-Migration (Best-of-Breed-Ansatz)
• Verantwortung für die Anforderungsanalyse, Auswahl und Pilotierung eines LIMS/ELN-Systems, unterstützt durch Beratung der Entscheidungsträger und Management der externen Dienstleister
• Einführung und Management eines OpenWeb UI- und Azure Open AI-basierten RAG-Systems zur Unterstützung der Wissensgewinnung und datengetriebenen Analysen
• Einrichtung, Konfiguration und Management von Jira-Projekten sowie Entwicklung projektbezogener Workflows und Automatisierungen
• Implementierung klassischer Scrum-Prozesse mit allen Zeremonien und Übernahme der Scrum-Master-Rolle für alle beteiligten Teams
• Unterstützung bei der Personalauswahl durch Interviews und Assessments aus der Perspektive eines Product Owners
• Entscheidungsfindung in zentralen Architekturfragen, darunter die Auswahl der Plattform für das Data-Lakehouse (Databricks) und die strategische Integration von LIMS und Analyseplattformen

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.

• Entwarf und bewertete hochwertige Prompts und Ausgaben für Große Sprachmodelle (LLMs) mit Fokus auf höhere Antwortgenauigkeit, Befolgung von Anweisungen und sachliche Konsistenz.
• Annotierte und bewertete LLM-generierte Ausgaben hinsichtlich Grammatik, Kohärenz, Relevanz und Wahrheitsgehalt.
• Erstellte Präferenzdaten im RLHF-Stil, indem Modellantworten gerankt wurden, um Reinforcement-Learning-Feintuningzyklen zu unterstützen.
• Beteiligte mich an Prompt-Engineering-Experimenten, um die Auswirkungen von Anweisungsformat, Ausführlichkeit und Formulierung auf das Modellverhalten zu bewerten.
• Führte Fehleranalysen und Qualitätssicherung an groß angelegten NLP-Datensätzen durch und identifizierte Randfälle sowie sprachliche Mehrdeutigkeiten, die die Leistung von LLMs beeinflussen.

• Konzipiert, entwickelt und weiterentwickelt ein Applied-KI-MVP, das ausführliche Audio-Interviews mithilfe agentenbasierter Orchestrierung und mehrstufigem Reasoning in strukturierte, langformatige Erzählformate über verschiedene Genres (z. B. Memoiren, institutionelles Wissen, thematische Essays) umwandelt.
• Zentrale Workflows in einem Next.js-Stack entworfen und implementiert, mit strukturierten Repräsentationen (JSON und andere Formate), Retrieval-gestützter Generierung und entstehenden Knowledge-Graph-Strukturen, um Kontext und Konsistenz über lange Dokumente hinweg zu wahren.
• Agentenverhalten in realistischen Erzählszenarien definiert und getestet, einschließlich idealer Nutzerpfade, Randfälle und Fehlerzustände, mit expliziten Kriterien für Kohärenz, faktische Übereinstimmung und Erfüllung der Nutzerabsicht.
• Führe derzeit gezielte Nutzertests mit ausgewählten Partnern durch, um Anwendungsfälle zu validieren und die nächsten Produktiterationen zu informieren.

• Erstellte und verfeinerte technische und compliance-orientierte Datensätze für KI und stellte eine hochwertige, strukturierte Dokumentation sicher.
• Führte Supervised Fine-Tuning (SFT) und RLHF-Aufgaben durch und hielt strikte Vorgaben aus Industrie- und Sicherheitsrichtlinien ein.
• Erstellte detaillierte technische Berichte und Feedback für Audit- und QA-Teams.
• Arbeitete mit funktionsübergreifenden Teams an Dokumentationsstrategien für großangelegte KI-Bereitstellungen zusammen.

• Studienführer mit über 50 Seiten für bedeutende literarische Werke eigenständig schreiben, bearbeiten und veröffentlichen, einschließlich detaillierter Kapitelszusammenfassungen, Figurenanalysen, Zitatanalysen und thematischer Rezensionen, zugeschnitten auf verschiedene Zielgruppen
• Komplexe literarische Inhalte durch gründliche Recherche, Synthese und redaktionelle Präzision innerhalb vorgegebener Fristen in strukturierte und zugängliche Ressourcen umwandeln

• Spezialisiert auf Coaching und Beratung bei technischen Umstellungen und in der Geschäftsentwicklung.
• Befähigung von Führungskräften, die Teamleistung in agilen, stressintensiven Umgebungen zu steigern.
• KI-Training & Optimierung: Einsatz von RLHF (Reinforcement Learning from Human Feedback) zur Optimierung technischer KI-Modelle und im Prompt Engineering.