KI-Trainer in Deutschland

Trainiere große Sprachmodelle (LLMs) in den Bereichen Bewertung, Finanzmodellierung und Investmentanalyse.

• Bewertete KI-Ausgaben und Quellmaterial auf Genauigkeit, Relevanz, Klarheit und Nutzbarkeit in den Bereichen Suchqualität, Annotation, Sprache und multimodale Aufgaben.
• Setzte praktische Kenntnisse darüber ein, wie Quellenqualität, Metadaten und Berechtigungen den zuverlässigen KI-Abruf beeinflussen; keine Behauptung von Chatbot-Engineering oder Plattformentwicklung.

• LLM-Benchmarking: Über 1,000 von LLMs generierte Antworten auf technische Korrektheit, Code-Effizienz, Sicherheit und die strikte Einhaltung komplexer technischer Prompt-Vorgaben bewertet und verglichen.
• Mathematische Prüfung: Hochdetaillierte strukturelle Prüfungen von modellgeneriertem Code und mehrstufigen mathematischen Herleitungen durchgeführt und dabei Ursachen für logische Lücken, Syntaxfehler und Halluzinationen dokumentiert.
• Prompt-Architektur: Hochkomplexe mathematische, logische und programmierbezogene Prompts entwickelt und Belastungstests unterzogen, um Fehler in Edge-Cases aufzudecken und fortgeschrittene Denkfähigkeiten zu bewerten.
• Modellausrichtung: RLHF- und SFT-Workflows geleitet, Google Collab und interaktive Python-Skripte genutzt, um umfangreiche Datensätze mit Modellausgaben zu analysieren und sehr detaillierte Präferenz-Rankings zu erstellen.

Menschen und Organisationen sind in unserer heutigen Zeit vor besondere Herausforderungen gestellt: Technische Veränderungen haben massive Auswirkungen auf unser Leben und Arbeiten, die Schnelllebigkeit und die Menge an Veränderungen im Außen erfordern von uns immer schnellere Anpassungs- und Aufnahmefähigkeit, Resilienz und Sicherheit in Bezug auf unsere eigene Identität. Waren bis vor einigen Jahren Change-Projekte in Unternehmen durch ein klares Start- und Enddatum gekennzeichnet, sehen wir uns heute mit permanentem Change konfrontiert. Ich unterstütze Menschen und Organisationen dabei, diese permanenten Veränderungen anzunehmen und zu leben.

• Übernahm die technische Leitung eines 4-köpfigen Teams, das innerhalb von 12 Monaten 3 wichtige Kundenplattformen mit Microservices-Architektur und Lösungen für Skalierbarkeit bereitstellte — 100% der geplanten Hauptfunktionen wurden vor dem Zeitplan und den geplanten Meilensteinen ausgeliefert (Ausgangslage: Frühere Releases verzögerten sich häufig um 1–2 Sprints).
• Führte Evaluierungen von KI-Modellen und Modellausgaben für LLM-/KI-Anbieter-APIs durch: Sicherheit, Vollständigkeit, Befolgung von Anweisungen und Prüfung der inhaltlichen Fundierung vor dem Go-live; reduzierte fehlerhafte Ausgaben in den KI-integrierten Release-Checklisten von wiederkehrenden UAT-Ergebnissen auf nahezu null bei der finalen Freigabe.
• Entwickelte die API-Entwicklung und Performance-Optimierung für Zahlungs-, Börsen- und KI-Dienste voran; strikt geschlossene Fehlerbehandlung und Payload-Validierung reduzierten die Überarbeitung von Integrationen im Vergleich zum ersten KI-Integrationsdurchlauf um ~35%.
• Setzte Softwaretests, Test-Frameworks, Qualitätssicherung von Code und Code-Refactoring mit Gates für die kontinuierliche Integration ein; die Akzeptanz von Pull Requests im ersten Durchlauf verbesserte sich im gesamten Team, und Hotfixes in der Produktion für KI-Adapter gingen nach Einführung der Review-Standards spürbar zurück.
• Verantwortete DevOps-Praktiken: Docker, GitHub Actions, Jenkins-kompatible Pipelines und Versionskontroll-Workflows — reduzierte die Bereitstellungszeit gegenüber der Ausgangslage vor der Automatisierung um ~50% und stabilisierte Releases in 3 Kundenumgebungen.
• Implementierte Verifier-/Oracle-artige Bestanden-Nicht-bestanden-Prüfungen in Container-Sandboxes (an Harbor/Terminal-Bench ausgerichtet); erstellte technische Dokumentation, sodass Fehler in einem Review-Zyklus behoben werden konnten.
• Leitete die funktionsübergreifende Zusammenarbeit mit Produkt- und Kundenstakeholdern; übersetzte KI-Evaluierungswerte und Risikobefunde in verständliche Kurzberichte für nichttechnische Partner und ermöglichte Go-/No-Go-Entscheidungen ohne zusätzliche Engineering-Meetings.
• Setzte agile Methoden für Sprintplanung und Backlog-Verantwortung ein; unterstützte Engineers dabei, dass Entwickler auf mittlerem Niveau bereits zur Hälfte des Projekts KI-Adapter-Module eigenständig verantworteten.

• Annotation von Datensätzen für Anwendungen des maschinellen Lernens unter Sicherstellung von Genauigkeit, Konsistenz und vollständiger Einhaltung detaillierter Vorgaben
• Erstellung individueller Bewertungsrichtlinien für KI-Trainingsdaten zur Verbesserung der Qualität und Standardisierung der Kennzeichnung
• Kategorisierung und Bewertung von Daten gemäß projektspezifischen Regeln bei direkter Arbeit mit KI-Systemen
• Durchführung von Qualitätsprüfungen und Bereitstellung von Feedback zur Verbesserung der Leistung von KI-Modellen

• 15+ Fallstudien zu Hindernissen bei der Einführung von KI in KMU zu einer strukturierten strategischen Analyse zusammengeführt und drei Startup-Veranstaltungen im größten regionalen Hightech-Netzwerk Europas mitorganisiert (1.400+ Mitgliedsunternehmen).

• Claude-Code-Subagenten, MCP, Pydantic V2, pytest, bandit

• 3 spezialisierte Agenten entwickelt und produktiv eingesetzt, die die Arbeit entlang einer Kette weitergeben: Ein Forschungsagent erstellt eine zitierte Implementierungsspezifikation, ein Coding-Agent entwickelt den modularen Code und seine Tests, und ein Review-Agent bewertet die Ergebnisse nach Schweregrad und setzt die Korrekturen um. Jede Übergabe erfolgt als strukturiertes Dokument, sodass keine Phase vom Kontextfenster eines anderen Agenten abhängt.

• Den Forschungsagenten mit einem MCP-Server für akademische Recherche verbunden (Semantic Scholar, ArXiv, Hugging Face Hub, Zitationsverfolgung), sodass jede Referenz auf ein Tool-Ergebnis und nicht auf das Modell zurückgeht. Commits hinter ruff, mypy, pytest und bandit abgesichert, menschliche Freigabe vor Installationen und Commits verlangt und den Sitzungsstatus auf der Festplatte gespeichert, damit lange Läufe einen Kontext-Reset überstehen.

• RLHF & Modellbewertung: Large-Language-Model-Antworten (LLM) anhand von Genauigkeit, Qualität der Argumentation, Sicherheitsrichtlinien und sachlicher Richtigkeit bewertet, eingeordnet und verbessert.
• Datenannotation & Prompt Engineering: Hochkomplexe Prompts, Edge-Case-Szenarien und Referenzantworten in Goldstandard-Qualität erstellt, um generative KI-Modelle zu trainieren und zu fine-tunen.
• Qualitätssicherung & Verifikation: Sorgfältige Faktenprüfung, Validierung der logischen Konsistenz und Optimierung von mehrstufigen Antworten durchgeführt.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Arbeit als deutsch/englischer Sprachexperte zur Bewertung und Einstufung von KI-Modellantworten hinsichtlich Genauigkeit, Qualität der Schlussfolgerungen und natürlicher Sprachverwendung auf muttersprachlichem bzw. C2-Niveau in beiden Sprachen.
• Durchführung strukturierter Datenannotations- und Transkriptionsaufgaben mit detaillierter richtlinienbasierter Bewertung und Beurteilung von Sonderfällen.
• Durchführung visueller Qualitätsbewertungen, bei denen von KI erzeugte und modellverarbeitete Bilder und Videos auf visuelle Artefakte, sachliche und kompositorische Genauigkeit sowie die Einhaltung detaillierter Richtlinienkriterien geprüft werden.
• Bewertung und Annotation von Text-to-Speech-(TTS-)Modellausgaben hinsichtlich Aussprachegenauigkeit, Prosodie, Natürlichkeit und Audioqualität anhand strukturierter Richtlinienkriterien.
• Bewertung von Speech-to-Speech-(STS-)Modellinteraktionen durch Einstufung der Gesprächsaudios hinsichtlich Natürlichkeit, Ton, Latenz und Angemessenheit der Antworten bei Echtzeit-Sprachinteraktionen.
• Gleichzeitige Bearbeitung von Arbeitsaufträgen auf mehreren Plattformen mit Priorisierung nach Aufgabenqualität und Durchsatz, um die wöchentlichen Ausgabenziele zu erreichen.

• Codebase-Bewertung & Problemdefinition: Entwarf und testete komplexe Softwareentwicklungsaufgaben anhand umfangreicher Open-Source-Python-Codebasen (einschließlich pandas). Dafür waren eine gründliche Einarbeitung und ein Verständnis der Architektur erforderlich, um klar abgegrenzte, realistische Aufgabenstellungen zu erstellen, die strengen Korrektheitsrichtlinien entsprachen.
• Analyse von Agentenfehlern: Bewertete die Lösungen von LLM-Coding-Agenten auf Korrektheit und Vollständigkeit und identifizierte relevante Fehler beim Umgang mit Sonderfällen, beim dtype-Verhalten und bei der NaN-Verarbeitung über mehrere Spalten hinweg. Dokumentierte die Ergebnisse präzise für die anschließende Bewertung.
• Entwicklung programmgesteuerter Testsuiten: Entwickelte umfassende pytest-Testsuiten, um von Agenten erstellte Lösungen programmgesteuert anhand definierter Anforderungen zu überprüfen. Dabei deckte ich gezielt Grenzfälle und Fehlerszenarien ab, die einfache Implementierungen nicht erkennen.
• Entwicklung containerisierter Umgebungen: Erstellte und debuggte Docker-Umgebungen für die reproduzierbare Ausführung von Agenten, einschließlich der Bereitstellung von Repositories über git, der Festlegung von Abhängigkeiten mit npm ci und der Erstellung mehrstufiger Dockerfiles für Linux-basierte Container.

Selbstständige Erkundung von Methoden zur Entwicklung agentischer KI, von der Idee bis zu einer funktionierenden, öffentlich nutzbaren Anwendung

• Ein interaktives Planungstool zur Modellierung von Altersvorsorge-Entnahmen und Steuerstrategie mit einem agentischen KI-Entwicklungsansatz (Vibe Coding) gebaut – als Beispiel für die eigenständige Untersuchung neuer KI-gestützter Entwicklungsmethoden
• Live-Projektionen für Ausgaben unter Berücksichtigung von Steuern und anpassbare Nutzereingaben geliefert; als kostenlose Browser-Anwendung ohne Installation in Python umgesetzt, mit Fokus auf Nutzbarkeit für nicht-technische Anwender