KI-Trainer in Deutschland

• SupportPiloten, einen KI-gestützten Content-Operations-Service, aufgebaut und validiert; ersten zahlenden Pilotkunden gewonnen
• Agentische Workflows mit Claude Code und Codex für Analyse, Recherche, Dokumentation und Prototyping erprobt
• Eigenes KI-Produkt weiterentwickelt; Weiterbildung: KI-Governance, KI-Compliance und EU AI Act (laufend)

Qualität von KI-Modellen im großen Maßstab vorantreiben – Bewertung der Prompt-Antwort-Genauigkeit, Erkennung von Randfällen und Einhaltung SLA-konformer Workflows über verteilte globale Teams hinweg.

• Analyse von KI-Prompts und nebeneinander gestellten Modellausgaben zur Bewertung der Antwortqualität, Sachgenauigkeit, Relevanz, Konsistenz und Einhaltung der Projektbewertungsrichtlinien.
• Durchführung von Faktenprüfungen, Datenvalidierung, Fehlerbehebung, Identifizierung von Problemen und Überprüfung von Randfällen zur Verbesserung der Qualitätsstandards in den KI-Trainingsunterstützungs-Workflows.
• Verwendung von Google Sheets, Google Docs und browserbasierten Tools zur Dokumentation von Ergebnissen, Führung von Bewertungsprotokollen, Verfolgung von Problemmustern und Unterstützung der Workflow-Optimierung in einer Remote-Umgebung.
• Erstellung klarer schriftlicher Begründungen, Review-Zusammenfassungen und KPI-orientierter Berichte mit Fokus auf Genauigkeit, Durchlaufzeit, Vollständigkeit der Dokumentation, Fehlererkennungsrate und SLA-Einhaltung.

Technischer Redakteur bei einem Sondermaschinenhersteller zur Implementierung der Anforderungen der EU-MVO in die technische Dokumentation und FMEA-Moderation. Funktion: Technischer Redakteur und FMEA-Moderator

• Bewertung und Erstellung deutschsprachiger Trainingsdaten für KI-Modelle, mit Fokus auf Sprachqualität, Tonalität und Zielgruppentauglichkeit.
• Konzeption von Prompts und Bewertungsrastern für die Qualitätssicherung von KI-Antworten.
• Prompt-Design und Erstellung von KI-Trainingsinhalten auf Deutsch und Englisch.
• Sprach- und Voice-Training für KI-Modelle auf Deutsch.

• Arbeit als deutsch/englischer Sprachexperte zur Bewertung und Einstufung von KI-Modellantworten hinsichtlich Genauigkeit, Qualität der Schlussfolgerungen und natürlicher Sprachverwendung auf muttersprachlichem bzw. C2-Niveau in beiden Sprachen.
• Durchführung strukturierter Datenannotations- und Transkriptionsaufgaben mit detaillierter richtlinienbasierter Bewertung und Beurteilung von Sonderfällen.
• Durchführung visueller Qualitätsbewertungen, bei denen von KI erzeugte und modellverarbeitete Bilder und Videos auf visuelle Artefakte, sachliche und kompositorische Genauigkeit sowie die Einhaltung detaillierter Richtlinienkriterien geprüft werden.
• Bewertung und Annotation von Text-to-Speech-(TTS-)Modellausgaben hinsichtlich Aussprachegenauigkeit, Prosodie, Natürlichkeit und Audioqualität anhand strukturierter Richtlinienkriterien.
• Bewertung von Speech-to-Speech-(STS-)Modellinteraktionen durch Einstufung der Gesprächsaudios hinsichtlich Natürlichkeit, Ton, Latenz und Angemessenheit der Antworten bei Echtzeit-Sprachinteraktionen.
• Gleichzeitige Bearbeitung von Arbeitsaufträgen auf mehreren Plattformen mit Priorisierung nach Aufgabenqualität und Durchsatz, um die wöchentlichen Ausgabenziele zu erreichen.

• Einsatz von KI-Tools (ChatGPT Pro, Google Gemini Plus, Claude Pro, Make.com Pro, n8n, Sora, Google Veo3, Octoparse Professional)
• Erstellung hochqualifizierter Vertriebspipelines im CRM Pipedrive
• Automatisierte Lead-Generierung und -Qualifizierung per Webscraping und KI-Analyse
• Entwicklung von Social-Selling- und Sales-Materialien
• 56 % Lead-to-Deal-Conversion; ca. 140 k EUR eigene Abschlüsse

• Erstellung von deutschem Website-, E-Mail- und Social-Media-Content
• Lokalisierung technischer Website-Texte von Englisch nach Deutsch (IT, Tech, Konsumprodukte)
• Bewertung von KI-generierten deutschen Texten auf faktische Richtigkeit, Tonalität und kulturelle Relevanz
• Prüfung und Korrektur synthetischer deutscher Datensätze, wodurch grammatikalische und stilistische Fehler reduziert wurden

• Übernahm die technische Leitung eines 4-köpfigen Teams, das innerhalb von 12 Monaten 3 wichtige Kundenplattformen mit Microservices-Architektur und Lösungen für Skalierbarkeit bereitstellte — 100% der geplanten Hauptfunktionen wurden vor dem Zeitplan und den geplanten Meilensteinen ausgeliefert (Ausgangslage: Frühere Releases verzögerten sich häufig um 1–2 Sprints).
• Führte Evaluierungen von KI-Modellen und Modellausgaben für LLM-/KI-Anbieter-APIs durch: Sicherheit, Vollständigkeit, Befolgung von Anweisungen und Prüfung der inhaltlichen Fundierung vor dem Go-live; reduzierte fehlerhafte Ausgaben in den KI-integrierten Release-Checklisten von wiederkehrenden UAT-Ergebnissen auf nahezu null bei der finalen Freigabe.
• Entwickelte die API-Entwicklung und Performance-Optimierung für Zahlungs-, Börsen- und KI-Dienste voran; strikt geschlossene Fehlerbehandlung und Payload-Validierung reduzierten die Überarbeitung von Integrationen im Vergleich zum ersten KI-Integrationsdurchlauf um ~35%.
• Setzte Softwaretests, Test-Frameworks, Qualitätssicherung von Code und Code-Refactoring mit Gates für die kontinuierliche Integration ein; die Akzeptanz von Pull Requests im ersten Durchlauf verbesserte sich im gesamten Team, und Hotfixes in der Produktion für KI-Adapter gingen nach Einführung der Review-Standards spürbar zurück.
• Verantwortete DevOps-Praktiken: Docker, GitHub Actions, Jenkins-kompatible Pipelines und Versionskontroll-Workflows — reduzierte die Bereitstellungszeit gegenüber der Ausgangslage vor der Automatisierung um ~50% und stabilisierte Releases in 3 Kundenumgebungen.
• Implementierte Verifier-/Oracle-artige Bestanden-Nicht-bestanden-Prüfungen in Container-Sandboxes (an Harbor/Terminal-Bench ausgerichtet); erstellte technische Dokumentation, sodass Fehler in einem Review-Zyklus behoben werden konnten.
• Leitete die funktionsübergreifende Zusammenarbeit mit Produkt- und Kundenstakeholdern; übersetzte KI-Evaluierungswerte und Risikobefunde in verständliche Kurzberichte für nichttechnische Partner und ermöglichte Go-/No-Go-Entscheidungen ohne zusätzliche Engineering-Meetings.
• Setzte agile Methoden für Sprintplanung und Backlog-Verantwortung ein; unterstützte Engineers dabei, dass Entwickler auf mittlerem Niveau bereits zur Hälfte des Projekts KI-Adapter-Module eigenständig verantworteten.

• 15+ Fallstudien zu Hindernissen bei der Einführung von KI in KMU zu einer strukturierten strategischen Analyse zusammengeführt und drei Startup-Veranstaltungen im größten regionalen Hightech-Netzwerk Europas mitorganisiert (1.400+ Mitgliedsunternehmen).

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

Selbstständige Erkundung von Methoden zur Entwicklung agentischer KI, von der Idee bis zu einer funktionierenden, öffentlich nutzbaren Anwendung

• Ein interaktives Planungstool zur Modellierung von Altersvorsorge-Entnahmen und Steuerstrategie mit einem agentischen KI-Entwicklungsansatz (Vibe Coding) gebaut – als Beispiel für die eigenständige Untersuchung neuer KI-gestützter Entwicklungsmethoden
• Live-Projektionen für Ausgaben unter Berücksichtigung von Steuern und anpassbare Nutzereingaben geliefert; als kostenlose Browser-Anwendung ohne Installation in Python umgesetzt, mit Fokus auf Nutzbarkeit für nicht-technische Anwender

• Codebase-Bewertung & Problemdesign: Komplexe Software-Engineering-Probleme gegen große Open-Source-Python-Codebasen (einschließlich pandas) entworfen und unter Last getestet, was tiefes Kontextverständnis und architektonisches Wissen erforderte, um sauber abgegrenzte, realistische Problemstellungen zu erstellen, die strengen Korrektheitsvorgaben entsprechen.
• Analyse von Agentenfehlern: Lösungen von LLM-Coding-Agenten auf Korrektheit und Vollständigkeit geprüft und dabei aussagekräftige Fehler in der Behandlung von Edge Cases, im dtype-Verhalten und in der Logik zur NaN-Weitergabe über mehrere Spalten hinweg identifiziert; Ergebnisse präzise für die weitere Auswertung dokumentiert.
• Programmgesteuerte Test-Suite-Entwicklung: Umfassende pytest-Suites erstellt, um Agenten-generierte Lösungen programmgesteuert gegen definierte Anforderungen zu prüfen, mit gezielter Abdeckung von Randbedingungen und Fehlermodi, die naive Implementierungen nicht erfassen.
• Containerisierte Umgebungs-Entwicklung: Docker-Umgebungen für reproduzierbare Agentenausführung gebaut und debuggt, einschließlich git-basierter Repository-Bereitstellung, Dependency-Pinning mit npm ci und Erstellung von Multi-Stage-Dockerfiles für Linux-basierte Container.

• Überwache die Abläufe der KI-Medizin-Content-Pipeline und stelle Qualitätsstandards für mehrsprachige Publikationen (DE/EN/ES) sicher
• Leite die funktionsübergreifende Zusammenarbeit mit technischen, medizinischen und kreativen Teams, um Workflows zur Content-Erstellung zu optimieren
• Steuere die Auswahl der Publikationen, den Review-Prozess und die Plattformbereitstellung mit Qualitätssicherung bei Übersetzungen

• RLHF & Modellbewertung: Large-Language-Model-Antworten (LLM) anhand von Genauigkeit, Qualität der Argumentation, Sicherheitsrichtlinien und sachlicher Richtigkeit bewertet, eingeordnet und verbessert.
• Datenannotation & Prompt Engineering: Hochkomplexe Prompts, Edge-Case-Szenarien und Referenzantworten in Goldstandard-Qualität erstellt, um generative KI-Modelle zu trainieren und zu fine-tunen.
• Qualitätssicherung & Verifikation: Sorgfältige Faktenprüfung, Validierung der logischen Konsistenz und Optimierung von mehrstufigen Antworten durchgeführt.