KI-Evaluationsberater (m/w/d)

Wir suchen eine analytisch und technisch denkende Fachkraft, die:

• KI-Ergebnisse und -Prozesse bewertet
• Qualität, Genauigkeit und Zuverlässigkeit sicherstellt
• Logische Fehler, Risiken und strukturelle Inkonsistenzen erkennt
• Dem Team umsetzbare Erkenntnisse und Empfehlungen liefert

Ideale Kandidaten:

• Berater, Auditoren, Analysten, Datenforscher oder Business-/Technical-Analysten mit starken Argumentationsfähigkeiten
• Fachleute, die sich für KI, Prozessverbesserung und Qualitätsbewertung interessieren
• Problemlöser, die Spaß daran haben, komplexe Systeme, Logiken und Szenarien zu analysieren

Wesentliche Aufgaben:

• Führung der Bewertung von KI-Ergebnissen und zugehörigen Prozessen
• Überprüfung von Aufgaben anhand erwarteter/idealer Szenarien; Erkennen von Lücken und Risiken
• Strukturierte, umsetzbare Empfehlungen für Entwickler, Fachexperten und Manager geben
• Pflege und Verbesserung von Bewertungsrichtlinien, Checklisten und SOPs
• Vorschlag neuer Ansätze, Tools und Prozesse zur Optimierung der KI-Bewertung

• Erfahrung in Szenariovalidierung, Datenanalyse, Auditing oder Beratung
• Analytische Tätigkeit in Forschung, technischer/wirtschaftlicher Analyse oder Risikobewertung

Kenntnisse & Fähigkeiten:

• Starke analytische und kritische Denkweise
• Detailgenauigkeit, Zuverlässigkeit und eigenverantwortliche Arbeitsweise
• Technisches Verständnis: JSON/YAML, grundlegende Git/GitHub-Kenntnisse
• Selbstständige und proaktive Arbeitsweise

Wünschenswert:

• Szenariobasiertes Testen, Annotation-Workflows, KI/LLM-Bewertung
• Erfahrung in funktionsübergreifenden Teams