KI-Agent-Bewertungsanalyst

Für ein KI-Labor suchen wir einen KI-Agent-Bewertungsanalysten, um ein KI-Modell (Large Language Model - LLM) zu trainieren.

Du hilfst der KI, die Welt zu verstehen. Als Berater wirst du möglicherweise zu Online-Projekten eingeladen, um das Modell in deinem Fachgebiet zu schulen.

Diese flexible Rolle eignet sich sowohl für Experten, die eine Teilzeitbeschäftigung (mindestens ein paar Stunden pro Woche) suchen, als auch für Interessierte an Vollzeitmöglichkeiten

• Überprüfung von Bewertungsszenarien und -aufgaben auf Logik, Vollständigkeit und Realitätsnähe.
• Erkennen von Widersprüchen, fehlenden Annahmen oder unklaren Entscheidungs- punkten.
• Mitwirkung bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
• Kennzeichnung von Ursache-Wirkungs-Beziehungen, Denkmustern und plausiblen Alternativen.
• Gedankliche Durchdringung komplexer Systeme und Richtlinien aus menschlicher Perspektive, um eine angemessene Prüfung der Agenten sicherzustellen.
• Enge Zusammenarbeit mit QA, Autoren oder Entwicklern zur Verbesserung oder zum Abdecken von Randfällen.

• Hervorragende analytische Fähigkeiten: Du kannst komplexe Systeme, Szenarien und logische Zusammenhänge durchdenken.
• Starke Aufmerksamkeit fürs Detail: Du erkennst Widersprüche, Mehrdeutigkeiten und unklare Vorgaben.
• Vertrautheit mit strukturierten Datenformaten: Du kannst JSON/YAML lesen, nicht unbedingt schreiben.
• Ganzheitliche Szenario-Bewertung: Was fehlt, was ist unrealistisch, was könnte schiefgehen?
• Erfahrung mit Richtlinienprüfungen, Logikrätseln, Fallstudien oder strukturiertem Szenariodesign.
• Hintergrund in Beratung, Wissenschaft, Olympiaden (z.B. Logik/Mathematik/Informatik) oder Forschung.
• Erfahrung mit LLMs, Prompt-Engineering oder KI-generierten Inhalten.
• Vertrautheit mit QA- und Testfalldenken (Randfälle, Fehlerfälle, „was könnte schiefgehen“).

Bewerbungsprozess:

• Wenn du ausgewählt wirst, erhältst du eine Einladung zum Interview von Mindrift.