KI-Agenten-Bewertungsanalyst (m/w/d)

Wir suchen einen freiberuflichen Agenten-Bewertungsanalysten, der die Verantwortung für Qualität, Struktur und Erkenntnisse im gesamten Projekt übernimmt. Diese Rolle geht weit über das reine Kontrollieren von Aufgaben hinaus – es geht um kritisches Denken, systemübergreifende Analyse und darum, Klarheit, Zuverlässigkeit und Konsistenz im großen Maßstab sicherzustellen. Du arbeitest sowohl als praktischer Evaluator als auch als Analyst und kooperierst mit Fachexperten, Delivery Managern und Ingenieuren. Über das Überprüfen von Ergebnissen hinaus sollst du das „Warum“ hinter der Arbeit verstehen, logische Lücken oder Widersprüche erkennen und sinnvolle Verbesserungen vorschlagen.

Dies ist eine flexible, wirkungsorientierte Rolle, in der du Raum zum Wachsen, Ideen einbringen und die Skalierung von Bewertung und Qualität im Projekt mitgestalten kannst.

Diese Rolle ist besonders geeignet für:

• Analysten, Forscher oder Berater mit starken Strukturierungs- und Argumentationsfähigkeiten
• Junior-Produktmanager oder Strategen, die sich für KI und Bewertungsarbeit interessieren
• clevere Problemlöser (Studierende oder Berufseinsteiger), die gern in Logik, Systeme und Randfälle eintauchen

Du brauchst keinen Programmierhintergrund. Was zählt, sind Neugier, geistige Genauigkeit und die Fähigkeit, komplexe Abläufe präzise zu bewerten.

Was du tun wirst

• Vollständige Verantwortung für die QA-Pipeline bei Agenten-Bewertungsaufgaben übernehmen
• Aufgaben und Golden Paths, die von Szenario-Autoren und Experten erstellt wurden, prüfen und validieren
• Logische Inkonsistenzen, vage Anforderungen, versteckte Risiken und unrealistische Annahmen aufdecken
• Strukturiertes Feedback geben und Qualitätsabgleich zwischen den Mitwirkenden sicherstellen; neue QA-Teammitglieder schulen und betreuen
• Mit Fachexperten, Delivery Managern und Ingenieuren zusammenarbeiten, um Testklarheit und -abdeckung zu verbessern
• QA-Checklisten, SOPs und Prüfungsrichtlinien pflegen und weiterentwickeln
• Zur Testplanung, Priorisierung und Qualitätstandards beitragen
• Eigeninitiativ neue Ansätze, Tools und Prozesse vorschlagen, um Validierung und Analyse zu skalieren.

Was du mitbringen solltest / können musst

• Ausgeprägte analytische und kritische Denkfähigkeiten
• Detailgenauigkeit und Zuverlässigkeit – deine Arbeit kann ohne Nachprüfung vertraut werden
• Erfahrung in manueller QA, Szenariovalidierung oder ähnlicher analytischer Arbeit
• Sicherer Umgang mit strukturierten Formaten (JSON/YAML)
• Klare schriftliche Kommunikations- und Dokumentationsfähigkeiten
• Fähigkeit, konstruktives Feedback zu geben und andere anzuleiten
• Fähigkeit, mit unterschiedlichsten Stakeholdern zu arbeiten: von Ingenieuren bis zu Direktoren/VPs

Nice to have

• Hintergrund in szenariobasiertem Testen, Testdesign oder Annotierungs-Workflows
• Erfahrung mit KI-/LLM-Bewertung, Prompt-Validierung oder Agentenverhaltens-Tests
• Technische Unabhängigkeit (z.B. Python-Kenntnisse)
• Vertrautheit mit MCP-/Tool-basierten Aufgabenausführungen
• Erfahrung in funktionsübergreifenden Teams aus Produkt, Delivery und Engineering

Wer du bist

• Detailverliebt, siehst aber auch das große Ganze
• Proaktiv, unabhängig und übernimmst wirklich Verantwortung für deine Arbeit
• Starker Kommunikatorin, der/die komplexe Erkenntnisse in umsetzbare Insights übersetzt
• Flexibel und motiviert, in verschiedenen Aufgaben und Projekten mitzuwirken
• Überzeugt davon, dass Qualität nicht nur Kontrollieren bedeutet, sondern das ganze Produkt besser macht.