Projektspezifikation
Projektexpertise
Beschreibung
Wir suchen jemanden, der realistische und strukturierte Evaluierungsszenarien für LLM-basierte Agenten entwerfen kann. Du erstellst Testfälle, die menschenähnliche Aufgaben simulieren, und definierst den Goldstandard, um Agentenaktionen damit zu vergleichen. Du sorgst dafür, dass jedes Szenario klar definiert, gut bewertet und einfach auszuführen sowie wiederzuverwenden ist. Dafür brauchst du einen scharfen analytischen Verstand, ein Auge fürs Detail und Interesse daran, wie KI-Agenten Entscheidungen treffen.
Obwohl jedes Projekt einzigartig ist, gehören zu deinen typischen Aufgaben:
- Strukturierte Testszenarien basierend auf realen Aufgaben entwerfen.
- Den Goldstandard und akzeptables Agentenverhalten definieren.
- Aufgabenschritte, erwartete Ergebnisse und Randfälle annotieren.
- Mit Entwicklern zusammenarbeiten, um deine Szenarien zu testen und Klarheit zu verbessern.
- Agentenausgaben prüfen und Tests entsprechend anpassen.
Anforderungen
- Bachelor- oder Masterabschluss in Informatik, Software Engineering, Data Science / Datenanalyse, künstliche Intelligenz / Machine Learning, Computerlinguistik / Natural Language Processing (NLP), Informationssysteme oder verwandten Bereichen.
- Erfahrung in QA, Softwaretests, Datenanalyse oder NLP-Annotierung.
- Gutes Verständnis von Testdesign-Prinzipien (z. B. Reproduzierbarkeit, Abdeckung, Randfälle).
- Starke schriftliche Kommunikationsfähigkeiten in Englisch.
- Souveräner Umgang mit strukturierten Formaten wie JSON/YAML zur Beschreibung von Szenarien.
- Fähigkeit, erwartetes Agentenverhalten (Goldpfade) und Bewertungslogik zu definieren.
- Grundkenntnisse in Python und JS.
- Neugierig und offen für die Arbeit mit KI-generierten Inhalten, Agentenprotokollen und prompt-basiertem Verhalten.
- Bereit, neue Methoden zu erlernen, schnell zwischen Aufgaben und Themen zu wechseln und manchmal mit komplexen, anspruchsvollen Richtlinien zu arbeiten.
- Unsere freiberufliche Rolle ist vollständig remote, du brauchst nur einen Laptop, Internetverbindung, verfügbare Zeit und Begeisterung für die Herausforderung.
Nice to Have
- Erfahrung im Schreiben manueller oder automatisierter Testfälle.
- Vertrautheit mit LLM-Fähigkeiten und typischen Fehlerbildern.
- Verständnis von Bewertungsmetriken (Precision, Recall, Abdeckung, Reward-Funktionen).
Du bewirbst dich dieses Mal nicht?
Lass dich über ähnliche Projekte informieren, die zu deiner Erfahrung passen.
Häufig gestellte Fragen
Schließ Dich anderen Experten an, die bereits Teil unseres Netzwerks sind
