Prompt Engineering Experten in Dortmund

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Entwicklung eines automatisierten Job-Scout-Workflows zur Aggregation und LLM-basierten Bewertung von Stellenanzeigen aus RSS-Feeds und APIs.
• Entwicklung eines Telegram-Bots für Sprach- und Textnachrichten mit LLM-gestützter Verarbeitung, Zusammenfassung und strukturiertem JSON-Output.
• Umsetzung eines persönlichen Task-Planning-Assistenten mit n8n, OpenRouter und Supabase für die automatisierte tägliche Planung und Wissensorganisation.
• Entwicklung von LLM-Chatbots für strukturierte Wissensabfragen mit Prompt-Einschränkungen, Guardrails und erzwungenen Ausgabeformaten.

• Leitung der 12-wöchigen Weiterbildung zum KI- und Automationsspezialisten
• Erstellen von Schulungsunterlagen & Videokursen zu den Themen „Grundlagen der KI“, „Umgang mit ChatGPT“, „Prompt Engineering“, „KI-Agenten mit N8N“, „Automationen mit Make.com“ & KI-generierter Marketingcontent (Bilder, Videos, Blogbeiträge & Social Media Posts)
• Durchführung von Workshops zu den o.g. Themen
• Tools: Loom, N8N, Make.com, ChatGPT, Midjourney, Gamma.app, Canva, Kling AI, Magnific AI
• Ergebnis: Selbstständige lernen das fachliche und betriebswirtschaftliche Know-how, um als KI- und Automationsspezialist erfolgreich ein Unternehmen aufzubauen

• Einrichtung neuer Desktop-Rechner
• Einrichtung eines VPS für Automatisierung, Datenbanken und Chatinterface
• Anbindung an Azure AI Foundry
• Entwicklung diverser n8n-Workflows für E-Mail-, Social-Media- und Dokumentenmanagement
• Implementierung eines QM-Systems (Sicherungen, Fehlerbehandlung, HITL)
• Einrichtung und Optimierung eines Inbound-Voice-Agents

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.