Prompt Engineering Experten in Dortmund

Entwicklung KI-nativer digitaler Produkte durch die Kombination von Produktstrategie, UX-Forschung, Interaction Design, Software Engineering und modernen KI-Workflows. Leitung von Projekten von der Discovery bis zur Umsetzung, wobei KI über den gesamten Produktentwicklungszyklus hinweg integriert wird.

Hauptaufgaben

• → Product Discovery, Stakeholder-Workshops, Jobs-to-be-Done und Nutzerforschung
• → User-Journey-Mapping, Informationsarchitektur und Interaction Design
• → Wireframes, High-Fidelity-UI, Prototypen und skalierbare Design Systems in Figma und Penpot
• → KI-gestützte Oberflächengenerierung und schnelle Konzeptentwicklung mit Figma AI, Figma Make und generativen Design-Workflows
• → Design-to-Code-Workflows mit KI-gestützter Frontend-Generierung und Zusammenarbeit mit Engineering
• → Aufbau barrierefreier Oberflächen nach WCAG 2.2 und Enterprise-Design-Standards
• → Usability-Tests, iterative Validierung und KPI-getriebene Produktoptimierung
• → Entwicklung von KI-Wissenssystemen, MCP-gestützten Design-Workflows und Human-in-the-Loop-Review-Prozessen
• → Enge Zusammenarbeit mit Engineering-Teams, um eine produktionsreife Umsetzung sicherzustellen

• Vollständiger Greenfield-Neuaufbau über den gesamten Stack — AI-native umgesetzt: Backend in Go und NestJS, PostgreSQL (CNPG) auf K3s mit GitOps/Terraform; Frontend mit Angular 22, zonenlos.
• Coding-Agenten (z. B. Claude Code, Cursor) über den gesamten Lifecycle orchestriert — Architektur, Implementierung, Tests, Reviews und Dokumentation — auf Basis von Specification-Driven Development (SDD).
• „Bruno“ — LLM-Kommentator-Persona mit RAG und MCP für eine konsistente Persönlichkeit über alle Generierungen hinweg (Vorberichte, Nachberichte, eigene virtuelle Wetten).

Angular 22 (zoneless, ohne Zone.js), Claude Code, Claude Code Skills, CNPG, Cursor, Design Tokens (Spec for Code), Docker, Gherkin, Git, GitLab, GitOps, Go, Google Gemini, Grafana, Hetzner Cloud, K3s, Keycloak, Kubernetes, Lighthouse, LLM-Integration, Model Context Protocol (MCP), NestJS, Node.js, NPM, Playwright, PostgreSQL, Prometheus, RAG, REST, Specification-Driven Development (SDD), Structured Outputs, Terraform, TypeScript, Vitest

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Entwicklung eines automatisierten Job-Scout-Workflows zur Aggregation und LLM-basierten Bewertung von Stellenanzeigen aus RSS-Feeds und APIs.
• Entwicklung eines Telegram-Bots für Sprach- und Textnachrichten mit LLM-gestützter Verarbeitung, Zusammenfassung und strukturiertem JSON-Output.
• Umsetzung eines persönlichen Task-Planning-Assistenten mit n8n, OpenRouter und Supabase für die automatisierte tägliche Planung und Wissensorganisation.
• Entwicklung von LLM-Chatbots für strukturierte Wissensabfragen mit Prompt-Einschränkungen, Guardrails und erzwungenen Ausgabeformaten.

• Leitung der 12-wöchigen Weiterbildung zum KI- und Automationsspezialisten
• Erstellen von Schulungsunterlagen & Videokursen zu den Themen „Grundlagen der KI“, „Umgang mit ChatGPT“, „Prompt Engineering“, „KI-Agenten mit N8N“, „Automationen mit Make.com“ & KI-generierter Marketingcontent (Bilder, Videos, Blogbeiträge & Social Media Posts)
• Durchführung von Workshops zu den o.g. Themen
• Tools: Loom, N8N, Make.com, ChatGPT, Midjourney, Gamma.app, Canva, Kling AI, Magnific AI
• Ergebnis: Selbstständige lernen das fachliche und betriebswirtschaftliche Know-how, um als KI- und Automationsspezialist erfolgreich ein Unternehmen aufzubauen

• Einrichtung neuer Desktop-Rechner
• Einrichtung eines VPS für Automatisierung, Datenbanken und Chatinterface
• Anbindung an Azure AI Foundry
• Entwicklung diverser n8n-Workflows für E-Mail-, Social-Media- und Dokumentenmanagement
• Implementierung eines QM-Systems (Sicherungen, Fehlerbehandlung, HITL)
• Einrichtung und Optimierung eines Inbound-Voice-Agents

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.