Large Language Model Experten in Dortmund

• MVP-fokussierte Full-Stack-Architektur für einen Kunden im Gesundheitswesen bereitgestellt: Vite/React-Frontend, Backend-Services auf Google Cloud Run und Supabase für Datenbank sowie IAM/Authentifizierung.
• Produktanforderungsanalyse unterstützt und eine kostenoptimierte Workload-Platzierung priorisiert, indem Browser-/Edge-Berechnungen umgesetzt wurden, wo möglich, bevor Logik in die Backend-Services verschoben wurde.

• Konzipierte und entwickelte End-to-End-Machine-Learning-Pipelines für Klassifikations- und Vorhersagedaten und implementierte sie unter Einsatz von MLOps-Best Practices, um Robustheit und Reproduzierbarkeit zu gewährleisten.
• Trug direkt zur Verbesserung der Ausgabegenauigkeit von LLM-Modellen bei, indem ich spezialisierte Prompts entwickelte, die auf der Logik von End-to-End-ML- und SciML-Pipelines basieren.
• Erstellte Trainingsdaten für Large Language Models, indem ich Programmieraufgaben formulierte, die die Modelle nicht lösen konnten, und anschließend die richtigen Lösungen dokumentierte.

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Entwicklung eines automatisierten Job-Scout-Workflows zur Aggregation und LLM-basierten Bewertung von Stellenanzeigen aus RSS-Feeds und APIs.
• Entwicklung eines Telegram-Bots für Sprach- und Textnachrichten mit LLM-gestützter Verarbeitung, Zusammenfassung und strukturiertem JSON-Output.
• Umsetzung eines persönlichen Task-Planning-Assistenten mit n8n, OpenRouter und Supabase für die automatisierte tägliche Planung und Wissensorganisation.
• Entwicklung von LLM-Chatbots für strukturierte Wissensabfragen mit Prompt-Einschränkungen, Guardrails und erzwungenen Ausgabeformaten.

• Technische Leitung eines Teams zur Entwicklung agentischer Chatbot-Lösungen (React, TypeScript, Python, FastAPI)
• Architekturdesign für Multi-LLM-Dialogsysteme – Fokus auf Wartbarkeit, UX und autonome Ausführung
• Abstimmung mit Stakeholdern, CI/CD-Prozesse und AI-Integration auf Enterprise-Niveau

• Einrichtung neuer Desktop-Rechner
• Einrichtung eines VPS für Automatisierung, Datenbanken und Chatinterface
• Anbindung an Azure AI Foundry
• Entwicklung diverser n8n-Workflows für E-Mail-, Social-Media- und Dokumentenmanagement
• Implementierung eines QM-Systems (Sicherungen, Fehlerbehandlung, HITL)
• Einrichtung und Optimierung eines Inbound-Voice-Agents

• Ersteinschätzung der Anforderungen anhand eines Business-Value-Priorisierungsframeworks
• Identifikation von Problemen sowie Anforderungsaufnahme und -bewertung durch Einsatz von UML, BPMN sowie Design-Thinking-Methoden zur iterativen Anforderungsanalyse über Interviews und Workshops
• Einsatz von User Story Mapping in Miro zur Visualisierung und Abstimmung funktionaler Anforderungen (z. B. korrekte Übermittlung aller Antragsdaten und deren Anhänge an das Fachverfahren) sowie nicht-funktionaler Anforderungen (z. B. vollständige und nachweisbare Löschung der Daten eines Antragstellers) mit den Stakeholdern
• Proaktives Stakeholder-Management von internen sowie externen Stakeholdern aus Behörden, Fachbereichen, Organisationen und Unternehmen
• Erstellung von Status-Reports zur transparenten Kommunikation des Projektfortschritts und der anstehenden Aufgaben
• Verantwortung für eine REST-basierte Integrationslösung (Middleware) zum sicheren Datenaustausch zwischen Kernsystemen und externen Fachanwendungen; Sicherstellung von Stabilität und Performance im laufenden Betrieb
• Unterstützung der Product Owner bei der Priorisierung von Anforderungen im Backlog sowie bei der Product Discovery
• Kommunikation der Planung an interne sowie externe Stakeholder sowie Interimsübernahme der Product-Owner-Tätigkeit und Verantwortlichkeiten während eines Personalwechsels

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.

• Aufbau und Consulting eines Startups für Organisationsentwicklung (AI unterstützt)
• Workshops zu Vision und Mission
• Marketing Roadmap und Prozessgestaltung
• Entwicklung von Sales-Prozessen (Sales Funnel, Lead Generation)
• Brand Building und Social Media Omnichannel Strategien
• Content-Generierung für Audio, Video und Postings (AI unterstützt)
• Beratung zu Agile und Aufbau von SAFe
• Atlassian Beratung und Aufbau von Confluence und Jira (Workflows, Dashboards, Reporting)
• Aufbau eines Podcast- und Video-Studios inklusive Setup für Livestreaming
• Auswahl und Implementierung von Hardware und Software
• Erstellung der Website und Brand Building
• CMS-Implementierung auf Basis von Typo3
• Beratung in den Bereichen Sales, Marketing und Social Media
• Unterstützung von Unternehmen beim effizienten Einsatz von KI-Technologien
• Strategieentwicklung und Beratung bei der Umsetzung von KI-Strategien
• Change Management und Unterstützung von Teams bei der KI-Einführung inklusive Schulungen
• Technische Expertise in Machine Learning, Datenverarbeitung und Large Language Models (LLMs) wie Llama, Claude und OpenAI GPT
• Auswahl, Feinabstimmung (Fine-Tuning) und Integration von LLMs in Geschäftsprozesse
• Beratung zu Ethik und Governance für den verantwortungsvollen Einsatz von KI
• Durchführung maßgeschneiderter Trainings für Führungskräfte und Teams
• KI-Analyse diverser Large Language Models (Llama, OpenAI, Mistral)
• Erstellung und Training eigener GPTs mit Schwerpunkt Organisationsentwicklung (Product Vision, OKR, Agile Maturity)
• Aufbau eines Chatbots zum Thema Agile Maturity
• Entwicklung eines KI-generierten Surveys zur Ermittlung der Agilität von Organisationen
• Aufbau lokaler Offline-GPTs mit Fokus auf Datenschutz und DSGVO
• Durchführung von KI-Workshops für KMU und den Mittelstand