Large Language Model Experten in Dortmund

• Vollständiger Greenfield-Neuaufbau über den gesamten Stack — AI-native umgesetzt: Backend in Go und NestJS, PostgreSQL (CNPG) auf K3s mit GitOps/Terraform; Frontend mit Angular 22, zonenlos.
• Coding-Agenten (z. B. Claude Code, Cursor) über den gesamten Lifecycle orchestriert — Architektur, Implementierung, Tests, Reviews und Dokumentation — auf Basis von Specification-Driven Development (SDD).
• „Bruno“ — LLM-Kommentator-Persona mit RAG und MCP für eine konsistente Persönlichkeit über alle Generierungen hinweg (Vorberichte, Nachberichte, eigene virtuelle Wetten).

Angular 22 (zoneless, ohne Zone.js), Claude Code, Claude Code Skills, CNPG, Cursor, Design Tokens (Spec for Code), Docker, Gherkin, Git, GitLab, GitOps, Go, Google Gemini, Grafana, Hetzner Cloud, K3s, Keycloak, Kubernetes, Lighthouse, LLM-Integration, Model Context Protocol (MCP), NestJS, Node.js, NPM, Playwright, PostgreSQL, Prometheus, RAG, REST, Specification-Driven Development (SDD), Structured Outputs, Terraform, TypeScript, Vitest

• MVP-fokussierte Full-Stack-Architektur für einen Kunden im Gesundheitswesen bereitgestellt: Vite/React-Frontend, Backend-Services auf Google Cloud Run und Supabase für Datenbank sowie IAM/Authentifizierung.
• Produktanforderungsanalyse unterstützt und eine kostenoptimierte Workload-Platzierung priorisiert, indem Browser-/Edge-Berechnungen umgesetzt wurden, wo möglich, bevor Logik in die Backend-Services verschoben wurde.

• Konzipierte und entwickelte End-to-End-Machine-Learning-Pipelines für Klassifikations- und Vorhersagedaten und implementierte sie unter Einsatz von MLOps-Best Practices, um Robustheit und Reproduzierbarkeit zu gewährleisten.
• Trug direkt zur Verbesserung der Ausgabegenauigkeit von LLM-Modellen bei, indem ich spezialisierte Prompts entwickelte, die auf der Logik von End-to-End-ML- und SciML-Pipelines basieren.
• Erstellte Trainingsdaten für Large Language Models, indem ich Programmieraufgaben formulierte, die die Modelle nicht lösen konnten, und anschließend die richtigen Lösungen dokumentierte.

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Entwicklung eines automatisierten Job-Scout-Workflows zur Aggregation und LLM-basierten Bewertung von Stellenanzeigen aus RSS-Feeds und APIs.
• Entwicklung eines Telegram-Bots für Sprach- und Textnachrichten mit LLM-gestützter Verarbeitung, Zusammenfassung und strukturiertem JSON-Output.
• Umsetzung eines persönlichen Task-Planning-Assistenten mit n8n, OpenRouter und Supabase für die automatisierte tägliche Planung und Wissensorganisation.
• Entwicklung von LLM-Chatbots für strukturierte Wissensabfragen mit Prompt-Einschränkungen, Guardrails und erzwungenen Ausgabeformaten.

• Technische Leitung eines Teams zur Entwicklung agentischer Chatbot-Lösungen (React, TypeScript, Python, FastAPI)
• Architekturdesign für Multi-LLM-Dialogsysteme – Fokus auf Wartbarkeit, UX und autonome Ausführung
• Abstimmung mit Stakeholdern, CI/CD-Prozesse und AI-Integration auf Enterprise-Niveau

• Einrichtung neuer Desktop-Rechner
• Einrichtung eines VPS für Automatisierung, Datenbanken und Chatinterface
• Anbindung an Azure AI Foundry
• Entwicklung diverser n8n-Workflows für E-Mail-, Social-Media- und Dokumentenmanagement
• Implementierung eines QM-Systems (Sicherungen, Fehlerbehandlung, HITL)
• Einrichtung und Optimierung eines Inbound-Voice-Agents

• Ersteinschätzung der Anforderungen anhand eines Business-Value-Priorisierungsframeworks
• Identifikation von Problemen sowie Anforderungsaufnahme und -bewertung durch Einsatz von UML, BPMN sowie Design-Thinking-Methoden zur iterativen Anforderungsanalyse über Interviews und Workshops
• Einsatz von User Story Mapping in Miro zur Visualisierung und Abstimmung funktionaler Anforderungen (z. B. korrekte Übermittlung aller Antragsdaten und deren Anhänge an das Fachverfahren) sowie nicht-funktionaler Anforderungen (z. B. vollständige und nachweisbare Löschung der Daten eines Antragstellers) mit den Stakeholdern
• Proaktives Stakeholder-Management von internen sowie externen Stakeholdern aus Behörden, Fachbereichen, Organisationen und Unternehmen
• Erstellung von Status-Reports zur transparenten Kommunikation des Projektfortschritts und der anstehenden Aufgaben
• Verantwortung für eine REST-basierte Integrationslösung (Middleware) zum sicheren Datenaustausch zwischen Kernsystemen und externen Fachanwendungen; Sicherstellung von Stabilität und Performance im laufenden Betrieb
• Unterstützung der Product Owner bei der Priorisierung von Anforderungen im Backlog sowie bei der Product Discovery
• Kommunikation der Planung an interne sowie externe Stakeholder sowie Interimsübernahme der Product-Owner-Tätigkeit und Verantwortlichkeiten während eines Personalwechsels

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.

• Aufbau und Consulting eines Startups für Organisationsentwicklung (AI unterstützt)
• Workshops zu Vision und Mission
• Marketing Roadmap und Prozessgestaltung
• Entwicklung von Sales-Prozessen (Sales Funnel, Lead Generation)
• Brand Building und Social Media Omnichannel Strategien
• Content-Generierung für Audio, Video und Postings (AI unterstützt)
• Beratung zu Agile und Aufbau von SAFe
• Atlassian Beratung und Aufbau von Confluence und Jira (Workflows, Dashboards, Reporting)
• Aufbau eines Podcast- und Video-Studios inklusive Setup für Livestreaming
• Auswahl und Implementierung von Hardware und Software
• Erstellung der Website und Brand Building
• CMS-Implementierung auf Basis von Typo3
• Beratung in den Bereichen Sales, Marketing und Social Media
• Unterstützung von Unternehmen beim effizienten Einsatz von KI-Technologien
• Strategieentwicklung und Beratung bei der Umsetzung von KI-Strategien
• Change Management und Unterstützung von Teams bei der KI-Einführung inklusive Schulungen
• Technische Expertise in Machine Learning, Datenverarbeitung und Large Language Models (LLMs) wie Llama, Claude und OpenAI GPT
• Auswahl, Feinabstimmung (Fine-Tuning) und Integration von LLMs in Geschäftsprozesse
• Beratung zu Ethik und Governance für den verantwortungsvollen Einsatz von KI
• Durchführung maßgeschneiderter Trainings für Führungskräfte und Teams
• KI-Analyse diverser Large Language Models (Llama, OpenAI, Mistral)
• Erstellung und Training eigener GPTs mit Schwerpunkt Organisationsentwicklung (Product Vision, OKR, Agile Maturity)
• Aufbau eines Chatbots zum Thema Agile Maturity
• Entwicklung eines KI-generierten Surveys zur Ermittlung der Agilität von Organisationen
• Aufbau lokaler Offline-GPTs mit Fokus auf Datenschutz und DSGVO
• Durchführung von KI-Workshops für KMU und den Mittelstand

• Unterricht in JavaScript, HTML, CSS, React, Node.js, MongoDB, MariaDB und Express
• Unterrichtsgestaltung und -vorbereitung
• Klassenunterricht und Einzelcoachings