Large Language Model Experten in Dortmund

• Einrichtung neuer Desktop-Rechner
• Setup eines VPS für Automatisierung, Datenbanken und Chatinterface
• Anbindung an Azure AI Foundry
• Entwicklung diverser n8n Workflows für E-Mail-, Social-Media- und Dokumentenmanagement
• Implementierung eines QM-Systems (Backups, Error Handling, HITL)
• Einrichtung und Optimierung eines Inbound Voice Agents

• Konzeption und Bereitstellung von End-to-End-Machine-Learning-Pipelines für Klassifizierungs- und Prognosedatensätze mit Sicherstellung von Robustheit und Reproduzierbarkeit durch Best Practices im MLOps-Bereich.
• Direkter Beitrag zur Verbesserung der Genauigkeit von LLM-Modellausgaben durch die Entwicklung und Ausarbeitung spezialisierter Prompts auf Grundlage der Logik von End-to-End-ML- und SciML-Pipelines.
• Entwicklung von Trainingsdaten für große Sprachmodelle durch die Formulierung von Programmieraufgaben, die von den Modellen nicht gelöst werden konnten, sowie anschließende Dokumentation der korrekten Lösungen.

Manufacturing-Intelligence-Plattform mit Enterprise-Workflows, RAG, Echtzeit-Funktionen für AI-Assistenten und Backend-Architektur über mehrere Repositories.

• Entwickelte und erweiterte produktive AI-/Backend-Services mit Django, DRF, FastAPI, GraphQL, Celery, PostgreSQL, MySQL, Redis und WebSockets über eine modulare Plattform mit mehreren Repositories.
• Mitgewirkt an ARIS V2, einem Echtzeit-AI-Assistenten für die Fertigung mit LangChain, LangGraph, MCP-Tool-Orchestrierung, Planungs-/Ausführungs-Workflows, OpenAI, AWS Bedrock, Qdrant sowie Retrieval auf Basis von Elasticsearch/OpenSearch.
• Unterstützte die Rollout-Erweiterung von ARIS V1 in 4 von 17 Kunden-Produktionswerken auf ARIS V2, das aktuell in 13 von 17 Werken aktiv ist, und steigerte so die reale Abdeckung auf mehr als 50 % der Kundenumgebung.
• Arbeitete an dokumentengestützter RAG-Funktionalität inklusive Ingestion, OCR, Chunking, Embeddings, Indexing, Retrieval, Reranking und geerdeter Antwortgenerierung für industrielle Workflows.

Stack: Python, Django, DRF, FastAPI, LangChain, LangGraph, GraphQL, Celery, WebSockets, OpenAI, AWS Bedrock, Qdrant, Elasticsearch/OpenSearch, PostgreSQL, MySQL, Redis, Docker.

• MVP-fokussierte Full-Stack-Architektur für einen Kunden im Gesundheitswesen bereitgestellt: Vite/React-Frontend, Backend-Services auf Google Cloud Run und Supabase für Datenbank sowie IAM/Authentifizierung.
• Produktanforderungsanalyse unterstützt und eine kostenoptimierte Workload-Platzierung priorisiert, indem Browser-/Edge-Berechnungen umgesetzt wurden, wo möglich, bevor Logik in die Backend-Services verschoben wurde.

• Vollständiger Greenfield-Neuaufbau über den gesamten Stack — AI-native umgesetzt: Backend in Go und NestJS, PostgreSQL (CNPG) auf K3s mit GitOps/Terraform; Frontend mit Angular 22, zonenlos.
• Coding-Agenten (z. B. Claude Code, Cursor) über den gesamten Lifecycle orchestriert — Architektur, Implementierung, Tests, Reviews und Dokumentation — auf Basis von Specification-Driven Development (SDD).
• „Bruno“ — LLM-Kommentator-Persona mit RAG und MCP für eine konsistente Persönlichkeit über alle Generierungen hinweg (Vorberichte, Nachberichte, eigene virtuelle Wetten).

Angular 22 (zoneless, ohne Zone.js), Claude Code, Claude Code Skills, CNPG, Cursor, Design Tokens (Spec for Code), Docker, Gherkin, Git, GitLab, GitOps, Go, Google Gemini, Grafana, Hetzner Cloud, K3s, Keycloak, Kubernetes, Lighthouse, LLM-Integration, Model Context Protocol (MCP), NestJS, Node.js, NPM, Playwright, PostgreSQL, Prometheus, RAG, REST, Specification-Driven Development (SDD), Structured Outputs, Terraform, TypeScript, Vitest

• Technische Konzeption, Priorisierung und praktische Umsetzung von KI-Automation-, Conversational-AI-, Voice-AI- und Private-AI-Lösungen.
• Übersetzung fachlicher Anforderungen in Systemarchitektur, Gesprächs-/Workflow-Logik, APIs, Datenflüsse und produktionsnahe KI-Workflows.
• Entwicklung von Backend- und Integrationskomponenten mit Python/FastAPI, PostgreSQL/pgvector, Redis, REST APIs, Webhooks und Background Jobs.
• Konzeption und Implementierung von RAG-Architekturen mit lokalen/privaten LLMs, Embeddings, Dokumentenverarbeitung, semantischer Suche und kontrolliertem Zugriff auf Unternehmenswissen.
• Prompt Engineering für LLM- und Voice-/Conversational-AI-Anwendungen; iterative Optimierung anhand realer Abläufe, Systemreaktionen und Qualitätsanforderungen.
• Praktische Arbeit mit ElevenLabs und dessen APIs in einem Voice-AI-Projekt sowie technische Bewertung und Integration von Voice-AI-Komponenten.
• Deployment und Betrieb Docker-basierter Systeme auf Linux mit Nginx, CI/CD, Monitoring/Logging, Backup/Restore und reproduzierbaren Deployment-Prozessen.

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Entwicklung eines automatisierten Job-Scout-Workflows zur Aggregation und LLM-basierten Bewertung von Stellenanzeigen aus RSS-Feeds und APIs.
• Entwicklung eines Telegram-Bots für Sprach- und Textnachrichten mit LLM-gestützter Verarbeitung, Zusammenfassung und strukturiertem JSON-Output.
• Umsetzung eines persönlichen Task-Planning-Assistenten mit n8n, OpenRouter und Supabase für die automatisierte tägliche Planung und Wissensorganisation.
• Entwicklung von LLM-Chatbots für strukturierte Wissensabfragen mit Prompt-Einschränkungen, Guardrails und erzwungenen Ausgabeformaten.

• Technische Leitung eines Teams zur Entwicklung agentischer Chatbot-Lösungen (React, TypeScript, Python, FastAPI)
• Architekturdesign für Multi-LLM-Dialogsysteme – Fokus auf Wartbarkeit, UX und autonome Ausführung
• Abstimmung mit Stakeholdern, CI/CD-Prozesse und AI-Integration auf Enterprise-Niveau

• Ersteinschätzung der Anforderungen anhand eines Business-Value-Priorisierungsframeworks
• Identifikation von Problemen sowie Anforderungsaufnahme und -bewertung durch Einsatz von UML, BPMN sowie Design-Thinking-Methoden zur iterativen Anforderungsanalyse über Interviews und Workshops
• Einsatz von User Story Mapping in Miro zur Visualisierung und Abstimmung funktionaler Anforderungen (z. B. korrekte Übermittlung aller Antragsdaten und deren Anhänge an das Fachverfahren) sowie nicht-funktionaler Anforderungen (z. B. vollständige und nachweisbare Löschung der Daten eines Antragstellers) mit den Stakeholdern
• Proaktives Stakeholder-Management von internen sowie externen Stakeholdern aus Behörden, Fachbereichen, Organisationen und Unternehmen
• Erstellung von Status-Reports zur transparenten Kommunikation des Projektfortschritts und der anstehenden Aufgaben
• Verantwortung für eine REST-basierte Integrationslösung (Middleware) zum sicheren Datenaustausch zwischen Kernsystemen und externen Fachanwendungen; Sicherstellung von Stabilität und Performance im laufenden Betrieb
• Unterstützung der Product Owner bei der Priorisierung von Anforderungen im Backlog sowie bei der Product Discovery
• Kommunikation der Planung an interne sowie externe Stakeholder sowie Interimsübernahme der Product-Owner-Tätigkeit und Verantwortlichkeiten während eines Personalwechsels

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.

• Aufbau und Consulting eines Startups für Organisationsentwicklung (AI unterstützt)
• Workshops zu Vision und Mission
• Marketing Roadmap und Prozessgestaltung
• Entwicklung von Sales-Prozessen (Sales Funnel, Lead Generation)
• Brand Building und Social Media Omnichannel Strategien
• Content-Generierung für Audio, Video und Postings (AI unterstützt)
• Beratung zu Agile und Aufbau von SAFe
• Atlassian Beratung und Aufbau von Confluence und Jira (Workflows, Dashboards, Reporting)
• Aufbau eines Podcast- und Video-Studios inklusive Setup für Livestreaming
• Auswahl und Implementierung von Hardware und Software
• Erstellung der Website und Brand Building
• CMS-Implementierung auf Basis von Typo3
• Beratung in den Bereichen Sales, Marketing und Social Media
• Unterstützung von Unternehmen beim effizienten Einsatz von KI-Technologien
• Strategieentwicklung und Beratung bei der Umsetzung von KI-Strategien
• Change Management und Unterstützung von Teams bei der KI-Einführung inklusive Schulungen
• Technische Expertise in Machine Learning, Datenverarbeitung und Large Language Models (LLMs) wie Llama, Claude und OpenAI GPT
• Auswahl, Feinabstimmung (Fine-Tuning) und Integration von LLMs in Geschäftsprozesse
• Beratung zu Ethik und Governance für den verantwortungsvollen Einsatz von KI
• Durchführung maßgeschneiderter Trainings für Führungskräfte und Teams
• KI-Analyse diverser Large Language Models (Llama, OpenAI, Mistral)
• Erstellung und Training eigener GPTs mit Schwerpunkt Organisationsentwicklung (Product Vision, OKR, Agile Maturity)
• Aufbau eines Chatbots zum Thema Agile Maturity
• Entwicklung eines KI-generierten Surveys zur Ermittlung der Agilität von Organisationen
• Aufbau lokaler Offline-GPTs mit Fokus auf Datenschutz und DSGVO
• Durchführung von KI-Workshops für KMU und den Mittelstand

• Unterricht in JavaScript, HTML, CSS, React, Node.js, MongoDB, MariaDB und Express
• Unterrichtsgestaltung und -vorbereitung
• Klassenunterricht und Einzelcoachings