Large Language Model Experten in Essen

• Anlernen der AI-Modelle, Bilder und Texte bewerten, UI/UX bewerten, die bereitgestellten Daten als Insights mittels OpenAI Feather im Machine-Learning-Ablauf verwandeln

Technologien: OpenAI Feather

Tools: Fabric, AWS, dbt, Power BI, SQL, DWH, R, Python

• Unterstützte Kunden bei der Umsetzung eines Architekturdesigns zur Extraktion und Aufbereitung von Daten
• Verantwortete die Konzeption und Implementierung der BI- und DWH-Plattform
• Sicherte die Skalierbarkeit und Performance der Datenplattform

• Akquiriert Neukunden im B2B-Outbound für ein KI-SaaS-Startup im Bereich öffentliche Ausschreibungen und terminiert Produktdemos mit IT-Entscheidern.
• Qualifiziert Zielkunden entlang eines definierten Ideal-Customer-Profils inklusive Discovery, Bedarfsanalyse und Einwandbehandlung.
• Eignet sich Domänenwissen im öffentlichen Vergabewesen an (EVB-IT, deutsche und EU-Vergabeportale) für Fachgespräche auf Augenhöhe.

• MVP-fokussierte Full-Stack-Architektur für einen Kunden im Gesundheitswesen bereitgestellt: Vite/React-Frontend, Backend-Services auf Google Cloud Run und Supabase für Datenbank sowie IAM/Authentifizierung.
• Produktanforderungsanalyse unterstützt und eine kostenoptimierte Workload-Platzierung priorisiert, indem Browser-/Edge-Berechnungen umgesetzt wurden, wo möglich, bevor Logik in die Backend-Services verschoben wurde.

• Strukturierte Support-Workflows und Bewertungsverfahren entwickelt und optimiert und dabei konsequent Qualitätsstandards über hochvolumige operative Aufgaben hinweg angewendet.
• Leistungskennzahlen überwacht, um systemische Probleme zu erkennen und gezielte Verbesserungen voranzutreiben — eine Fähigkeit, die direkt auf die Analyse von LLM-Leistungskennzahlen übertragbar ist.
• Eskalationen betreut und hohe Genauigkeits- und Zufriedenheitsstandards in einer vollständig asynchronen, Remote-First-Umgebung aufrechterhalten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Patentanmeldung: Ausarbeitung und Bearbeitung europäischer Patentanmeldungen
• LLM-Anwendung: Entwicklung von LLM-basierten Tools für die automatisierte Recherche von Patentdaten und Einsatz von Python-Skripten zur Beschleunigung technischer Prüfungen.

Konzeption, Planung und Produktionseinführung von zwei KI-Plattformen für industrielle Forschungs- und Engineering-Workflows, von der Use-Case-Identifikation und Anforderungsanalyse über Architekturentscheidungen und Build-vs-Buy-Abwägungen bis zum Go-Live.

• awRAG.io: Identifizierung des Anwendungsfalls (fragmentierte Wissensbasis über verteilte KI-Tools), Definition der Datenanforderungen, Architekturentscheidung für eine mandantenfähige RAG-as-a-Service-Plattform mit DSGVO-konformer EU-Infrastruktur und produktionsreifer Retrieval-Pipeline

• LAIERS.ai: Use-Case-Definition (Kontextverlust in linearen KI-Workflows), strategische Produktentscheidungen zu UX, Kostenstruktur und Multi-LLM-Orchestrierung, Rollout einer räumlichen KI-Konversationsplattform mit proprietärem Kontextmanagementsystem LAICS

• LLMOps-Verantwortung: Qualitätssicherung, Pipelineoptimierung, Sicherheitsarchitektur (OAuth 2.0, SOC 2) und Performance-Monitoring beider Plattformen im Live-Betrieb

• Kernthemen: LLM, RAG, Vektor-Datenbanken, LLMOps, KI-Architekturstrategie, Cloud-Infrastruktur, Datensouveränität

• Strategischer Übergang in KI-Engineering durch intensives Mentoring und Projektdurchführung.

• Entwicklung von MASX AI, einer agentischen KI-Plattform, die LangGraph, AutoGen und RAG für geopolitische Prognosen und Echtzeit-ETL integriert.

• Entwurf und Bereitstellung funktionsfähiger KI-Prototypen für potenzielle Kunden, die angewandte Expertise in Multi-Agenten-Systemen, Echtzeit-Datenpipelines und LLM-Integrationen demonstrieren.

• Neu-Architektur einer über Jahre gewachsenen Web-Anwendung, Modularisierung stark gekoppelter Komponenten
• Antwortzeiten von mehreren Sekunden auf <50 ms reduziert
• Performance-Engpässe entfernt
• Architektur vereinfacht, sodass interne Teams wieder selbstständig Features umsetzen können

• Führe strukturierte Bewertungen von LLM-Ausgaben unter Verwendung von Content Review Standards (CRS) und KI-Sicherheitsrahmen durch.
• Beurteile Antworten in Hochrisikobereichen, darunter Gewalt und kriminelle Unterstützung.
• Beurteile Antworten in Hochrisikobereichen, darunter Hassrede und Belästigung.
• Beurteile Antworten in Hochrisikobereichen, darunter Suizid und Selbstverletzung.
• Beurteile Antworten in Hochrisikobereichen, darunter regulierte Beratung (medizinisch, rechtlich, finanziell).
• Beurteile Antworten in Hochrisikobereichen, darunter Fehlinformationen und erfundene Behauptungen.
• Beurteile Antworten in Hochrisikobereichen, darunter Verleumdung und geistiges Eigentum.
• Beurteile Antworten in Hochrisikobereichen, darunter Kindersicherheit und sexuelle Ausbeutung.
• Beurteile Antworten in Hochrisikobereichen, darunter politische oder sensible Inhalte.
• Wende Jugendschutz- und Altersangemessenheitsrichtlinien an, um unsichere Unterstützung oder Anleitungen zu eingeschränkten Substanzen zu verhindern.
• Klassifiziere Prompts als adversariale, grenzwertige oder harmlose basierend auf Kontext, Absicht und Risikoanalyse.
• Bewerte Modellverhaltenstypen wie korrekte Ablehnung, teilweise Ablehnung, übermäßige Ablehnung, unzureichende Ablehnung, unangebrachte Zustimmung und auf Unwissenheit beruhende Ausgaben.
• Identifiziere falsche Anwendungsfälle von Richtlinien und Muster falscher Interpretation von Nutzerabsichten.
• Entwickelte strukturierte adversariale und grenzwertige Multi-Turn-Konversationsabläufe, um KI-Grenzwerte und Begründungsstabilität zu testen.
• Identifizierte Ausfallmodi wie Halluzination, unsichere Zustimmung, übermäßige Ablehnung, kontextuelles Abdriften und inkonsistente Sicherheitslogik.
• Wendete eine strukturierte Evaluierungsrubrik mit vier Dimensionen an: Genauigkeit & Sicherheit, Relevanz & Vollständigkeit, Klarheit & Struktur sowie Ton & Angemessenheit.
• Ließ strukturiertes Feedback für überwachtes Fine-Tuning und Reinforcement Learning from Human Feedback (RLHF) einfließen.
• Schrieb unsichere oder fehlangepasste Ausgaben in konforme, genaue und hilfreiche Antworten um.
• Führte Persisch ↔ Englisch Übersetzungen und Übersetzungsvalidierung von KI-generierten Inhalten durch.
• Bewertete semantische Genauigkeit, kontextuelle Konsistenz und Sicherheitsausrichtung in verschiedenen Sprachen.
• Identifizierte Fehlübersetzungen, kulturelle Nuancenprobleme und sprachübergreifende Richtlinieninkonsistenzen.
• Ausgezeichnet mit dem Above & Beyond Award – Q3 2025 für herausragende Qualitätsstandards und Innovationsbeiträge.

• Leitender statistischer Programmierer (Lead Statistical Programmer) für klinische Studien
• Management von internen Arbeitsergebnissen, Programmierressourcen und externen Dienstleistern (CROs)
• Entwicklung von Automatisierungssystemen und KI-Integration in statistische Programmieraufgaben
• Prozessanalyse und KPI-Management für das Führungsteam