WordPress Experten in Dortmund

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Ausbau und Betreuung des Produktportfolios für Videoanalyse und Computer Vision
• Erhebung von Anforderungen und Requirements Engineering
• Beratung, Projektmanagement und Koordination der Pilotierung sowie des internationalen Rollouts
• Tools: IP-basierte Kamera- und Videosysteme, Citrix Administration, OneNote, Microsoft Teams, Node-Red, Office 365, Age Verification, Qognify Umbrella, Thingsboard, Xovis 3D Sensoren, AXIS Kameras, GK Kassensoftware, Atlassian JIRA

• Technische Leitung eines Teams zur Entwicklung agentischer Chatbot-Lösungen (React, TypeScript, Python, FastAPI)
• Architekturdesign für Multi-LLM-Dialogsysteme – Fokus auf Wartbarkeit, UX und autonome Ausführung
• Abstimmung mit Stakeholdern, CI/CD-Prozesse und AI-Integration auf Enterprise-Niveau

• Leitung der 12-wöchigen Weiterbildung zum KI- und Automationsspezialisten
• Erstellen von Schulungsunterlagen & Videokursen zu den Themen „Grundlagen der KI“, „Umgang mit ChatGPT“, „Prompt Engineering“, „KI-Agenten mit N8N“, „Automationen mit Make.com“ & KI-generierter Marketingcontent (Bilder, Videos, Blogbeiträge & Social Media Posts)
• Durchführung von Workshops zu den o.g. Themen
• Tools: Loom, N8N, Make.com, ChatGPT, Midjourney, Gamma.app, Canva, Kling AI, Magnific AI
• Ergebnis: Selbstständige lernen das fachliche und betriebswirtschaftliche Know-how, um als KI- und Automationsspezialist erfolgreich ein Unternehmen aufzubauen

• Planung und Umsetzung integrierter 360°-Marketingkampagnen für B2B-Kunden im Mittelstand
• Stakeholder-Management mit internen Teams, Industriepartnern und externen Agenturen
• KPI-basiertes Performance-Reporting und Ableitung von Optimierungsmaßnahmen
• Steuerung von SEA-Budgets; Keyword-Recherchen und Wettbewerbsanalysen (ahrefs, Google Search Console)
• Termin- und Deadline-Management über mehrere parallele Kundenprojekte
• Tools: Google Ads, Google Search Console, ahrefs, WordPress, Trello, Canva, ChatGPT, Claude, Gemini

• Aufbau und Consulting eines Startups für Organisationsentwicklung (AI unterstützt)
• Workshops zu Vision und Mission
• Marketing Roadmap und Prozessgestaltung
• Entwicklung von Sales-Prozessen (Sales Funnel, Lead Generation)
• Brand Building und Social Media Omnichannel Strategien
• Content-Generierung für Audio, Video und Postings (AI unterstützt)
• Beratung zu Agile und Aufbau von SAFe
• Atlassian Beratung und Aufbau von Confluence und Jira (Workflows, Dashboards, Reporting)
• Aufbau eines Podcast- und Video-Studios inklusive Setup für Livestreaming
• Auswahl und Implementierung von Hardware und Software
• Erstellung der Website und Brand Building
• CMS-Implementierung auf Basis von Typo3
• Beratung in den Bereichen Sales, Marketing und Social Media
• Unterstützung von Unternehmen beim effizienten Einsatz von KI-Technologien
• Strategieentwicklung und Beratung bei der Umsetzung von KI-Strategien
• Change Management und Unterstützung von Teams bei der KI-Einführung inklusive Schulungen
• Technische Expertise in Machine Learning, Datenverarbeitung und Large Language Models (LLMs) wie Llama, Claude und OpenAI GPT
• Auswahl, Feinabstimmung (Fine-Tuning) und Integration von LLMs in Geschäftsprozesse
• Beratung zu Ethik und Governance für den verantwortungsvollen Einsatz von KI
• Durchführung maßgeschneiderter Trainings für Führungskräfte und Teams
• KI-Analyse diverser Large Language Models (Llama, OpenAI, Mistral)
• Erstellung und Training eigener GPTs mit Schwerpunkt Organisationsentwicklung (Product Vision, OKR, Agile Maturity)
• Aufbau eines Chatbots zum Thema Agile Maturity
• Entwicklung eines KI-generierten Surveys zur Ermittlung der Agilität von Organisationen
• Aufbau lokaler Offline-GPTs mit Fokus auf Datenschutz und DSGVO
• Durchführung von KI-Workshops für KMU und den Mittelstand

• Entwicklung und Umsetzung der IT- und Digitalstrategie
• Optimierung und Digitalisierung von Geschäftsprozessen
• Führung und Weiterentwicklung von IT- und Operations-Strukturen
• Implementierung skalierbarer, sicherer IT-Infrastrukturen
• Einführung moderner Technologien zur Steigerung der Wettbewerbsfähigkeit
• Verbesserung der IT-Governance und Sicherheitsstandards
• Steuerung von Innovations- und Automatisierungsprojekten

• Entwicklung einer Reporting-API mit RESTful-Services und SpringBoot
• LDAP-Anbindung
• Auslagern von Services in AWS
• Bootstrap
• Angular 14 Frontendentwicklung
• JBoss
• DynamoDB
• S3
• Athena