Human-in-the-Loop Experten in Deutschland

• Claude-Code-Subagenten, MCP, Pydantic V2, pytest, bandit

• 3 spezialisierte Agenten entwickelt und produktiv eingesetzt, die die Arbeit entlang einer Kette weitergeben: Ein Forschungsagent erstellt eine zitierte Implementierungsspezifikation, ein Coding-Agent entwickelt den modularen Code und seine Tests, und ein Review-Agent bewertet die Ergebnisse nach Schweregrad und setzt die Korrekturen um. Jede Übergabe erfolgt als strukturiertes Dokument, sodass keine Phase vom Kontextfenster eines anderen Agenten abhängt.

• Den Forschungsagenten mit einem MCP-Server für akademische Recherche verbunden (Semantic Scholar, ArXiv, Hugging Face Hub, Zitationsverfolgung), sodass jede Referenz auf ein Tool-Ergebnis und nicht auf das Modell zurückgeht. Commits hinter ruff, mypy, pytest und bandit abgesichert, menschliche Freigabe vor Installationen und Commits verlangt und den Sitzungsstatus auf der Festplatte gespeichert, damit lange Läufe einen Kontext-Reset überstehen.

SaaS für Workflow-Automatisierung für Operations-Teams (Berlin, 120 Mitarbeitende); Vollzeit-Freiberufler auf Vertrag mit Berichtslinie an den CEO: zunächst ein 12-monatiges Interimsmandat, zweimal verlängert während des KI-Aufbaus; verantwortlich für das Produkt eines Squads und Coaching der anderen Product Manager bei Prozessen.

• Leitete die Integration generativer KI (LLM) in das Kernprodukt: von LLM-gestützten Schritten über die Erstellung von Workflows in natürlicher Sprache und Automatisierungsvorschläge auf Schritt-Ebene bis hin zu KI-gesteuerten dynamischen Workflows, ausgeliefert mit Eval-Gates und Human-in-the-loop-Fallbacks: KI-entworfene Workflows stiegen auf 31% aller neuen Workflows, und die mediane Zeit bis zum ersten Workflow sank von 3 Tagen auf 4 Stunden.
• Bündelte die KI-Funktionen als nutzungsbasiertes Add-on, dessen Preis sich an ausgeführten Automatisierungsschritten orientiert, und arbeitete mit Vertrieb und Marketing an der Positionierung: ~€800K zusätzlicher ARR im ersten Jahr, außerdem churnten Kunden mit dem Add-on 1.8 pp weniger.
• Verantwortete die Roadmap von Anfang bis Ende: Ersetzte die von Feature-Anfragen getriebene Quartalsplanung durch eine ergebnisorientierte, rollierende Roadmap auf Basis von Quartalswetten und klaren Abbruchkriterien, die monatlich dem Führungsteam und quartalsweise dem Vorstand präsentiert wurde.
• Baute das Product-Management-Betriebsmodell neu auf: wöchentlicher Customer-Discovery-Rhythmus inklusive Workshop-Moderation, Reviews von RFCs und Entscheidungsdokumenten sowie eine einheitliche quartalsweise Metrik-Erzählung; coachte vier Product Manager, von denen einer während des Engagements zum Senior befördert wurde.
• Beendete das Engagement wie vereinbart: stellte den permanenten VP Product ein und arbeitete ihn ein, übergab das Prozess-Playbook und die Roadmap und schied im Juni 2026 planmäßig aus.

• Teamführung: Priorisierung und Koordination von vier funktionsübergreifenden Teams.
• Plattformstrategie: Entwicklung und Umsetzung von Strategien zur Optimierung bestehender IT-Plattformen.
• Stakeholder-Management: Aktive Steuerung von Erwartungen und Kommunikation mit internen und externen Stakeholdern.
• Programm- und Innovationsmanagement: Priorisierung und Koordination von abteilungsübergreifenden Projekten sowie Innovationsinitiativen.
• Product-Owner-Beratung: Beratung von Product Ownern mit Fokus auf Produktentwicklung und kontinuierliche Produktverbesserung.
• Organisationsentwicklung: Verbesserung von Kommunikations- und Entscheidungsstrukturen auf allen Organisationsebenen.
• Change Management: Einsatz von Best-Practice-Methoden im Change Management, um kontinuierliche Optimierung und Innovation sicherzustellen.
• Qualitätssicherung: Sicherstellung hoher Qualitätsstandards in Prozessen, Services und Deliverables.

Seitenkumpel — Agents bauen Websites für Handwerksbetriebe, unbeaufsichtigt. Eigenes Produkt, live.

• Agents recherchieren öffentliche Firmendaten und bauen daraus komplette Websites, ohne dass jemand zuschaut
• Eine Validierungsschicht sorgt dafür, dass Extraktionsfehler laut fehlschlagen statt still durchzurutschen
• Die Akquise läuft über einen Postkarten-Funnel mit Screenshot und QR-Code, Abo-Modell ab 79 Euro im Monat
• Ergebnis: mehrere hundert Websites gebaut, laufend im unbeaufsichtigten Betrieb
• Ehrliche Einschränkung: bisher gibt es noch keine zahlenden Abos — der Funnel steht, der Umsatz fehlt

Stack: Agent-Workflows direkt ohne Framework, Claude- und OpenAI-APIs, TypeScript, Node.js, PostgreSQL, Cloudflare Workers, Web-Scraping, Data Enrichment

Entwicklung KI-nativer digitaler Produkte durch die Kombination von Produktstrategie, UX-Forschung, Interaction Design, Software Engineering und modernen KI-Workflows. Leitung von Projekten von der Discovery bis zur Umsetzung, wobei KI über den gesamten Produktentwicklungszyklus hinweg integriert wird.

Hauptaufgaben

• → Product Discovery, Stakeholder-Workshops, Jobs-to-be-Done und Nutzerforschung
• → User-Journey-Mapping, Informationsarchitektur und Interaction Design
• → Wireframes, High-Fidelity-UI, Prototypen und skalierbare Design Systems in Figma und Penpot
• → KI-gestützte Oberflächengenerierung und schnelle Konzeptentwicklung mit Figma AI, Figma Make und generativen Design-Workflows
• → Design-to-Code-Workflows mit KI-gestützter Frontend-Generierung und Zusammenarbeit mit Engineering
• → Aufbau barrierefreier Oberflächen nach WCAG 2.2 und Enterprise-Design-Standards
• → Usability-Tests, iterative Validierung und KPI-getriebene Produktoptimierung
• → Entwicklung von KI-Wissenssystemen, MCP-gestützten Design-Workflows und Human-in-the-Loop-Review-Prozessen
• → Enge Zusammenarbeit mit Engineering-Teams, um eine produktionsreife Umsetzung sicherzustellen

• Verantwortet end-to-end UX für zwei AI-SaaS-Produkte in Closed Beta, inklusive LLM-Interaction-Design, Prompt-UX und Human-in-the-Loop-Patterns; kommerzielle Distribution für Launch in Q3 2026 unterzeichnet
• Einen selbst entwickelten LLM-Reframing- und RAG-Korrektur-Pipeline gebaut, die die Produktion von mehreren CV- und Case-Study-Profilen ermöglicht
• Liefert echten Code parallel zur Forschung, darunter Three.js/GLSL-Portfolio-Arbeiten, Figma-API-Tools und eine Chrome-MV3-Extension für Session-Sync-Automation

• Verantwortlich für die Full-Stack-Entwicklung einer AI-native Unternehmensplattform auf Basis von TypeScript, React, Vite, tRPC, Hono und PostgreSQL, die KI-gestützte Beratungs-Workflows für B2B-Kunden liefert.
• Entwarf und lieferte ein Multi-Agenten-KI-System mit dem ReAct-Framework und Claude-Skills-Workflow-Mustern, inklusive eines intelligenten PM-Assistenten mit umfangreichen System-Prompts, Slash-Befehlen, Tool-Integrationen und Streaming-Chat-Oberfläche.
• Entwickelte ein LLM-Bewertungs-Framework: rubrikbasierte LLM-als-Richter, Golden Datasets, Regressionstests und automatisierte Qualitätssicherung — für konsistente KI-Ausgabequalität in großem Maßstab.
• Integrierte LangFuse für durchgehendes LLM-Tracking, Konversations-Wiedergaben und Bewertungs-Pipelines, was datengetriebene Prompt-Optimierung ermöglichte und Token-Kosten sowie Antwort-Varianz reduzierte.
• Implementierte Drizzle ORM, pgvector und Knowledge Graphs für strukturierten Datenzugriff, semantische Suche und beziehungsorientiertes KI-Schlussfolgern über die gesamte Plattform.
• Führte die TanStack React Query-Migration in der gesamten Anwendung durch — ersetzte manuelles State-Management durch zentrales Caching und automatisches Refetching, was den Boilerplate-Aufwand für Datenabrufe deutlich reduzierte.
• Setzte AI-native Entwicklung durchgehend ein: Claude Code, Codex, Perplexity SDK und LLM-unterstütztes Testing im gesamten Entwicklungszyklus. Deployment auf Vercel + Azure ACA mit Biome für Linting/Formatting.

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• Projektbasierte Tätigkeiten in den Bereichen Marketing-Automation, Prozessoptimierung und Content.
• Operative Einsätze vor Ort in vollständig englischsprachigen Teams.
• Fokus auf selbstorganisierte Arbeit, wechselnde Einsatzorte, schnelle Einarbeitung und hohe Eigenverantwortung.
• Remote-Projekte u. a. für Spartan Race Australia & DMC Europe.

• Von Experten betreute KI-Systeme für wissenschaftliches Schlussfolgern, Modellevaluation und Forschungs-Workflows.
• Entwickelte den IAS Problem Solver, ein orchestriertes System für schwieriges mathematisches Schlussfolgern; es erreichte 84 % in einem eingereichten Antwortsatz auf dem Leipziger Mathematik-Benchmark.
• Entwickelte eine fortsetzbare State-Machine-Pipeline für die Generierung von Benchmarks in der Forschungsmathematik: Quellenauswahl, LLM-Agent-basierte Phänomenfindung, Aufgabensynthese, Gold-Antwort- und Zertifikatsgenerierung sowie Validierung, Probe, Reparatur, menschliches Feedback und Quality Gates, mit Fokus auf Aufgaben, die schwierig, natürlich, verifizierbar und kosteneffizient sind.
• Die aktuelle Arbeit erweitert dies zu budgetbewussten KI-Forschungs-Workflows für reale wissenschaftliche Probleme mit Expertenprüfung.

Tech-Stack: Python, OpenAI/OpenRouter-kompatible APIs, Embeddings, RAG, SQLite.

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Übernahm die technische Leitung eines 4-köpfigen Teams, das innerhalb von 12 Monaten 3 wichtige Kundenplattformen mit Microservices-Architektur und Lösungen für Skalierbarkeit bereitstellte — 100% der geplanten Hauptfunktionen wurden vor dem Zeitplan und den geplanten Meilensteinen ausgeliefert (Ausgangslage: Frühere Releases verzögerten sich häufig um 1–2 Sprints).
• Führte Evaluierungen von KI-Modellen und Modellausgaben für LLM-/KI-Anbieter-APIs durch: Sicherheit, Vollständigkeit, Befolgung von Anweisungen und Prüfung der inhaltlichen Fundierung vor dem Go-live; reduzierte fehlerhafte Ausgaben in den KI-integrierten Release-Checklisten von wiederkehrenden UAT-Ergebnissen auf nahezu null bei der finalen Freigabe.
• Entwickelte die API-Entwicklung und Performance-Optimierung für Zahlungs-, Börsen- und KI-Dienste voran; strikt geschlossene Fehlerbehandlung und Payload-Validierung reduzierten die Überarbeitung von Integrationen im Vergleich zum ersten KI-Integrationsdurchlauf um ~35%.
• Setzte Softwaretests, Test-Frameworks, Qualitätssicherung von Code und Code-Refactoring mit Gates für die kontinuierliche Integration ein; die Akzeptanz von Pull Requests im ersten Durchlauf verbesserte sich im gesamten Team, und Hotfixes in der Produktion für KI-Adapter gingen nach Einführung der Review-Standards spürbar zurück.
• Verantwortete DevOps-Praktiken: Docker, GitHub Actions, Jenkins-kompatible Pipelines und Versionskontroll-Workflows — reduzierte die Bereitstellungszeit gegenüber der Ausgangslage vor der Automatisierung um ~50% und stabilisierte Releases in 3 Kundenumgebungen.
• Implementierte Verifier-/Oracle-artige Bestanden-Nicht-bestanden-Prüfungen in Container-Sandboxes (an Harbor/Terminal-Bench ausgerichtet); erstellte technische Dokumentation, sodass Fehler in einem Review-Zyklus behoben werden konnten.
• Leitete die funktionsübergreifende Zusammenarbeit mit Produkt- und Kundenstakeholdern; übersetzte KI-Evaluierungswerte und Risikobefunde in verständliche Kurzberichte für nichttechnische Partner und ermöglichte Go-/No-Go-Entscheidungen ohne zusätzliche Engineering-Meetings.
• Setzte agile Methoden für Sprintplanung und Backlog-Verantwortung ein; unterstützte Engineers dabei, dass Entwickler auf mittlerem Niveau bereits zur Hälfte des Projekts KI-Adapter-Module eigenständig verantworteten.

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Kundenspezifische Daten-, GTM-, Web- und Automationssysteme von der Anforderungsaufnahme bis zum kontrollierten Einsatz umgesetzt.
• Mehrkundenfähige Recherche- und Auslieferungsplattformen mit TypeScript/Node.js, React, APIs, LLM-Integration und automatisierten Prüfungen aufgebaut.
• HubSpot, Notion, Clay, Smartlead, n8n und Make mit nachvollziehbaren Übergaben, Deduplizierung, Fehlerpfaden und Freigaben verbunden.