Langfuse Experten in Deutschland

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Recare Voice Desktop in zwei Monaten von 0 auf 1 entwickelt und eingeführt, einschließlich mehrsprachiger klinischer Dokumentation, die automatisch in strukturierte deutsche medizinische Notizen transkribiert wird.
• LLM-Inferenzkosten in Docs und Extract durch eine Prompt-Caching-Architektur um 60–70 % gesenkt.
• Die von PMs und Ingenieuren für Prompt-Experimente genutzte KI-Workbench sowie den Langfuse-Evaluierungs-Stack aufgebaut (über 10.000 ausgewertete Traces).

Tätigkeit:

• Design und Aufbau eines Proof-of-Concept (PoC) für eine zukunftsfähige Virtualisierungsplattform unter Berücksichtigung sicherer Systemarchitekturen
• Bewertung des Ist-Standes bestehender Infrastrukturen und Erarbeitung von Auswahl- und Bewertungskriterien für die geeignete OS-Virtualisierungsplattform
• Durchführung der Anforderungsanalyse mit nachfolgender Erstellung und Priorisierung von Tickets im Ticketsystem
• Fertigstellung und kontinuierliche Vervollständigung einer Tool-Bewertungsmatrix basierend auf PoC-Ergebnissen
• Unterstützung des Wissensaufbaus im Team durch nachvollziehbare Dokumentation der Vorgehensweise und Ergebnisse in Confluence
• Enterprise-Analyse der Bestandshardware (Erstellen verschiedener BoMs)

Technologien: Vmware, Vmware Aria Operations, Osism, Canonical OpenStack, FishOs, Linux, Terraform, Ansible, Confluence, Alma

• Verantwortlich für die Full-Stack-Entwicklung einer AI-native Unternehmensplattform auf Basis von TypeScript, React, Vite, tRPC, Hono und PostgreSQL, die KI-gestützte Beratungs-Workflows für B2B-Kunden liefert.
• Entwarf und lieferte ein Multi-Agenten-KI-System mit dem ReAct-Framework und Claude-Skills-Workflow-Mustern, inklusive eines intelligenten PM-Assistenten mit umfangreichen System-Prompts, Slash-Befehlen, Tool-Integrationen und Streaming-Chat-Oberfläche.
• Entwickelte ein LLM-Bewertungs-Framework: rubrikbasierte LLM-als-Richter, Golden Datasets, Regressionstests und automatisierte Qualitätssicherung — für konsistente KI-Ausgabequalität in großem Maßstab.
• Integrierte LangFuse für durchgehendes LLM-Tracking, Konversations-Wiedergaben und Bewertungs-Pipelines, was datengetriebene Prompt-Optimierung ermöglichte und Token-Kosten sowie Antwort-Varianz reduzierte.
• Implementierte Drizzle ORM, pgvector und Knowledge Graphs für strukturierten Datenzugriff, semantische Suche und beziehungsorientiertes KI-Schlussfolgern über die gesamte Plattform.
• Führte die TanStack React Query-Migration in der gesamten Anwendung durch — ersetzte manuelles State-Management durch zentrales Caching und automatisches Refetching, was den Boilerplate-Aufwand für Datenabrufe deutlich reduzierte.
• Setzte AI-native Entwicklung durchgehend ein: Claude Code, Codex, Perplexity SDK und LLM-unterstütztes Testing im gesamten Entwicklungszyklus. Deployment auf Vercel + Azure ACA mit Biome für Linting/Formatting.

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• Die End-to-End-Auslieferung von Enterprise-Full-Stack-Webanwendungen geleitet, indem ich Anforderungsanalyse, Lösungsdesign, Frontend- und Backend-Entwicklung, Datenbankdesign, API-Integration, Code-Reviews, Teamkoordination, Agile Umsetzung, CI/CD-Deployments, Produktionssupport, Performance-Optimierung, Sicherheitsimplementierung und die Zusammenarbeit mit Stakeholdern gesteuert habe, um skalierbare, hochwertige Softwarelösungen zu liefern.

• KI-Integration (LLM & RAG): Konzeption und Aufbau eines internen, intelligenten RAG-Systems (Retrieval-Augmented Generation) auf Basis von LLMs, n8n und Vektordaten zur automatisierten Analyse technischer Dokumente und Fehlerprotokolle.
• Konzeption & Implementierung: Design einer robusten RS-232/UART-Kommunikationsschnittstelle für ein SBC-basiertes Embedded-Gerät zur Steuerung medizinischer Shaker-Systeme.
• Architektur & Protokolldesign: Umsetzung einer hochgradig wartbaren Softwarestruktur (OOP, SOLID) und Definition hardwarenaher, resilienter Kommunikationsprotokolle inklusive Multithreading und erweiterter Fehlerbehandlung.
• Qualitätssicherung & DevOps: Testautomatisierung mittels xUnit, Integrationstests direkt am Hardware-Target und Pflege der technischen Dokumentation nach strengen Medizintechnik-Standards via Azure DevOps.

Label: C#, .NET, LLMs, RAG, n8n, RS-232, UART, Multithreading, async/await, xUnit, gRPC/protobuf, Blazor, MudBlazor, EF Core, Visual Studio 2026, Azure DevOps

• Wandelt natürliche Sprache mit RAG und pgvector in JQL um. Gibt strukturiertes JSON mit einer Query, einer Chart-Spezifikation und einer Klartext-Antwort zurück. Ein zweistufiger Router beantwortet allgemeine Fragen ganz ohne den JQL-Pipeline-Pfad.
• Austauschbare LLM-Backends: Ollama, vLLM, Groq, Anthropic Claude, AWS Bedrock - zur Laufzeit umschaltbar, ohne Codeänderungen. Self-healing JQL: Bei Jira-Validierungsfehlern wird der Fehler an das LLM zurückgegeben und bis zu 4 Mal erneut versucht. OCI Vault für Secrets. Bereitgestellt auf Oracle Cloud A1 mit GPU-Inferenz über ein Tailscale-Privatnetzwerk. Open Source.

End-to-End-Verantwortung für alle Produkte – Konzeption, Architektur, Entwicklung und Produktivbetrieb als alleiniger Entwickler; daneben Kundengespräche, Angebote und Marketing.

Underwriting Copilot – KI-Assistent für die Industrieversicherung (produktiv im Kundeneinsatz)

• Unterstützt Underwriter bei der Analyse industrieller Versicherungs-Submissions – im Produktivbetrieb bei einem Industrieversicherer.
• Framework-unabhängige RAG-Architektur mit Hybrid Search (BM25 + pgvector) über große, heterogene Dokumentbestände.
• Zweistufige Evaluations- und Observability-Pipeline (Code-Assertions + LLM-as-Judge), die Antwortqualität, Retrieval-Genauigkeit und Citation-Integrität regressionssicher messbar macht.

Kaiki Menu Analyzer – Data-Intelligence-Plattform (produktiv im Kundeneinsatz)

• Erfasst und analysiert automatisiert Speisedaten aus rund 25.000 deutschen Restaurants.
• Skalierbare 7-Container-Architektur (FastAPI, partitioniertes PostgreSQL, Redis/RQ) mit LLM-gestützter Extraktion strukturierter Daten aus PDF, HTML und Bildern.
• Vollständige CI/CD-Pipelines (GitHub Actions), produktives Cloud-Deployment, interaktive Dashboards (Dash).

Kaiki GEO Atlas – GEO-Plattform (produktiv im Kundeneinsatz)

• Misst die Marken-Sichtbarkeit über fünf KI-Engines (ChatGPT, Gemini, Perplexity, Grok, Claude), jede web-search-augmentiert, orchestriert als DAG-Workflow-Pipeline (Dispatcher → Sub-Workflows → Scoring → Report) mit Fail-Isolation.
• 6-Container-Deployment (FastAPI, Celery, Redis, PostgreSQL); LLM-Kostenschätzung, PDF-Audit-Report, regelbasierte Cross-Signal-Insights (kein zusätzlicher LLM-Aufwand).

Data Pipeline & Analytics Platform – Wettbewerbsanalyse im Automotive-Aftermarket

• Automatisierte Daten-Pipeline mit Gap-Analyse-Algorithmen und rollenbasierter Zugriffskontrolle; 230+ Tests.
• Backend mit FastAPI, PostgreSQL, SQLAlchemy.

Produktentwicklung (in aktiver Entwicklung)

BankingGPT – KI-Assistent für das Beschwerdemanagement im Genossenschaftsbanking

• Sicherheitsarchitektur im Kern: kein KI-Entwurf erreicht den Kunden ohne menschliche Freigabe – die Freigabe-Entscheidung liegt in auditierbarem Code, nicht im Sprachmodell (monoton: das Modell darf hochstufen, nie senken).
• Echte agentische Bausteine, jeder mit eigener Grenze: das Modell wählt selbst Werkzeuge über einen MCP-Server (nur-lesend, Allowlist, gedeckelt, fail-safe); heikle Fälle gehen per offenem A2A-Protokoll (JSON-RPC, Agent Card, message/send/tasks/get; Client selbst implementiert) an einen eigenständigen Fach-Agenten (Wertpapier/Recht), der die Prüfpflicht nie senkt (per Test gepinnt).
• Evaluations-getrieben über zehn Analyse-Runden; deckte per unabhängigem Review und Blind-Tests einen Sicherheitsdefekt auf, den neun automatisierte Läufe übersehen hatten.
• Voice-AI-Frontend, live antwortend: gedeckte Fälle werden im Gespräch beantwortet, heikle eskalieren vor der Generierung; Antwortlatenz < 7 s gemessen (lokale GPU-STT/TTS).

Stack & Produktionsnähe: Python, pydantic-ai, FastAPI/Celery, PostgreSQL/pgvector, FastMCP, fasta2a, Docker; mehrmandantenfähig (physische Vektor-Isolation je Mandant), PII verschlüsselt, OWASP-LLM-reviewt, 275 Tests, CI/CD; anbieter-portabel (Ollama / EU-Cloud-Vertex).

After-Sales Assistant – agentischer RAG-/GraphRAG-Assistent auf öffentlichen OEM-Handbüchern (Automotive After-Sales)

• Genuin agentisch auf LangGraph: ReAct-Agent mit vier Werkzeugen und Gesprächsge-dächtnis – das Modell entscheidet selbst, ob es das Handbuch (RAG, Chroma), einen Wissensgraphen (GraphRAG, Neo4j/Cypher – Warnleuchten dekodieren) oder einen Werkstatt-/Buchungsdienst anspricht.
• Human-in-the-Loop vor der irreversiblen Aktion: vor jeder Terminbuchung pausiert der Graph (interrupt) und holt die ausdrückliche Bestätigung des Fahrers – dieselbe Freigabe-vor-Aktion-Disziplin wie in BankingGPT, in einem anderen Framework.
• Eval als CI-Gate: dreiteiliges Scorecard (RAGAS-Grounding + deterministische Tool-Routing-Genauigkeit + DeepEval-Safety: führt die Antwort bei kritischer Warnung zuerst die Warnung an?) blockt die Pipeline; provider-agnostisch (OpenAI/Azure/Anthropic), FastAPI mit Token-Streaming.

Stack: Python, LangChain/LangGraph, Chroma, Neo4j, RAGAS/DeepEval, FastAPI, Docker.

Enterprise-KI-Inhaltskategorisierung und KI-gestützte Web-Recherche.

• Multi-LLM-Evaluierungs-Framework mit annotierten Daten aufgebaut
• LLM-Fehlerraten anhand annotierter Datensätze iteriert
• KI-gestützte Web-Recherche-Pipeline implementiert Technologie-Stack: LLM, evals, OpenRouter, Python, Node.js, TypeScript, React

• Branche: B2B
• Headless Frontend mit AEM Anbindung
• Besondere Herausforderung: Migration einer PWA-Anwendung im laufenden Betrieb auf Basis von .NET sowie Legacy Code; gesamte Applikation muss in React und Express.js/TypeScript überführt werden
• Technische Frameworks: Tailwind, XML, JavaScript, Caddy, ReactJS, Express.js, REST API, JSON
• Cloudflare CDN
• Caddy Server mit GitHub CI/CD Pipeline

• Führung eines funktionsübergreifenden Squads aus Backend-, Frontend- und ML/Data-Ingenieuren, dabei Balance zwischen operativer Mitarbeit (Architektur, Codierung, Reviews) und Teamführung (Mentoring, Priorisierung des Backlogs, Abstimmung der Roadmap).
• Konzeption und Umsetzung von ML-basierten Such- und Discovery-Funktionen, darunter Learning-to-Rank (LTR), Query Expansion und Vektor-Suche, was die Relevanz der Ergebnisse und das Nutzerengagement verbesserte.
• Implementierung von Personalisierungs- und Empfehlungspipelines unter Nutzung von Verhaltensdaten und Segmentierung zur Steigerung der Kundenbindung und des Customer Lifetime Value.
• Einführung datengetriebener Prozesse und Aufbau von A/B-Testing- und Experimentier-Workflows (Odyn, MLflow), um die Auswirkungen von Features auf CTR, NDCG und Conversion zu messen.
• Verantwortung für die Architektur und Roadmap des Squads, Modernisierung der Services durch cloud-native Microservices und eventgesteuerte Systeme (AWS, Pulumi, Terraform) zur Steigerung von Skalierbarkeit und Zuverlässigkeit.
• Erhöhte Zuverlässigkeit und operative Exzellenz durch Einführung von Observability (Prometheus, Grafana, NewRelic), Incident Management und Post-Mortems, die Ausfallzeiten bei Kundendienstleistungen verringerten.
• Mentoring und Unterstützung von Ingenieuren, Förderung des technischen Wachstums, der Zusammenarbeit und einer kundenorientierten Denkweise durch regelmäßiges Feedback, Coaching und Code Reviews.
• Enge Zusammenarbeit mit Produktmanagern, Forschern und Stakeholdern, um Kunden-Insights in technische Lösungen umzusetzen, die Discovery, Engagement und Kundenbindung verbesserten.
• Untersuchung von Anwendungsfällen für Generative AI/LLM (GPT-4, LangChain, RAG), Prototyping intelligenter Assistenten und personalisierter Discovery-Workflows, die die Nutzerzufriedenheit steigerten.
• Erzielt greifbare Ergebnisse: Steigerung des Engagements durch Personalisierung, Beitrag zum Umsatzwachstum und Verringerung von Vorfällen durch Integration von Resilienz und Observability.

• Konzipiert, entwickelt und weiterentwickelt ein Applied-KI-MVP, das ausführliche Audio-Interviews mithilfe agentenbasierter Orchestrierung und mehrstufigem Reasoning in strukturierte, langformatige Erzählformate über verschiedene Genres (z. B. Memoiren, institutionelles Wissen, thematische Essays) umwandelt.
• Zentrale Workflows in einem Next.js-Stack entworfen und implementiert, mit strukturierten Repräsentationen (JSON und andere Formate), Retrieval-gestützter Generierung und entstehenden Knowledge-Graph-Strukturen, um Kontext und Konsistenz über lange Dokumente hinweg zu wahren.
• Agentenverhalten in realistischen Erzählszenarien definiert und getestet, einschließlich idealer Nutzerpfade, Randfälle und Fehlerzustände, mit expliziten Kriterien für Kohärenz, faktische Übereinstimmung und Erfüllung der Nutzerabsicht.
• Führe derzeit gezielte Nutzertests mit ausgewählten Partnern durch, um Anwendungsfälle zu validieren und die nächsten Produktiterationen zu informieren.

• Entwarf und implementierte multimodale Unterhaltungstoolchains, die Passagierinput, Fahrzeugkontext, Large-Language-Modelle (Text-zu-Text und Sprache-zu-Sprache) sowie Bildgenerierungsmodelle kombinieren, um interaktivere und immersivere In-Car-Erlebnisse zu bieten.
• Entwickelte und orchestrierte Tools für LLM-basierte Agenten, inklusive Sitzungsverwaltung, Hintergrundaufgaben, dynamischer Nutzerinteraktionen und persistentem Anwendungszustand.
• Untersuchte Multi-Agenten-Orchestrierungsframeworks für In-Car-Umgebungen, bewertete Kommunikationsprotokolle und Architekturstrategien für koordinierte und zuverlässige Agentenverhalten.