RAGAS Experten in Deutschland

Remote-Freiberuflerrolle mit Fokus auf Agentic-AI-Strategie, sicheren Anwendungsmustern und wiederverwendbaren agentischen Workflows für eine Regierungsbehörde.

• Entwicklung und Umsetzung einer Open-Source-Agentic-AI-Strategie für eine Regierungsbehörde mit Fokus auf DSGVO, Sicherheit und selbst gehostete Lösungen
• Entwicklung wiederverwendbarer agentischer Workflows und Mini-Anwendungen, die es nicht-technischen Mitarbeitenden ermöglichen, Geschäftsprobleme selbstständig zu lösen
• Umsetzung interner Geschäftsanwendungen mit Single Sign On (SSO) und Azure-PostgreSQL-Integration auf Hetzner-Linux-Servern
• Umsetzung von neun Mini-Anwendungen mit Single Sign On (SSO) und Azure-PostgreSQL-Integration auf Hetzner-Linux-Servern
• Techstack: Python, Nextjs, Typescript, Streamlit, Anthropic SDK (Claude), Azure, Linux Ubuntu, PostgreSQL, MS SQL, Angular, Authentik

• Aufbau einer AI & Data Consultancy Practice mit dem Ziel, europäische Unternehmen bei der Adoption von Artificial Intelligence und modernen Datenplattformen zu unterstützen
• End-2-End Weiterentwicklung eines Produktivsystems unter Einsatz von modifizierten Coding-Agenten (OpenCode). Techstack: Kubernetes, Argo, Keycloak, Typescript, Grafana, GitOps, DevOps, Playwright
• Internes Forschungsprojekt zum Einsatz Coding Agenten im Bereich mathematischer Logik für das Erstellen von formalen Modellen. Einsatz von Cursor IDE und Codex, Codex CLI. Architektur-Entwurf, Qualitätskontrolle und Refactoring, sowie das Schreiben von Code und Tests. Repository (open source) in Pre-launch verfügbar
• Forschung zur Rolle von mathematischer Logik als formale Sprache, die IT und KI mit Unternehmensprozessen verbindet.
• Projektleiter für das Erheben und Ausspielen von Abstellempfehlungen für Schienenfahrzeuge mit erheblichem Einsparpotential auf Basis von Echtzeitdaten in einem Mobilitäts- und Verkehrskonzern
• Projektleiter für das Erheben und Verteilen von Prozess-Meßpunkten in der Bereitstellung für Echtzeitsteuerung in einem Mobilitäts- und Verkehrskonzern
• Stellvertretender Anwendungsverantwortlicher für eine App zur Kommunikation in der Zuführung und Bereitstellung von Schienenfahrzeugen

• Agierte als technischer Berater zur Optimierung von mehrschichtigen Ensemble-Modellen, die ResNet, CNN-BiGRU-Attention und XGBoost kombinierten.
• Begleitete die Umsetzung eines Logistic-Regression-Meta-Lerners zur Lösung von Klassenungleichgewichten und erreichte 92,86 % Genauigkeit und einen AUC-Wert von 0,9644 auf den Datensätzen PTB-XL und Chapman-Shaoxing.

End-to-End-Verantwortung für alle Produkte – Konzeption, Architektur, Entwicklung und Produktivbetrieb als alleiniger Entwickler; daneben Kundengespräche, Angebote und Marketing.

Underwriting Copilot – KI-Assistent für die Industrieversicherung (produktiv im Kundeneinsatz)

• Unterstützt Underwriter bei der Analyse industrieller Versicherungs-Submissions – im Produktivbetrieb bei einem Industrieversicherer.
• Framework-unabhängige RAG-Architektur mit Hybrid Search (BM25 + pgvector) über große, heterogene Dokumentbestände.
• Zweistufige Evaluations- und Observability-Pipeline (Code-Assertions + LLM-as-Judge), die Antwortqualität, Retrieval-Genauigkeit und Citation-Integrität regressionssicher messbar macht.

Kaiki Menu Analyzer – Data-Intelligence-Plattform (produktiv im Kundeneinsatz)

• Erfasst und analysiert automatisiert Speisedaten aus rund 25.000 deutschen Restaurants.
• Skalierbare 7-Container-Architektur (FastAPI, partitioniertes PostgreSQL, Redis/RQ) mit LLM-gestützter Extraktion strukturierter Daten aus PDF, HTML und Bildern.
• Vollständige CI/CD-Pipelines (GitHub Actions), produktives Cloud-Deployment, interaktive Dashboards (Dash).

Kaiki GEO Atlas – GEO-Plattform (produktiv im Kundeneinsatz)

• Misst die Marken-Sichtbarkeit über fünf KI-Engines (ChatGPT, Gemini, Perplexity, Grok, Claude), jede web-search-augmentiert, orchestriert als DAG-Workflow-Pipeline (Dispatcher → Sub-Workflows → Scoring → Report) mit Fail-Isolation.
• 6-Container-Deployment (FastAPI, Celery, Redis, PostgreSQL); LLM-Kostenschätzung, PDF-Audit-Report, regelbasierte Cross-Signal-Insights (kein zusätzlicher LLM-Aufwand).

Data Pipeline & Analytics Platform – Wettbewerbsanalyse im Automotive-Aftermarket

• Automatisierte Daten-Pipeline mit Gap-Analyse-Algorithmen und rollenbasierter Zugriffskontrolle; 230+ Tests.
• Backend mit FastAPI, PostgreSQL, SQLAlchemy.

Produktentwicklung (in aktiver Entwicklung)

BankingGPT – KI-Assistent für das Beschwerdemanagement im Genossenschaftsbanking

• Sicherheitsarchitektur im Kern: kein KI-Entwurf erreicht den Kunden ohne menschliche Freigabe – die Freigabe-Entscheidung liegt in auditierbarem Code, nicht im Sprachmodell (monoton: das Modell darf hochstufen, nie senken).
• Echte agentische Bausteine, jeder mit eigener Grenze: das Modell wählt selbst Werkzeuge über einen MCP-Server (nur-lesend, Allowlist, gedeckelt, fail-safe); heikle Fälle gehen per offenem A2A-Protokoll (JSON-RPC, Agent Card, message/send/tasks/get; Client selbst implementiert) an einen eigenständigen Fach-Agenten (Wertpapier/Recht), der die Prüfpflicht nie senkt (per Test gepinnt).
• Evaluations-getrieben über zehn Analyse-Runden; deckte per unabhängigem Review und Blind-Tests einen Sicherheitsdefekt auf, den neun automatisierte Läufe übersehen hatten.
• Voice-AI-Frontend, live antwortend: gedeckte Fälle werden im Gespräch beantwortet, heikle eskalieren vor der Generierung; Antwortlatenz < 7 s gemessen (lokale GPU-STT/TTS).

Stack & Produktionsnähe: Python, pydantic-ai, FastAPI/Celery, PostgreSQL/pgvector, FastMCP, fasta2a, Docker; mehrmandantenfähig (physische Vektor-Isolation je Mandant), PII verschlüsselt, OWASP-LLM-reviewt, 275 Tests, CI/CD; anbieter-portabel (Ollama / EU-Cloud-Vertex).

After-Sales Assistant – agentischer RAG-/GraphRAG-Assistent auf öffentlichen OEM-Handbüchern (Automotive After-Sales)

• Genuin agentisch auf LangGraph: ReAct-Agent mit vier Werkzeugen und Gesprächsge-dächtnis – das Modell entscheidet selbst, ob es das Handbuch (RAG, Chroma), einen Wissensgraphen (GraphRAG, Neo4j/Cypher – Warnleuchten dekodieren) oder einen Werkstatt-/Buchungsdienst anspricht.
• Human-in-the-Loop vor der irreversiblen Aktion: vor jeder Terminbuchung pausiert der Graph (interrupt) und holt die ausdrückliche Bestätigung des Fahrers – dieselbe Freigabe-vor-Aktion-Disziplin wie in BankingGPT, in einem anderen Framework.
• Eval als CI-Gate: dreiteiliges Scorecard (RAGAS-Grounding + deterministische Tool-Routing-Genauigkeit + DeepEval-Safety: führt die Antwort bei kritischer Warnung zuerst die Warnung an?) blockt die Pipeline; provider-agnostisch (OpenAI/Azure/Anthropic), FastAPI mit Token-Streaming.

Stack: Python, LangChain/LangGraph, Chroma, Neo4j, RAGAS/DeepEval, FastAPI, Docker.

• Führte End-to-End-Produktentdeckungs- und Strategieprojekte für Gründer in der Frühphase (Pre-Seed) durch und definierte Produktvision, OKRs sowie Go-to-Market-Strategien und Roadmaps für ihre Cloud-basierten und KI-gestützten Lösungen.
• Entwickelte skalierbare Produkt-Betriebsmodelle (Agile/Scrum, Backlog-Governance, KPI-Frameworks) im Rahmen der Partnerschaft, um die Vorhersagbarkeit der Lieferung zu verbessern und die Entwicklungszyklen für Features um bis zu 30 % zu verkürzen.
• Erstellte skalierbare Produkt-Roadmaps, die an Finanzierungsmeilensteine angepasst waren, und half Gründern, Produktvision, Produkt<>Markt-Fit und Traktion gegenüber Investoren klar zu kommunizieren.

Vom Rohdaten zum Feinschliff: Partizipative Design-Daten in stakeholdertaugliche Ergebnisse überführen

• Eine produktive Document-AI-Plattform mit Retrieval Augmented Generation (RAG) über 1.500+ partizipative Design-Artefakte entwickelt, um historische Projektanfragen mit fundierten Antworten zu beantworten.
• LLM-Evaluierung mit RAGAS, eigenen Bewertungsmetriken und Human-in-the-Loop-(HITL)-Validierungs-Workflows entworfen, um faktische Fundierung, Antwortqualität und Prompt-Performance zu bewerten.
• Ein Frontend mit React, TypeScript und D3.js für die interaktive Erkundung von KI-generierten Insights gebaut.
• Sicherheitsmechanismen und Guardrails für die LLM-Eingabeschicht implementiert, einschließlich PII-Redaktion und Filterung von vulgärer Sprache.

• Aufbau eines ausgeklügelten KI-Copiloten, um das Lernerlebnis der Studierenden zu verbessern und den Dozenten KI-basierte Einblicke zu geben.
• Aufbau eines Multi-Chain-LLM-Systems, das sich eigenständig an Nutzerbedürfnisse anpasst, mit einem auf Weaviate-Vektordatenbank basierenden RAG-System und Evaluation mit Ragas.
• Entwicklung eines responsiven React-Frontends sowie von Backendsystemen für Authentifizierung, Datenverwaltung und Hilfsdienste als RESTful API.
• Bereitstellung und Verwaltung der App in der Cloud in einer Produktionsumgebung, einschließlich CI/CD über mehrstufige Deployments.

• Entwicklung eines Multi-Agenten-Systems, das LangChain ZeroShotAgent mit maßgeschneiderten Tools für Live-APIs und Aufgabenautomatisierung verbindet.
• Aufbau eines FastAPI-Backends für die Erstellung, Triage und Zuweisung von Jira-Tickets, automatische Einstufung der Priorität, Duplikaterkennung, SLA-Konfiguration, Rufbereitschaftsplanung und bidirektionale Synchronisierung von Status und Kommentaren.
• Hinzufügen von Slack-Benachrichtigungen und RAG-Wissensabfrage mit FAISS oder pgvector zur Fehlerbehebung, optional PagerDuty-Eskalation bei Richtlinienverstößen.
• Orchestrierung der Agenten mit einem Router und einer Celery-Redis-Warteschlange, Wiederholungsversuche mit Backoff, Ratenbegrenzungen, Idempotenz-Schlüsseln und menschlichen Freigaben.
• Implementierung von Schutzmaßnahmen und Observability, Prompt-Versionierung, Token- und Kostenbudgets, PII-Redaktion, Tool-Nutzungs-Whitelists, Timeouts, OpenTelemetry-Tracing, Dashboards für Genauigkeit und Latenz sowie Deployment auf Kubernetes mit Feature Flags und Canary-Rollouts.

• Aufbau eines KI-Forschungsassistenten mit RAG, LangChain, LangGraph und OpenAI-LLMs in Kombination mit Vektorsuche; Forschungszeit um 30% reduziert.
• Entwicklung maßgeschneiderter Retrieval-Workflows mit LlamaIndex und einem ReAct-Style-Agenten für dynamisches Chunking; Abfragegenauigkeit um 18% verbessert.
• Untersuchung und Optimierung von Embedding-Strategien, wodurch die Abrufkosten pro Anfrage um 15% gesenkt wurden.
• Entwicklung von RAG-Bewertungsframeworks mit RAGAS und Langsmith anhand eigener Datensätze; Abdeckung um 40% gesteigert.
• Feintuning von LLMs (LLaMA 2 auf Vertex AI mit eigenen Inferenz-Containern, dynamischem Batching und Quantisierung); Latenz der Inferenz um 25% verringert.
• Integration von KI-Agenten in LangGraph mit Kurz- und Langzeitspeicher (Mem0); Abschlussquote der Aufgaben um 20% erhöht.
• Erstellung schema-bewusster Generatoren für synthetische Daten; Feintuning nachgelagerter Modelle mit +12% F1-Score.

• Entwicklung eines RAG-Systems zur Automatisierung von Studierendenanfragen mit 96 % Genauigkeit, erstellt mit FastAPI und LangChain und auf dem Universitätsserver mit Docker bereitgestellt.
• Bewertung der Leistung mit RAGAS durch den Vergleich von LLMs (Llama3.3, Llama3.1, GPT-4o-mini), Vektor-Embeddings und verschiedenen Retrieval-Techniken innerhalb der RAG-Pipeline.
• Technische Skills: Python, FastAPI, Docker, AWS, LangChain, LangSmith, NLP, HTML, CSS