Llama Experten in Deutschland

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

• Ausgangssituation: Wachsender Bedarf an datenschutzkonformen KI-Lösungen für Mandanten im KRITIS- und Mittelstandsumfeld, die sensible Medieninhalte (Audio, Video, Dokumente) analysieren müssen, ohne Daten an Public-Cloud-LLMs weiterzugeben.

• Aufgabe: Konzeption, Aufbau und sicherer Betrieb einer vollständig self-hosted AI-Infrastruktur inklusive eigenentwickelter Digital-Management-Plattform zur automatisierten Medienanalyse.

• Maßnahme: Architektur und Implementierung einer Multi-Tier-Plattform auf gehärteter Proxmox-Infrastruktur mit Frontend (Nuxt 3, Vue 3, TypeScript, Tailwind 4), Backend (Laravel 13, PHP 8.4, Sanctum), Datenhaltung (PostgreSQL 16, MongoDB 7), Caching/Queuing (Redis 7, Laravel Queue), AI-Worker (Python 3.11, Whisper, DeepFace, Librosa), Scheduling (Laravel Scheduler/Cron) und lokalen LLMs (Gemma, DeepSeek, Qwen, Mistral, LLaMA, Phi) über OpenWebUI mit segmentiertem Netzwerkzugriff, API-Hardening und Audit-Logging nach BSI-Empfehlungen.

• Ergebnis: Vollständig DSGVO-konforme, on-premises betriebene AI-Plattform ohne Datenabfluss an Dritte.

• Aufgabe: Gesamtverantwortung als externer Head of Cyber Security / CISO-as-a-Service für Konzeption, Implementierung und kontinuierliche Verbesserung von ISMS nach ISO 27001, BSI-Grundschutz und NIS2.

• Maßnahme: Aufbau und Steuerung von Cyber Defense Centern (CDC) mit SOC-Operations, Integration von SIEM-Lösungen (Splunk, Graylog), Etablierung eines Risk-Based Vulnerability Managements (Qualys, Nessus, OpenVAS) und Durchführung regelmäßiger Infrastruktur-, Applikations- und physischer Penetrationstests.

• Ergebnis: Audit-Ready ISMS bei mehreren Mandanten und Reduktion kritischer Schwachstellen um 60 % innerhalb von 90 Tagen.

• Aufgabe: Konzeption und Durchführung von NIS2-Assessments und operative Umsetzungsfahrpläne für KRITIS-Betreiber.

• Maßnahme: Entwicklung eines Online-Assessment-Tools zur automatisierten Ermittlung individueller Schwächeprofile, operative Umsetzung von ISMS-Optimierung, Penetrationstests, Awareness-Programmen und GRC-Suite-Implementierung sowie C-Level-Präsentationen.

• Ergebnis: Beschleunigung des Beratungsprozesses um 50 % und erfolgreiche NIS2-Konformitätsvorbereitung mehrerer Mandanten.

• Aufgabe: Incident Commander für Krisenreaktion, Forensik und Business Recovery bei Ransomware-Angriffen und APT-Kampagnen.

• Maßnahme: Koordination mit LKA und BKA, forensische Analysen (OSForensics, Wireshark, Kali Linux), Umsetzung von Disaster-Recovery- und BCM-Strategien, Entwicklung von Reaktionsstrategien bei BTC-Erpressung.

• Ergebnis: 100 % Wiederherstellungsrate innerhalb definierter RTO-Fenster und nachhaltige Post-Incident-Sicherheitsarchitekturen.

• Maßnahme: Planung, Aufbau und Betrieb einer gehärteten Multi-VM-Infrastruktur (Proxmox, 15+ VMs) mit Web- und Mailservern, Graylog, OPNsense-Firewalls, CRM/ERP und LLM-Instanzen, Netzwerksegmentierung, DDoS-Mitigation, automatisiertem Patch-Management und Backup-Strategien.

• Ergebnis: > 99,5 % Verfügbarkeit über 20+ Jahre und null Kompromittierungen.

• Maßnahme: Konzeption koordinierter Phishing-Kampagnen in fünf Härtegraden, abgeleitete E-Learnings und Webinare im PDCA-Zyklus, Aufbau und Leitung von Red- und Blue-Teams.

• Ergebnis: Reduktion der Phishing-Klickrate von 35 % auf unter 5 % innerhalb von drei Kampagnenzyklen.

• TrendReel, Produktions-LLM-Agenten- und RAG-System (Python, LangChain, OpenAI, Groq/Llama 3, Claude, FastAPI, Kubernetes, PostgreSQL).
• Entwarf und baute ein produktives mehrstufiges LLM-Agentensystem: einen Script-Generierungs-Agenten mit einer plattformbezogenen Psychologie-Datenbank, 7 viralen Narrativ-Frameworks und strukturierter Qualitätsbewertung, der in Echtzeit je nach Ausgabemetriken zwischen Claude- und Groq-Backends wechselte.
• Implementierte Multi-Provider-LLM-Routing (Claude primär, Groq/Llama 3 Fallback) mit Priority-Chain-Failover und qualitätsbasiertem Provider-Wechsel und erreichte dabei eine Senkung der Inferenzkosten um 95 %, während messbare Qualitätsgrenzen eingehalten wurden.
• Aufbau einer fortschrittlichen RAG-artigen Retrieval-Pipeline mit Wissensbasen pro Plattform, semantischem Content-Matching und strukturierter Ausgabeevaluation über 7 Entscheidungs-Frameworks, direkt vergleichbar mit kontextbasiertem Reasoning in Multi-Tenant-Enterprise-Dokumenten-Workflows.
• BrainyAI, adaptive KI-Lernplattform (Python, LangChain, Groq Llama 3.3-70B, OpenAI, Next.js, Supabase, Redis).
• Integrierte Groq Llama 3.3-70B mit einem auf Bildungsniveau abgestimmten Prompting, wobei Wortschatz-Tiefe, Zitierkomplexität und Denkstil dynamisch über vier Leistungsstufen von Lernenden angepasst wurden.
• Nexus Prime, Multi-Tenant-SaaS-Plattform für Marketing- und Wachstumsautomatisierung (25 Module, 99 Backend-Router, 153 Frontend-Dateien).
• Aufbau einer 25-Modul-, 99-Router-Multi-Tenant-SaaS-Plattform für Ad-Remix, Affiliates, WhatsApp-Inbox, E-Mail und Warenkorbwiederherstellung, die vier Abo-Stufen von $199 bis $1,999 pro Monat mit integrierter Stripe-, Paystack- und Flutterwave-Abrechnung bedient.
• KI-Videoüberwachungsplattform, Multi-Tenant-Edge- und Cloud-Computer-Vision-System derzeit aktiv im Kundengespräch.
• Entwarf eine Multi-Tenant-KI-Videoüberwachungsplattform, die Edge-YOLO26-Inferenz auf NVIDIA Jetson Orin NX Boxen mit einer zentralen GKE-Cloud-Schicht (Postgres, Pub/Sub, ClickHouse, R2, Keycloak) für Ereignisspeicherung, Dashboards, Alarme und Multi-Tenancy kombiniert.

• Weiterentwicklung und Betrieb eines zentralen Backend-Services zur Bereitstellung des Fahrzeugbestands für internationale Mercedes-Benz Online-Shops
• Weiterentwicklung eines Reservierungsservices für Fahrzeuge als Bestandteil des Checkout-Prozesses
• Konzeption und Umsetzung einer hochskalierbaren Ende-zu-Ende-Testarchitektur mit Fokus auf Wartbarkeit, Wiederverwendbarkeit und einer hohen Anzahl automatisierter Testfälle
• Entwicklung einer mehrschichtigen Testinfrastruktur mit konsequenter Trennung von Testlogik und Zugriffsschichten
• Entwicklung einer Initialisierungs- und Caching-Architektur zur erheblichen Beschleunigung lokaler sowie CI/CD-basierter Testausführungen
• Entwicklung einer KI-gestützten Review-Architektur zur automatisierten Bewertung und Qualitätssicherung von Ende-zu-Ende-Tests
• Entwicklung eines Dashboards zur konsolidierten Darstellung eines Fahrzeugkontextes über mehrere Backend-Systeme hinweg inklusive KI-generierter Zusammenfassungen und komprimierter Fallanalysen
• Integration und Weiterentwicklung der Anbindung verschiedener Reservierungssysteme über Apache Kafka und Rest
• Konzeption neuer Microservices sowie Unterstützung bei Architekturentscheidungen
• Risikoanalyse und Konzeption von Microservice-Migrationen
• Technologien: Java, Spring, Spring Boot, Gradle, Maven, Apache Kafka, Rest, OpenAPI, Swagger, Github, Confluence, CI/CD, Microservices, AI, LLMs

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Wandelt natürliche Sprache mit RAG und pgvector in JQL um. Gibt strukturiertes JSON mit einer Query, einer Chart-Spezifikation und einer Klartext-Antwort zurück. Ein zweistufiger Router beantwortet allgemeine Fragen ganz ohne den JQL-Pipeline-Pfad.
• Austauschbare LLM-Backends: Ollama, vLLM, Groq, Anthropic Claude, AWS Bedrock - zur Laufzeit umschaltbar, ohne Codeänderungen. Self-healing JQL: Bei Jira-Validierungsfehlern wird der Fehler an das LLM zurückgegeben und bis zu 4 Mal erneut versucht. OCI Vault für Secrets. Bereitgestellt auf Oracle Cloud A1 mit GPU-Inferenz über ein Tailscale-Privatnetzwerk. Open Source.

• Übernahm die technische Leitung eines 4-köpfigen Teams, das innerhalb von 12 Monaten 3 wichtige Kundenplattformen mit Microservices-Architektur und Lösungen für Skalierbarkeit bereitstellte — 100% der geplanten Hauptfunktionen wurden vor dem Zeitplan und den geplanten Meilensteinen ausgeliefert (Ausgangslage: Frühere Releases verzögerten sich häufig um 1–2 Sprints).
• Führte Evaluierungen von KI-Modellen und Modellausgaben für LLM-/KI-Anbieter-APIs durch: Sicherheit, Vollständigkeit, Befolgung von Anweisungen und Prüfung der inhaltlichen Fundierung vor dem Go-live; reduzierte fehlerhafte Ausgaben in den KI-integrierten Release-Checklisten von wiederkehrenden UAT-Ergebnissen auf nahezu null bei der finalen Freigabe.
• Entwickelte die API-Entwicklung und Performance-Optimierung für Zahlungs-, Börsen- und KI-Dienste voran; strikt geschlossene Fehlerbehandlung und Payload-Validierung reduzierten die Überarbeitung von Integrationen im Vergleich zum ersten KI-Integrationsdurchlauf um ~35%.
• Setzte Softwaretests, Test-Frameworks, Qualitätssicherung von Code und Code-Refactoring mit Gates für die kontinuierliche Integration ein; die Akzeptanz von Pull Requests im ersten Durchlauf verbesserte sich im gesamten Team, und Hotfixes in der Produktion für KI-Adapter gingen nach Einführung der Review-Standards spürbar zurück.
• Verantwortete DevOps-Praktiken: Docker, GitHub Actions, Jenkins-kompatible Pipelines und Versionskontroll-Workflows — reduzierte die Bereitstellungszeit gegenüber der Ausgangslage vor der Automatisierung um ~50% und stabilisierte Releases in 3 Kundenumgebungen.
• Implementierte Verifier-/Oracle-artige Bestanden-Nicht-bestanden-Prüfungen in Container-Sandboxes (an Harbor/Terminal-Bench ausgerichtet); erstellte technische Dokumentation, sodass Fehler in einem Review-Zyklus behoben werden konnten.
• Leitete die funktionsübergreifende Zusammenarbeit mit Produkt- und Kundenstakeholdern; übersetzte KI-Evaluierungswerte und Risikobefunde in verständliche Kurzberichte für nichttechnische Partner und ermöglichte Go-/No-Go-Entscheidungen ohne zusätzliche Engineering-Meetings.
• Setzte agile Methoden für Sprintplanung und Backlog-Verantwortung ein; unterstützte Engineers dabei, dass Entwickler auf mittlerem Niveau bereits zur Hälfte des Projekts KI-Adapter-Module eigenständig verantworteten.

• ▶ Einen Echtzeit-Sprachassistenten gebaut (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter wie faster-whisper und Azure Speech gebenchmarkt und bewertet. Sub-3s-Latenz erreicht, Groq API (Llama 3) mit Multi-Turn-Memory genutzt - mit direkter Behandlung von Edge Cases bei Diktat, Namen und Passcode-Erkennung.

• Leitung der Integration eines maßgeschneiderten Transformer-basierten Encoders in die AFFGANwriting-Pipeline und Ersetzung der alten VGG19-Architektur, um reichhaltigere, hochqualitative Schreibstil-Repräsentationen zu gewinnen.
• Steigerung der Auswahlrate in Nutzerstudien um 40 %, was einen deutlichen Sprung in der wahrgenommenen Qualität und dem Realismus der generierten Handschriften im Vergleich zum Basismodell zeigte.
• Verbesserung der OCR-Leistung um 20 % durch Implementierung eines Teacher-Student-Frameworks, das ein TrOCR-Benchmarkmodell für ergänzende Trainingsabstimmung nutzte.

• Eine hybride Kubernetes-Plattform über Bare Metal und Cloud aufgebaut und betrieben, um Multi-GPU-Workloads, die Isolation von Sicherheitszonen und Disaster Recovery zu validieren.
• Selbst gehostete KI-Coding-Agenten im Git-Workflow der Plattform betrieben – von der Bearbeitung von Issues bis zur Prüfung von Pull Requests; jede Änderung wird in CI durch Manifest-Diffs und Policy-Prüfungen abgesichert.
• Eine Plattform für Sensorfusion und GPU-Edge-Inferenz mitentwickelt, die vom European Defense Tech Hub aus 50 Lösungen für Feldtests ausgewählt wurde.

• Agierte als technischer Berater zur Optimierung von mehrschichtigen Ensemble-Modellen, die ResNet, CNN-BiGRU-Attention und XGBoost kombinierten.
• Begleitete die Umsetzung eines Logistic-Regression-Meta-Lerners zur Lösung von Klassenungleichgewichten und erreichte 92,86 % Genauigkeit und einen AUC-Wert von 0,9644 auf den Datensätzen PTB-XL und Chapman-Shaoxing.

Mitgründung eines KI-nativen Startups für Sprachenlernen sowie Definition der Produktvision, KI-Architektur und technischen Roadmap. Entwicklung und Aufbau des KI- und Backend-Stacks einschließlich Pipelines zur Feinabstimmung von LLMs, individueller agentischer Workflows und skalierbarer Inferenzinfrastruktur. Das erste Produkt befindet sich derzeit in einer privaten Betaphase.

End-to-End-Verantwortung für alle Produkte – Konzeption, Architektur, Entwicklung und Produktivbetrieb als alleiniger Entwickler; daneben Kundengespräche, Angebote und Marketing.

Underwriting Copilot – KI-Assistent für die Industrieversicherung (produktiv im Kundeneinsatz)

• Unterstützt Underwriter bei der Analyse industrieller Versicherungs-Submissions – im Produktivbetrieb bei einem Industrieversicherer.
• Framework-unabhängige RAG-Architektur mit Hybrid Search (BM25 + pgvector) über große, heterogene Dokumentbestände.
• Zweistufige Evaluations- und Observability-Pipeline (Code-Assertions + LLM-as-Judge), die Antwortqualität, Retrieval-Genauigkeit und Citation-Integrität regressionssicher messbar macht.

Kaiki Menu Analyzer – Data-Intelligence-Plattform (produktiv im Kundeneinsatz)

• Erfasst und analysiert automatisiert Speisedaten aus rund 25.000 deutschen Restaurants.
• Skalierbare 7-Container-Architektur (FastAPI, partitioniertes PostgreSQL, Redis/RQ) mit LLM-gestützter Extraktion strukturierter Daten aus PDF, HTML und Bildern.
• Vollständige CI/CD-Pipelines (GitHub Actions), produktives Cloud-Deployment, interaktive Dashboards (Dash).

Kaiki GEO Atlas – GEO-Plattform (produktiv im Kundeneinsatz)

• Misst die Marken-Sichtbarkeit über fünf KI-Engines (ChatGPT, Gemini, Perplexity, Grok, Claude), jede web-search-augmentiert, orchestriert als DAG-Workflow-Pipeline (Dispatcher → Sub-Workflows → Scoring → Report) mit Fail-Isolation.
• 6-Container-Deployment (FastAPI, Celery, Redis, PostgreSQL); LLM-Kostenschätzung, PDF-Audit-Report, regelbasierte Cross-Signal-Insights (kein zusätzlicher LLM-Aufwand).

Data Pipeline & Analytics Platform – Wettbewerbsanalyse im Automotive-Aftermarket

• Automatisierte Daten-Pipeline mit Gap-Analyse-Algorithmen und rollenbasierter Zugriffskontrolle; 230+ Tests.
• Backend mit FastAPI, PostgreSQL, SQLAlchemy.

Produktentwicklung (in aktiver Entwicklung)

BankingGPT – KI-Assistent für das Beschwerdemanagement im Genossenschaftsbanking

• Sicherheitsarchitektur im Kern: kein KI-Entwurf erreicht den Kunden ohne menschliche Freigabe – die Freigabe-Entscheidung liegt in auditierbarem Code, nicht im Sprachmodell (monoton: das Modell darf hochstufen, nie senken).
• Echte agentische Bausteine, jeder mit eigener Grenze: das Modell wählt selbst Werkzeuge über einen MCP-Server (nur-lesend, Allowlist, gedeckelt, fail-safe); heikle Fälle gehen per offenem A2A-Protokoll (JSON-RPC, Agent Card, message/send/tasks/get; Client selbst implementiert) an einen eigenständigen Fach-Agenten (Wertpapier/Recht), der die Prüfpflicht nie senkt (per Test gepinnt).
• Evaluations-getrieben über zehn Analyse-Runden; deckte per unabhängigem Review und Blind-Tests einen Sicherheitsdefekt auf, den neun automatisierte Läufe übersehen hatten.
• Voice-AI-Frontend, live antwortend: gedeckte Fälle werden im Gespräch beantwortet, heikle eskalieren vor der Generierung; Antwortlatenz < 7 s gemessen (lokale GPU-STT/TTS).

Stack & Produktionsnähe: Python, pydantic-ai, FastAPI/Celery, PostgreSQL/pgvector, FastMCP, fasta2a, Docker; mehrmandantenfähig (physische Vektor-Isolation je Mandant), PII verschlüsselt, OWASP-LLM-reviewt, 275 Tests, CI/CD; anbieter-portabel (Ollama / EU-Cloud-Vertex).

After-Sales Assistant – agentischer RAG-/GraphRAG-Assistent auf öffentlichen OEM-Handbüchern (Automotive After-Sales)

• Genuin agentisch auf LangGraph: ReAct-Agent mit vier Werkzeugen und Gesprächsge-dächtnis – das Modell entscheidet selbst, ob es das Handbuch (RAG, Chroma), einen Wissensgraphen (GraphRAG, Neo4j/Cypher – Warnleuchten dekodieren) oder einen Werkstatt-/Buchungsdienst anspricht.
• Human-in-the-Loop vor der irreversiblen Aktion: vor jeder Terminbuchung pausiert der Graph (interrupt) und holt die ausdrückliche Bestätigung des Fahrers – dieselbe Freigabe-vor-Aktion-Disziplin wie in BankingGPT, in einem anderen Framework.
• Eval als CI-Gate: dreiteiliges Scorecard (RAGAS-Grounding + deterministische Tool-Routing-Genauigkeit + DeepEval-Safety: führt die Antwort bei kritischer Warnung zuerst die Warnung an?) blockt die Pipeline; provider-agnostisch (OpenAI/Azure/Anthropic), FastAPI mit Token-Streaming.

Stack: Python, LangChain/LangGraph, Chroma, Neo4j, RAGAS/DeepEval, FastAPI, Docker.

• Entwicklung eines professionellen Terminplaners für Organisationen mit spezifischen detaillierten Anforderungen
• Evaluieren verschiedener existierender Softwarelösungen
• Erstellen einer Liste von technischen Anforderungen
• Implementieren dieser Anforderungen
• Technologien in Auswahl: WebDAV, CalDAV, Rust, Baikal, OAuth, Keycloak