Llama Experten in Deutschland

• Eine neue Benachrichtigungsplattform von Grund auf entwickelt und implementiert, um bestehende und zukünftige Services zu ersetzen
• Zusammenarbeit mit anderen Teams zur Integration weiterer Fachbereiche

Tech-Stack:

• Daten: Scala 3, Apache Kafka, Python, Airflow, Astronomer
• BE-FE: TypeScript, NestJS, Java, Spring Boot, Vue
• DevOps: AWS, PostgreSQL, Docker, GitHub Actions, Kubernetes, Helm, ArgoCD

• Portfolioaufbau & Kundenakquise
• Portfolioaufbau (RAG, NLP-Fine-Tuning, Prozessautomatisierung mit n8n) und aktive Kundenakquise
• Positionierung: DSGVO-konforme, lokal gehostete KI-Lösungen für den Mittelstand

• Aufbau, Implementierung und Vertrieb von automatisierten Data-Science-Lösungen wie Scorecard Factory und Prognose Factory
• Implementierung automatisierter End-to-End-Cloud-Prozesse
• Entwicklung von LLM- und NLP-Modellen
• Erstellung interaktiver Reports
• Betreuung nationaler und internationaler Großkonzerne sowie mittelständischer Firmen bei der Implementierung von ML-Projekten

• ▶ Echtzeit-Sprachassistenten entwickelt (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter einschließlich faster-whisper und Azure Speech getestet und bewertet. Latenz von unter 3 Sekunden erreicht, Groq API (Llama 3) mit Multi-Turn-Speicher eingesetzt – einschließlich direkter Behandlung von Sonderfällen bei Diktaten sowie der Erkennung von Namen und Zugangscodes.

• TrendReel, Produktions-LLM-Agenten- und RAG-System (Python, LangChain, OpenAI, Groq/Llama 3, Claude, FastAPI, Kubernetes, PostgreSQL).
• Entwarf und baute ein produktives mehrstufiges LLM-Agentensystem: einen Script-Generierungs-Agenten mit einer plattformbezogenen Psychologie-Datenbank, 7 viralen Narrativ-Frameworks und strukturierter Qualitätsbewertung, der in Echtzeit je nach Ausgabemetriken zwischen Claude- und Groq-Backends wechselte.
• Implementierte Multi-Provider-LLM-Routing (Claude primär, Groq/Llama 3 Fallback) mit Priority-Chain-Failover und qualitätsbasiertem Provider-Wechsel und erreichte dabei eine Senkung der Inferenzkosten um 95 %, während messbare Qualitätsgrenzen eingehalten wurden.
• Aufbau einer fortschrittlichen RAG-artigen Retrieval-Pipeline mit Wissensbasen pro Plattform, semantischem Content-Matching und strukturierter Ausgabeevaluation über 7 Entscheidungs-Frameworks, direkt vergleichbar mit kontextbasiertem Reasoning in Multi-Tenant-Enterprise-Dokumenten-Workflows.
• BrainyAI, adaptive KI-Lernplattform (Python, LangChain, Groq Llama 3.3-70B, OpenAI, Next.js, Supabase, Redis).
• Integrierte Groq Llama 3.3-70B mit einem auf Bildungsniveau abgestimmten Prompting, wobei Wortschatz-Tiefe, Zitierkomplexität und Denkstil dynamisch über vier Leistungsstufen von Lernenden angepasst wurden.
• Nexus Prime, Multi-Tenant-SaaS-Plattform für Marketing- und Wachstumsautomatisierung (25 Module, 99 Backend-Router, 153 Frontend-Dateien).
• Aufbau einer 25-Modul-, 99-Router-Multi-Tenant-SaaS-Plattform für Ad-Remix, Affiliates, WhatsApp-Inbox, E-Mail und Warenkorbwiederherstellung, die vier Abo-Stufen von $199 bis $1,999 pro Monat mit integrierter Stripe-, Paystack- und Flutterwave-Abrechnung bedient.
• KI-Videoüberwachungsplattform, Multi-Tenant-Edge- und Cloud-Computer-Vision-System derzeit aktiv im Kundengespräch.
• Entwarf eine Multi-Tenant-KI-Videoüberwachungsplattform, die Edge-YOLO26-Inferenz auf NVIDIA Jetson Orin NX Boxen mit einer zentralen GKE-Cloud-Schicht (Postgres, Pub/Sub, ClickHouse, R2, Keycloak) für Ereignisspeicherung, Dashboards, Alarme und Multi-Tenancy kombiniert.

• Weiterentwicklung und Betrieb eines zentralen Backend-Services zur Bereitstellung des Fahrzeugbestands für internationale Mercedes-Benz Online-Shops
• Weiterentwicklung eines Reservierungsservices für Fahrzeuge als Bestandteil des Checkout-Prozesses
• Konzeption und Umsetzung einer hochskalierbaren Ende-zu-Ende-Testarchitektur mit Fokus auf Wartbarkeit, Wiederverwendbarkeit und einer hohen Anzahl automatisierter Testfälle
• Entwicklung einer mehrschichtigen Testinfrastruktur mit konsequenter Trennung von Testlogik und Zugriffsschichten
• Entwicklung einer Initialisierungs- und Caching-Architektur zur erheblichen Beschleunigung lokaler sowie CI/CD-basierter Testausführungen
• Entwicklung einer KI-gestützten Review-Architektur zur automatisierten Bewertung und Qualitätssicherung von Ende-zu-Ende-Tests
• Entwicklung eines Dashboards zur konsolidierten Darstellung eines Fahrzeugkontextes über mehrere Backend-Systeme hinweg inklusive KI-generierter Zusammenfassungen und komprimierter Fallanalysen
• Integration und Weiterentwicklung der Anbindung verschiedener Reservierungssysteme über Apache Kafka und Rest
• Konzeption neuer Microservices sowie Unterstützung bei Architekturentscheidungen
• Risikoanalyse und Konzeption von Microservice-Migrationen
• Technologien: Java, Spring, Spring Boot, Gradle, Maven, Apache Kafka, Rest, OpenAPI, Swagger, Github, Confluence, CI/CD, Microservices, AI, LLMs

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Übernahm die technische Leitung eines 4-köpfigen Teams, das innerhalb von 12 Monaten 3 wichtige Kundenplattformen mit Microservices-Architektur und Lösungen für Skalierbarkeit bereitstellte — 100% der geplanten Hauptfunktionen wurden vor dem Zeitplan und den geplanten Meilensteinen ausgeliefert (Ausgangslage: Frühere Releases verzögerten sich häufig um 1–2 Sprints).
• Führte Evaluierungen von KI-Modellen und Modellausgaben für LLM-/KI-Anbieter-APIs durch: Sicherheit, Vollständigkeit, Befolgung von Anweisungen und Prüfung der inhaltlichen Fundierung vor dem Go-live; reduzierte fehlerhafte Ausgaben in den KI-integrierten Release-Checklisten von wiederkehrenden UAT-Ergebnissen auf nahezu null bei der finalen Freigabe.
• Entwickelte die API-Entwicklung und Performance-Optimierung für Zahlungs-, Börsen- und KI-Dienste voran; strikt geschlossene Fehlerbehandlung und Payload-Validierung reduzierten die Überarbeitung von Integrationen im Vergleich zum ersten KI-Integrationsdurchlauf um ~35%.
• Setzte Softwaretests, Test-Frameworks, Qualitätssicherung von Code und Code-Refactoring mit Gates für die kontinuierliche Integration ein; die Akzeptanz von Pull Requests im ersten Durchlauf verbesserte sich im gesamten Team, und Hotfixes in der Produktion für KI-Adapter gingen nach Einführung der Review-Standards spürbar zurück.
• Verantwortete DevOps-Praktiken: Docker, GitHub Actions, Jenkins-kompatible Pipelines und Versionskontroll-Workflows — reduzierte die Bereitstellungszeit gegenüber der Ausgangslage vor der Automatisierung um ~50% und stabilisierte Releases in 3 Kundenumgebungen.
• Implementierte Verifier-/Oracle-artige Bestanden-Nicht-bestanden-Prüfungen in Container-Sandboxes (an Harbor/Terminal-Bench ausgerichtet); erstellte technische Dokumentation, sodass Fehler in einem Review-Zyklus behoben werden konnten.
• Leitete die funktionsübergreifende Zusammenarbeit mit Produkt- und Kundenstakeholdern; übersetzte KI-Evaluierungswerte und Risikobefunde in verständliche Kurzberichte für nichttechnische Partner und ermöglichte Go-/No-Go-Entscheidungen ohne zusätzliche Engineering-Meetings.
• Setzte agile Methoden für Sprintplanung und Backlog-Verantwortung ein; unterstützte Engineers dabei, dass Entwickler auf mittlerem Niveau bereits zur Hälfte des Projekts KI-Adapter-Module eigenständig verantworteten.

End-to-End-Verantwortung für alle Produkte – Konzeption, Architektur, Entwicklung und Produktivbetrieb als alleiniger Entwickler; daneben Kundengespräche, Angebote und Marketing.

Underwriting Copilot – KI-Assistent für die Industrieversicherung (produktiv im Kundeneinsatz)

• Unterstützt Underwriter bei der Analyse industrieller Versicherungs-Submissions – im Produktivbetrieb bei einem Industrieversicherer.
• Framework-unabhängige RAG-Architektur mit Hybrid Search (BM25 + pgvector) über große, heterogene Dokumentbestände.
• Zweistufige Evaluations- und Observability-Pipeline (Code-Assertions + LLM-as-Judge), die Antwortqualität, Retrieval-Genauigkeit und Citation-Integrität regressionssicher messbar macht.

Kaiki Menu Analyzer – Data-Intelligence-Plattform (produktiv im Kundeneinsatz)

• Erfasst und analysiert automatisiert Speisedaten aus rund 25.000 deutschen Restaurants.
• Skalierbare 7-Container-Architektur (FastAPI, partitioniertes PostgreSQL, Redis/RQ) mit LLM-gestützter Extraktion strukturierter Daten aus PDF, HTML und Bildern.
• Vollständige CI/CD-Pipelines (GitHub Actions), produktives Cloud-Deployment, interaktive Dashboards (Dash).

Kaiki GEO Atlas – GEO-Plattform (produktiv im Kundeneinsatz)

• Misst die Marken-Sichtbarkeit über fünf KI-Engines (ChatGPT, Gemini, Perplexity, Grok, Claude), jede web-search-augmentiert, orchestriert als DAG-Workflow-Pipeline (Dispatcher → Sub-Workflows → Scoring → Report) mit Fail-Isolation.
• 6-Container-Deployment (FastAPI, Celery, Redis, PostgreSQL); LLM-Kostenschätzung, PDF-Audit-Report, regelbasierte Cross-Signal-Insights (kein zusätzlicher LLM-Aufwand).

Data Pipeline & Analytics Platform – Wettbewerbsanalyse im Automotive-Aftermarket

• Automatisierte Daten-Pipeline mit Gap-Analyse-Algorithmen und rollenbasierter Zugriffskontrolle; 230+ Tests.
• Backend mit FastAPI, PostgreSQL, SQLAlchemy.

Produktentwicklung (in aktiver Entwicklung)

BankingGPT – KI-Assistent für das Beschwerdemanagement im Genossenschaftsbanking

• Sicherheitsarchitektur im Kern: kein KI-Entwurf erreicht den Kunden ohne menschliche Freigabe – die Freigabe-Entscheidung liegt in auditierbarem Code, nicht im Sprachmodell (monoton: das Modell darf hochstufen, nie senken).
• Echte agentische Bausteine, jeder mit eigener Grenze: das Modell wählt selbst Werkzeuge über einen MCP-Server (nur-lesend, Allowlist, gedeckelt, fail-safe); heikle Fälle gehen per offenem A2A-Protokoll (JSON-RPC, Agent Card, message/send/tasks/get; Client selbst implementiert) an einen eigenständigen Fach-Agenten (Wertpapier/Recht), der die Prüfpflicht nie senkt (per Test gepinnt).
• Evaluations-getrieben über zehn Analyse-Runden; deckte per unabhängigem Review und Blind-Tests einen Sicherheitsdefekt auf, den neun automatisierte Läufe übersehen hatten.
• Voice-AI-Frontend, live antwortend: gedeckte Fälle werden im Gespräch beantwortet, heikle eskalieren vor der Generierung; Antwortlatenz < 7 s gemessen (lokale GPU-STT/TTS).

Stack & Produktionsnähe: Python, pydantic-ai, FastAPI/Celery, PostgreSQL/pgvector, FastMCP, fasta2a, Docker; mehrmandantenfähig (physische Vektor-Isolation je Mandant), PII verschlüsselt, OWASP-LLM-reviewt, 275 Tests, CI/CD; anbieter-portabel (Ollama / EU-Cloud-Vertex).

After-Sales Assistant – agentischer RAG-/GraphRAG-Assistent auf öffentlichen OEM-Handbüchern (Automotive After-Sales)

• Genuin agentisch auf LangGraph: ReAct-Agent mit vier Werkzeugen und Gesprächsge-dächtnis – das Modell entscheidet selbst, ob es das Handbuch (RAG, Chroma), einen Wissensgraphen (GraphRAG, Neo4j/Cypher – Warnleuchten dekodieren) oder einen Werkstatt-/Buchungsdienst anspricht.
• Human-in-the-Loop vor der irreversiblen Aktion: vor jeder Terminbuchung pausiert der Graph (interrupt) und holt die ausdrückliche Bestätigung des Fahrers – dieselbe Freigabe-vor-Aktion-Disziplin wie in BankingGPT, in einem anderen Framework.
• Eval als CI-Gate: dreiteiliges Scorecard (RAGAS-Grounding + deterministische Tool-Routing-Genauigkeit + DeepEval-Safety: führt die Antwort bei kritischer Warnung zuerst die Warnung an?) blockt die Pipeline; provider-agnostisch (OpenAI/Azure/Anthropic), FastAPI mit Token-Streaming.

Stack: Python, LangChain/LangGraph, Chroma, Neo4j, RAGAS/DeepEval, FastAPI, Docker.

• IT-Beratung, Coaching und Umsetzung mit Schwerpunkt auf KI

• Leite ein funktionsübergreifendes Squad aus Backend-, Frontend- und ML/Data-Engineers und verbinde praktische Mitarbeit (Architektur, Programmierung, Reviews) mit Teamleitung (Mentoring, Backlog-Priorisierung, Abstimmung der Roadmap).
• Entwickelte und lieferte ML-gestützte Such- und Discovery-Funktionen, darunter Learning-to-Rank (LTR), Query Expansion und Vektorsuche, und verbesserte dadurch die Ergebnisrelevanz und das Nutzerengagement.
• Implementierte Personalisierungs- und Empfehlungspipelines und nutzte Verhaltensdaten sowie Segmentierung, um Kundenbindung und Customer Lifetime Value zu erhöhen.
• Etablierte datenbasierte Arbeitsweisen und entwickelte A/B-Test- und Experimentier-Workflows (Odyn, MLflow), um die Auswirkungen von Funktionen auf CTR, NDCG und Conversion zu messen.
• Verantwortete die Architektur und Delivery-Roadmap des Squads und modernisierte Services mit cloudnativen Microservices und ereignisgesteuerten Systemen (AWS, Pulumi, Terraform), um Skalierbarkeit und Zuverlässigkeit zu verbessern.
• Verbesserte Zuverlässigkeit und operative Exzellenz durch die Einführung von Observability (Prometheus, Grafana, NewRelic), Incident Management und Postmortems, wodurch Ausfallzeiten bei kundenorientierten Services reduziert wurden.
• Unterstützte und entwickelte Engineers weiter und förderte durch regelmäßiges Feedback, Coaching und Code Reviews technisches Wachstum, Zusammenarbeit und eine kundenorientierte Denkweise.
• Arbeitete eng mit Product Managern, Researchern und Business-Stakeholdern zusammen, um Kundenerkenntnisse in technische Lösungen zu übersetzen, die Discovery, Engagement und Kundenbindung verbesserten.
• Untersuchte Anwendungsfälle für Generative AI/LLM (GPT-4, LangChain, RAG) und entwickelte Prototypen für intelligente Assistenten und personalisierte Discovery-Workflows, die die Nutzerzufriedenheit erhöhten.
• Erzielte konkrete Ergebnisse: Steigerung des Engagements durch Personalisierung, Beitrag zum Umsatzwachstum und Reduzierung von Incidents durch die Verankerung von Resilienz und Observability.

• Ausgangssituation: Wachsender Bedarf an datenschutzkonformen KI-Lösungen für Mandanten im KRITIS- und Mittelstandsumfeld, die sensible Medieninhalte (Audio, Video, Dokumente) analysieren müssen, ohne Daten an Public-Cloud-LLMs weiterzugeben.

• Aufgabe: Konzeption, Aufbau und sicherer Betrieb einer vollständig self-hosted AI-Infrastruktur inklusive eigenentwickelter Digital-Management-Plattform zur automatisierten Medienanalyse.

• Maßnahme: Architektur und Implementierung einer Multi-Tier-Plattform auf gehärteter Proxmox-Infrastruktur mit Frontend (Nuxt 3, Vue 3, TypeScript, Tailwind 4), Backend (Laravel 13, PHP 8.4, Sanctum), Datenhaltung (PostgreSQL 16, MongoDB 7), Caching/Queuing (Redis 7, Laravel Queue), AI-Worker (Python 3.11, Whisper, DeepFace, Librosa), Scheduling (Laravel Scheduler/Cron) und lokalen LLMs (Gemma, DeepSeek, Qwen, Mistral, LLaMA, Phi) über OpenWebUI mit segmentiertem Netzwerkzugriff, API-Hardening und Audit-Logging nach BSI-Empfehlungen.

• Ergebnis: Vollständig DSGVO-konforme, on-premises betriebene AI-Plattform ohne Datenabfluss an Dritte.

• Aufgabe: Gesamtverantwortung als externer Head of Cyber Security / CISO-as-a-Service für Konzeption, Implementierung und kontinuierliche Verbesserung von ISMS nach ISO 27001, BSI-Grundschutz und NIS2.

• Maßnahme: Aufbau und Steuerung von Cyber Defense Centern (CDC) mit SOC-Operations, Integration von SIEM-Lösungen (Splunk, Graylog), Etablierung eines Risk-Based Vulnerability Managements (Qualys, Nessus, OpenVAS) und Durchführung regelmäßiger Infrastruktur-, Applikations- und physischer Penetrationstests.

• Ergebnis: Audit-Ready ISMS bei mehreren Mandanten und Reduktion kritischer Schwachstellen um 60 % innerhalb von 90 Tagen.

• Aufgabe: Konzeption und Durchführung von NIS2-Assessments und operative Umsetzungsfahrpläne für KRITIS-Betreiber.

• Maßnahme: Entwicklung eines Online-Assessment-Tools zur automatisierten Ermittlung individueller Schwächeprofile, operative Umsetzung von ISMS-Optimierung, Penetrationstests, Awareness-Programmen und GRC-Suite-Implementierung sowie C-Level-Präsentationen.

• Ergebnis: Beschleunigung des Beratungsprozesses um 50 % und erfolgreiche NIS2-Konformitätsvorbereitung mehrerer Mandanten.

• Aufgabe: Incident Commander für Krisenreaktion, Forensik und Business Recovery bei Ransomware-Angriffen und APT-Kampagnen.

• Maßnahme: Koordination mit LKA und BKA, forensische Analysen (OSForensics, Wireshark, Kali Linux), Umsetzung von Disaster-Recovery- und BCM-Strategien, Entwicklung von Reaktionsstrategien bei BTC-Erpressung.

• Ergebnis: 100 % Wiederherstellungsrate innerhalb definierter RTO-Fenster und nachhaltige Post-Incident-Sicherheitsarchitekturen.

• Maßnahme: Planung, Aufbau und Betrieb einer gehärteten Multi-VM-Infrastruktur (Proxmox, 15+ VMs) mit Web- und Mailservern, Graylog, OPNsense-Firewalls, CRM/ERP und LLM-Instanzen, Netzwerksegmentierung, DDoS-Mitigation, automatisiertem Patch-Management und Backup-Strategien.

• Ergebnis: > 99,5 % Verfügbarkeit über 20+ Jahre und null Kompromittierungen.

• Maßnahme: Konzeption koordinierter Phishing-Kampagnen in fünf Härtegraden, abgeleitete E-Learnings und Webinare im PDCA-Zyklus, Aufbau und Leitung von Red- und Blue-Teams.

• Ergebnis: Reduktion der Phishing-Klickrate von 35 % auf unter 5 % innerhalb von drei Kampagnenzyklen.

KI-gestützte Automatisierung der Einkäufe auf einer Druckerei-Website mit Auswahl von Lieferzeiten, Bestelloptionen, Bestellung, Bezahlung und Hochladen der Druckdaten aus der Lumiz-Cloud.

• Modelle für Chatbots, NLP und LLMs (z. B. Llama, Qwen, OpenAI) erforschen und entwickeln
• Chatbots mit RAG und In-Context Learning verbessern
• Supervised Fine-Tuning (PEFT, LoRA), Huggingface oder Unsloth
• Fortgeschrittene Trainingsmethoden: Test-Time Training, (transduktives) Active Learning, Reinforcement Learning
• Serving mit hohem Durchsatz mit vLLM
• Embedding-Modelle anwenden (z. B. SentenceTransformers), Similarity-/Vektorsuche oder Vektor-DB oder Ranking (z. B. LlamaIndex, Faiss, LangChain)
• Synthetische Daten erzeugen und filtern, Clustering
• Halluzinationen erkennen
• Chatbot-Modelle bewerten (Rouge, BLEU, F1-Score, Recall, Precision)
• Visualisierung von Experimenten (matplotlib)