vLLM Experten in Deutschland

• Vollständig On-Premises betriebene LLM-Plattform zur Dokumentenprüfung für einen Compliance-kritischen Bankbereich: agentenbasierte LangGraph-Pipeline mit deterministischer Verifizierung, jedes KI-Urteil strukturiert und an die Quelle gebunden; ~960 automatisierte Tests, kein Datenabfluss
• GPU-Durchsatzoptimierung (quantized serving, speculative decoding, prefix caching): 9.5-fache Beschleunigung der Extraktion, 500+ Fallakten mit mehreren Dokumenten pro Tag auf einer einzelnen A100
• KI-native EDI/EDIFACT-Integrationsplattform (~116k LOC Java 25 / Spring Boot 4, 1,900+ Tests): Von LLM erstellte Partnermappings werden vor dem Go-live maschinell verifiziert (DFDL-Konformität, Feldabdeckungsprüfungen, Testläufe), ~99.5% Byte-Übereinstimmung bei echten Kundendateien – ersetzt wochenlange manuelle Zuordnung pro Partner

• Leitete die ganzheitliche Umsetzung von ML-/KI-Anwendungen für die QuantistryLab-Simulationsplattform – von der Anforderungsdefinition und Lösungsplanung über Entwicklung, Tests und Bereitstellung bis zur Unterstützung im Produktivbetrieb. Dabei koordinierte ich die Zusammenarbeit der Back-End-, DevOps- und ML-Teams.
• Entwarf und implementierte ein System zur Suche nach Verbindungen mit einem LLM mit offenen Gewichten, dem Agenten-Framework Pydantic AI und dem Model Context Protocol (MCP) und stellte es über FastAPI-Endpunkte bereit.
• Stellte den LLM-Service auf Basis von vLLM auf Kubernetes bereit und konfigurierte ihn.
• Entwickelte CI/CD-Pipelines und Helm-Charts, um Bereitstellungen in Staging- und Produktionsumgebungen zu automatisieren.
• Ergänzte das Suchsystem um OpenTelemetry-Spans und -Traces und integrierte es in die Observability-Plattform Honeycomb, um die Latenz einzelner Komponenten und Funktionsfehler zu überwachen.
• Entwickelte einen benutzerdefinierten Evaluierungsdatensatz und setzte Auswertungen für die Relevanz der Suchergebnisse, die Richtigkeit der Antworten, die Genauigkeit von Tool-Aufrufen und den Erfolg der Aufgaben von Anfang bis Ende um.
• Verkürzte die Vorhersagezeit für Infrarotspektren um 83 % (von 60 auf 10 Minuten), indem ich ein quantenmechanisches Modell durch ein vortrainiertes graph-neuronales Netzwerk ersetzte. Ich trainierte das Modell mit PyTorch weiter, entwickelte und containerisierte die Inferenzpipeline mit Docker und integrierte sie in die Plattform.
• Implementierte eine MLflow-Modellregistrierung mit MinIO-gestützter Artefaktspeicherung.
• Beriet Vertriebs- und Wissenschaftsteams zu ML-/KI-Anwendungen für potenzielle Kundenprojekte und brachte technisches Fachwissen in die Entwicklung vorgeschlagener Lösungen und Prototypen ein.

Technologien: AWS, Hetzner, Kubernetes, Helm, Docker, vLLM, Pydantic AI, MCP, Qwen, Llama 3, MLflow, MinIO, GitHub Actions, Python, FastAPI, OpenTelemetry, Honeycomb, PyTorch, Polars, pytest

• Ursachenanalyse komplexer fachlicher, technischer und datenbezogener Fehler in PowerCloud über Prozess-, Buchungs- und Systemgrenzen hinweg.
• Datenbasierte Steuerung von Zahlungsverkehr und Forderungsmanagement; Beitrag zum Abbau historischer Forderungsbestände von über 100 Mio. EUR auf unter 25 Mio. EUR.
• Identifikation von Automatisierungs- und Dunkelverarbeitungspotenzialen an der Schnittstelle zwischen Fachbereich, IT und externen Dienstleistern.

Übertragungsnetzbetreiber – Plattform zur Netzwerkbereitstellung (Teamleitung)

• Entwarf den Saga-Orchestrator in Python, der Netzwerkstrukturen mit Rollback bereitstellt.
• Gliederte IP, Identität und Ressourcenverteilung in Bounded Contexts mit eigenen Datenbanken und typisierten Clients auf.
• Implementierte den Datenzugriff mit DDD-Repositories und Units of Work, ohne SQL im Domänencode.
• Führte Integrationstests mit echten PostgreSQL- und RabbitMQ-Containern sowie API-Fuzzing für jeden Service ein.
• Führte einen Agenten-Workflow ein, bei dem jede Änderung mit einer Spezifikation beginnt und ein Mensch jeden Merge freigibt.
• Rollte die automatische OpenTelemetry-Instrumentierung per GitOps über achtzehn Kubernetes-Cluster aus.
• Leitete die Reaktion auf Vorfälle bei festgefahrener Bereitstellung und hielt jeden Ausfall in einem Post-Mortem fest.

Verwendete Sprachen und Software: Python, FastAPI, Pydantic v2, SQLAlchemy async, PostgreSQL, RabbitMQ, Celery, pytest, testcontainers, schemathesis, Helm, Flux CD, GitLab CI, OpenTelemetry, pi coding agent.

Softwareproduktunternehmen – SaaS für Rechenzentrumssimulation (Backend-Entwicklung)

• Entwickelte als zweitgrößter von mehr als zwanzig Mitwirkenden die asynchrone Simulationspipeline.
• Kennzeichnete jedes Image in den GitHub-Actions-Deploy-Workflows mit Commit-SHA und SemVer.
• Diagnostizierte den RabbitMQ-Speicheralarm, der alle Simulationen zum Stillstand brachte, und korrigierte die Limits im Helm-Chart.
• Stellte die Testsuite auf pytest im Function-Style um und ließ die Testabdeckung in jeder Pipeline ausweisen.

Verwendete Sprachen und Software: Python, FastAPI, SQLAlchemy, Alembic, Celery, RabbitMQ, Redis, PostgreSQL, S3, EKS, Helm, Keycloak, GitHub Actions, pytest, mypy, ruff, SonarQube.

Interne KI-Plattform – Modellbereitstellung und Telemetrie

• Entwickelte den FastAPI-Service, der Open-Weight-Modelle auf GPU-Tiers als OpenAI-kompatible Endpunkte bereitstellt.
• Aktualisierte das EKS-Produktionssystem um zwei Kubernetes-Minor-Versionen und behob zonengebundene Speicherfehler.
• Erfasste jeden Modellaufruf mit Tokenanzahl, Kosten und Latenz über den OpenTelemetry-Operator.

Verwendete Sprachen und Software: Python, FastAPI, vLLM, LangGraph, pydantic-ai, OpenAI- und Anthropic-APIs, EKS, Helm, Flux CD, Terraform, GitLab CI, OpenTelemetry, Grafana.

• Nutzung von OpenCode und AI-gestützter Softwareentwicklung zur Konzeption, Implementierung, Überarbeitung, Prüfung und Dokumentation einer durchgängigen RAW/SDTM/ADaM-Pipeline in R für Dr. Falk Pharma (07/2026), einschließlich metadatenbasierter Transformationen, automatisierter Validierungsregeln und QC, Rückverfolgbarkeit sowie reproduzierbarer klinischer Outputs.

• Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
• Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
• LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
• Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
• Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
• Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
• Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.

• Entwurf durchgängiger KI/ML-Lösungen mit starkem Fokus auf fortschrittliche LLM-Anwendungen, autonome agentische KI-Workflows mit dem MCP-Toolset, Berechnungen von vLM-Embeddings und robuste agentische RAG-Pipelines, um für Kunden aus verschiedenen Branchen einen konkreten Geschäftsnutzen zu schaffen.
• Entwicklung intelligenter agentischer KI-Workflows zur Automatisierung des Abrufs von Wissen und der Schlussfolgerungen für B2B-Kunden, um schneller Geschäftsnutzen zu erzielen.

• Wandelt natürliche Sprache mithilfe von RAG und pgvector in JQL um. Liefert strukturiertes JSON mit einer Abfrage, einer Diagrammspezifikation und einer Antwort in Klartext. Ein zweistufiger Router beantwortet allgemeine Fragen, ohne die JQL-Pipeline überhaupt zu verwenden.
• Austauschbare LLM-Backends: Ollama, vLLM, Groq, Anthropic Claude, AWS Bedrock – zur Laufzeit umschaltbar, ohne Codeänderungen. Selbstheilendes JQL: Bei einem Jira-Validierungsfehler wird der Fehler an das LLM zurückgegeben und bis zu 4-mal erneut versucht. OCI Vault für Geheimnisse. Auf Oracle Cloud A1 bereitgestellt, mit GPU-Inferenz über ein privates Tailscale-Netzwerk. Open Source.

• Berater für Systemarchitektur, KI-Agenten & Integration, Coach für Daten- & Prozesslogik, Graph-RAG-Ansätze, Sicherheit und Datenschutz.
• On-Premise-KI-Lösungen mit hohen Compliance- & Performanceanforderungen.
• Architekturentscheidungen, operativer Aufbau, strategische Priorisierung & Deployment.
• Technologien: LiveKit JS SDK, LiveKit Agents, Web Audio API, JS, AudioWorklet, Loki, vLLM, Zscaler, Docker, Neo4j, MySQL, Python.
• Modelle: GPT-OSS 20B, Whisper large v3 turbo, Qwen3-TTS.

Software-Dienstleister für KI-Lösungen, Automatisierung und Individualsoftware.

Team: von 2 auf 10 Entwickler aufgebaut, 8 direkte Reports, teilweise remote · Portfolio: 6 parallele Projekte (25–250 T€), Skalierung > 1 Mio. €

• Lieferfähigkeit für 6 parallele Kundenprojekte gesichert: Rollenmodell, Kapazitätsplanung (510–660 produktive PT/Jahr), Hiring-Roadmap mit 380–440 T€/Jahr Personalbudget
• SDLC-Framework von null in unter 6 Monaten etabliert: REQ/SPEC-Systematik, V-Modell-Gates, GitHub-Issues als Spezifikation, Definition of Done, Release-Prozess; einheitlicher, auditierbarer Entwicklungsprozess über alle Kundenprojekte
• Großprogramm (3.000–4.000 PT über 18 Monate) zur Entscheidungsreife gebracht: KI-native Branchenplattform Bauwirtschaft; Scoping, Teamprofil für 8–10 Entwickler, Phase-0-Budget 390 T€
• Self-hosted KI-Plattform konzipiert und eingeführt: vLLM, LiteLLM, Qdrant, Supabase; Agentenarchitektur, MCP-Integration, OCR-Pipelines; GPU-Investition mit Break-even-Modell (Monat 15–16) vorbereitet
• Presales end-to-end systematisiert: Lead-Qualifizierung mit Maturity-Scoring, Discovery-Workshops, eigenes Sizing-Modell, Kalkulation mit Rollenkostensätzen, strukturierte Übergabe an die Entwicklung
• Sicherheitsniveau einer Kundenplattform nachweisbar erhöht: Penetrationstest inkl. Re-Verifikation aller Findings

• Modelle für Chatbots, NLP und LLMs (z. B. Llama, Qwen, OpenAI) erforschen und entwickeln
• Chatbots mit RAG und In-Context Learning verbessern
• Supervised Fine-Tuning (PEFT, LoRA), Huggingface oder Unsloth
• Fortgeschrittene Trainingsmethoden: Test-Time Training, (transduktives) Active Learning, Reinforcement Learning
• Serving mit hohem Durchsatz mit vLLM
• Embedding-Modelle anwenden (z. B. SentenceTransformers), Similarity-/Vektorsuche oder Vektor-DB oder Ranking (z. B. LlamaIndex, Faiss, LangChain)
• Synthetische Daten erzeugen und filtern, Clustering
• Halluzinationen erkennen
• Chatbot-Modelle bewerten (Rouge, BLEU, F1-Score, Recall, Precision)
• Visualisierung von Experimenten (matplotlib)

• Ein Multi-Agenten-System entwickelt, das LangChain ZeroShotAgent mit benutzerdefinierten Tools für Live-APIs und die Aufgabenautomatisierung verbindet.
• Ein FastAPI-Backend für das Erstellen, Priorisieren und Zuweisen von Jira-Tickets entwickelt, mit automatischer Klassifizierung des Schweregrads, Duplikaterkennung, SLA-Einrichtung, On-Call-Rotation sowie bidirektionaler Synchronisierung von Status und Kommentaren.
• Slack-Benachrichtigungen und RAG-Wissensabfragen mit FAISS oder pgvector ergänzt, um Lösungsvorschläge zu machen, mit optionaler Eskalation über PagerDuty bei Richtlinienverstößen.
• Agenten mit einem Router und einer Celery- plus Redis-Warteschlange orchestriert, mit Wiederholungsversuchen und Backoff, Ratenbegrenzungen, Idempotenzschlüsseln und Freigaben durch Menschen im Prozess.
• Guardrails und Observability implementiert, einschließlich Prompt-Versionierung, Token- und Kostenbudgets, PII-Schwärzung, Tool-Allowlists, Timeouts, OpenTelemetry-Tracing und Dashboards für Genauigkeit und Latenz. Bereitstellung auf Kubernetes mit Feature Flags und Canary-Rollouts.

• Projektumgebung: Python, Java, Azure AI Studio & OpenAI Studio, Embedding-Modelle, LLM als Richter
• Projektsprache: Deutsch
• Projektrolle(n): Projektmanager
• Projektmanagement zur Verbesserung der Chatbot-Leistung
• Recherche und Bewertung von Ansätzen zur Verbesserung und Messung der Antwortgenauigkeit sowie zur Steigerung des Kontextverständnisses des Chatbots
• Abstimmung von Architekturentscheidungen mit dem technischen Team und den Architekten
• Koordination und Überführung von Forschungsergebnissen in Entwicklungstasks

• Hatte direkte Linienverantwortung für ein Team von 4 Platform Engineers — inklusive Hiring, Performance Reviews und Karriereentwicklung — und habe dabei einen gemeinsamen Rahmen für Engineering-Standards sowie eine Coaching-Kultur aufgebaut, die die Delivery über Kundenprojekte hinweg beschleunigt hat.
• Habe ein Team von Engineers geführt, um ein cloud-natives Voice-AI-System für einen großen Inspektionskunden zu entwerfen. Damit konnten 2.500 Außendienst-Inspektoren ihre Arbeit komplett freihändig per Echtzeit-Transkription und AI Agents dokumentieren — manuelle Dateneingabe über 440.000 Inspektionen pro Monat wurde eliminiert und die Kosten pro Nutzer von 9 $ auf 1 $ gesenkt. Stack: AWS (DynamoDB, S3, Transcribe, CloudFront, API Gateway, Bedrock), ElevenLabs, Claude.
• Habe ein Team von Engineers geführt, um das Management von Kubernetes-Clustern über mehrere Regionen für einen globalen SaaS-Marktführer zu automatisieren. Dadurch sank die Bereitstellungszeit von 3 Wochen auf unter einen Tag und 90 % der Konfigurationsfehler wurden eliminiert. Stack: EKS, Terragrunt, Python, Bash, ArgoCD.
• Accelerator - Cloud-agnostische KI-Plattform: Ich habe eine cloud-agnostische, Kubernetes-native Plattform als Accelerator entworfen und ausgeliefert. Damit wurde das Multi-Tenant-Management von selbst gehosteten LLMs im Enterprise-Maßstab ermöglicht, inklusive gleichzeitiger Bereitstellung mehrerer Basismodelle und dynamischem Serving von LoRA-Adaptoren. Ich habe die Produktionsinfrastruktur mit Open-Source-Tools (ArgoCD, Karpenter, vLLM, SGLang) entworfen, inklusive automatisiertem Modell-Lifecycle-Management, API-Security (Keycloak + LiteLLM) und kostenoptimierter GPU-Bereitstellung.