Pydantic Experten in Deutschland

Multi-Agenten-Plattform zur Dokumentenerstellung

Problem:

Aus einem einzelnen Prompt ein gut recherchiertes, strukturiertes und mit Quellen belegtes Dokument erstellen und dabei die Kontrolle beim Nutzer belassen: Jeder Schritt kann geprüft, korrigiert oder erneut aufgerufen werden, bevor das System fortfährt.

Architektur:

Ein Multi-Agenten-System, das von einer zentralen Steuerung koordiniert wird. Mehr als 20 spezialisierte pydantic-ai-Subagenten (Verstehen, Strukturieren, Planen, Recherchieren, Schreiben, Zusammenstellen, Querverweise prüfen, Glossar, Zitate, Referenztabelle und mehr) geben Ergebnisse anhand eines gemeinsamen, in Postgres gespeicherten Plans (asyncpg) weiter. Eine Runner-Schicht weist jede Aufgabe anhand ihres Namens einem Agenten zu. Mechanische Schritte wie Formatierung, Inhaltsverzeichnis und Abbildungsverzeichnis werden durch deterministischen Code statt durch LLM-Aufrufe erledigt. Der Anbieter (Anthropic oder OpenAI) wird über eine Konfiguration festgelegt, und Antworten werden über Server-Sent Events gestreamt.

Hosting & Infrastruktur:

Ein zustandsloser Container läuft als Scaleway Serverless Container in einem privaten Netzwerk mit verwaltetem PostgreSQL, Objektspeicher für fertige Dokumente und Assets sowie zentraler Protokollübertragung (Loki / Scaleway Cockpit). Bereitstellung mit OpenTofu-Modulen und Deployment über GitLab CI; die Nutzung wird pro API-Schlüssel abgerechnet.

Mein Beitrag und wichtige Entscheidungen:

• Zentrale Entscheidungssteuerung: Ein Zufriedenheitsklassifikator wandelt die Freitext-Rückmeldung des Nutzers in eine Entscheidung um (weiterarbeiten, fortfahren, abbrechen oder eine frühere Aufgabe überarbeiten). Eine Middleware wendet sie auf den Plan an. Der Plan kann zu früheren Aufgaben zurückspringen und die darauffolgenden Schritte erneut ausführen.
• Parallele Recherche und Texterstellung: Die Planung erstellt einen Plan, aus dem ein Recherche-Design-Agent einzelne Rechercheaufgaben und ein Schreib-Design-Agent einzelne Schreibaufgaben erstellt, die jeweils mit der benötigten Recherche verknüpft sind. Jede Aufgabe wird in einem eigenen Agenten mit eigenem Gesprächsverlauf ausgeführt.
• Selbstprüfung und Einbindung des Menschen: Nach jedem Schritt prüft ein Agent für kritisches Denken das Ergebnis. Bevor der Plan fortgesetzt wird, kann der Nutzer eine Kritik annehmen, überarbeiten oder Fragen dazu stellen.
• MCP-Integrationen: Zwei entfernte MCP-Server für die Websuche und die interne Dokumentensuche sind über pydantic-ai angebunden, mit Wiederholungsversuchen und Timeouts für lang laufende Tool-Aufrufe. Klassifikator-Agenten entscheiden für jede Aufgabe, ob eine Websuche nötig ist. Ein kleines Modell fasst rohe Suchergebnisse zu strukturierten Erkenntnissen zusammen, bevor sie die Schreibagenten erreichen.

Nutzungsabrechnung:

Kunden authentifizieren sich mit einem API-Schlüssel, der über einen Schlüsselverwaltungsdienst geprüft wird. Der Verbrauch wird in Credits abgerechnet, berechnet anhand der Token-Nutzung pro Modell zuzüglich eines Aufschlags. Bei ausgeschöpftem Kontingent wird HTTP 429 zurückgegeben.

• Leitete die ganzheitliche Umsetzung von ML-/KI-Anwendungen für die QuantistryLab-Simulationsplattform – von der Anforderungsdefinition und Lösungsplanung über Entwicklung, Tests und Bereitstellung bis zur Unterstützung im Produktivbetrieb. Dabei koordinierte ich die Zusammenarbeit der Back-End-, DevOps- und ML-Teams.
• Entwarf und implementierte ein System zur Suche nach Verbindungen mit einem LLM mit offenen Gewichten, dem Agenten-Framework Pydantic AI und dem Model Context Protocol (MCP) und stellte es über FastAPI-Endpunkte bereit.
• Stellte den LLM-Service auf Basis von vLLM auf Kubernetes bereit und konfigurierte ihn.
• Entwickelte CI/CD-Pipelines und Helm-Charts, um Bereitstellungen in Staging- und Produktionsumgebungen zu automatisieren.
• Ergänzte das Suchsystem um OpenTelemetry-Spans und -Traces und integrierte es in die Observability-Plattform Honeycomb, um die Latenz einzelner Komponenten und Funktionsfehler zu überwachen.
• Entwickelte einen benutzerdefinierten Evaluierungsdatensatz und setzte Auswertungen für die Relevanz der Suchergebnisse, die Richtigkeit der Antworten, die Genauigkeit von Tool-Aufrufen und den Erfolg der Aufgaben von Anfang bis Ende um.
• Verkürzte die Vorhersagezeit für Infrarotspektren um 83 % (von 60 auf 10 Minuten), indem ich ein quantenmechanisches Modell durch ein vortrainiertes graph-neuronales Netzwerk ersetzte. Ich trainierte das Modell mit PyTorch weiter, entwickelte und containerisierte die Inferenzpipeline mit Docker und integrierte sie in die Plattform.
• Implementierte eine MLflow-Modellregistrierung mit MinIO-gestützter Artefaktspeicherung.
• Beriet Vertriebs- und Wissenschaftsteams zu ML-/KI-Anwendungen für potenzielle Kundenprojekte und brachte technisches Fachwissen in die Entwicklung vorgeschlagener Lösungen und Prototypen ein.

Technologien: AWS, Hetzner, Kubernetes, Helm, Docker, vLLM, Pydantic AI, MCP, Qwen, Llama 3, MLflow, MinIO, GitHub Actions, Python, FastAPI, OpenTelemetry, Honeycomb, PyTorch, Polars, pytest

• Konzeption und Entwicklung einer Multi-Tenant-SaaS-Plattform, mit der Unternehmen ihre eigenen Wissensdatenbanken aufbauen und mit individuell gebrandeten KI-Assistenten chatten können (White-Label-Ansatz mit dynamischem Branding pro Organisation).
• Implementierung einer skalierbaren RAG-Architektur mit einer GPT-4o-Tool-Use-Loop, hybrider semantischer Suche und strikter Mandantentrennung auf Datenbank- und Suchindex-Ebene.
• Aufbau persistenter, projektähnlicher Chat-Sessions inklusive Streaming-API (SSE), mehrsprachiger Unterstützung sowie Sprach-Ein- und Ausgabe (STT/TTS).
• Bereitstellung der Cloud-Infrastruktur als Infrastructure-as-Code, vollständig automatisierte CI/CD-Pipelines pro Kunde und ein Onboarding-Prozess für neue Mandanten.

Verwendete Technologien: Python, FastAPI, Pydantic (v2 noted), Next.js, React, TypeScript, Tailwind CSS, OpenAI / LLMs (GPT-4o), Azure AI Search, Cosmos DB, Azure Blob Storage, Azure Cognitive Services Speech, Azure App Service, Azure Container Registry, Retrieval-Augmented Generation (RAG), Server-Sent Events (SSE), Docker, Terraform, GitHub Actions, REST, OpenID Connect (OIDC), Multi-Tenancy

Konzeption und Entwicklung einer Azure-basierten KI- und Datenplattform, die verteilte Projektdokumente in durchsuchbares, strukturiertes Wissen für einen Enterprise-KI-Assistenten überführt. Kombination aus inkrementeller Dokumentverarbeitung, hybrider Keyword-/Vektorsuche, Wissensgraph-Extraktion und konversationeller KI für Microsoft Teams und Microsoft 365 Copilot. Implementierung von Python-Pipelines zur Verarbeitung von PDF-, Word-, Outlook- und Textdateien; Lifecycle-Management für Azure Cosmos DB; Azure AI Search; Azure AI Foundry und Azure OpenAI; identitätsbewusste Suche mit Microsoft Entra ID; Projektberechtigungen; eines TypeScript-Agenten mit Microsoft Agents SDK; Pulumi-Infrastruktur; robustem Scheduling sowie Werkzeugen für Wiederholungen und Diagnosen. Technologie-Stack: Python, TypeScript, FastAPI, Pydantic, Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure Cosmos DB, Blob/Table Storage, Container Apps/Jobs, Service Bus, Key Vault, Entra ID, Docker, Pulumi, pytest, Microsoft Teams und Microsoft 365 Copilot.

• Feinabstimmung und Evaluierung alternativer Backbone-Architekturen für den AFFGAN-Handschriftsstil-Encoder, um schriftstellerspezifische Merkmale besser zu erfassen; Benchmarking gegenüber der ursprünglichen Baseline-Architektur und Ersetzung der veralteten VGG19-Architektur durch einen benutzerdefinierten Transformer-basierten Encoder.
• Erweiterung des Systems über die Synthese auf Wortebene hinaus zur zeilenweisen Handschriftgenerierung durch Integration und Anpassung einer bestehenden Zeilengenerierungsarchitektur zur Unterstützung vollständiger Sätze.
• Bereitstellung der Handschriftgenerierungspipeline als Webanwendung, mit der Nutzer einen Schreibstil auswählen, eigenen Text eingeben und sofort ein entsprechendes Handschriftbild erzeugen können.
• Integration von TrOCR in ein Teacher-Student-Destillierungsframework zur Bewertung und Verbesserung der Lesbarkeit generierter Handschrift; Verbesserung der OCR-Genauigkeit um 20% gegenüber der Baseline.
• Steigerung der Auswahlraten in Nutzerstudien um 40%, was eine deutliche Verbesserung der wahrgenommenen Qualität und des Realismus der generierten Handschrift gegenüber dem Baseline-Modell zeigt.

Technologien: PyTorch, Python, GANs, CNN, ViT, TrOCR, Streamlit, CUDA.

Übertragungsnetzbetreiber – Plattform zur Netzwerkbereitstellung (Teamleitung)

• Entwarf den Saga-Orchestrator in Python, der Netzwerkstrukturen mit Rollback bereitstellt.
• Gliederte IP, Identität und Ressourcenverteilung in Bounded Contexts mit eigenen Datenbanken und typisierten Clients auf.
• Implementierte den Datenzugriff mit DDD-Repositories und Units of Work, ohne SQL im Domänencode.
• Führte Integrationstests mit echten PostgreSQL- und RabbitMQ-Containern sowie API-Fuzzing für jeden Service ein.
• Führte einen Agenten-Workflow ein, bei dem jede Änderung mit einer Spezifikation beginnt und ein Mensch jeden Merge freigibt.
• Rollte die automatische OpenTelemetry-Instrumentierung per GitOps über achtzehn Kubernetes-Cluster aus.
• Leitete die Reaktion auf Vorfälle bei festgefahrener Bereitstellung und hielt jeden Ausfall in einem Post-Mortem fest.

Verwendete Sprachen und Software: Python, FastAPI, Pydantic v2, SQLAlchemy async, PostgreSQL, RabbitMQ, Celery, pytest, testcontainers, schemathesis, Helm, Flux CD, GitLab CI, OpenTelemetry, pi coding agent.

Softwareproduktunternehmen – SaaS für Rechenzentrumssimulation (Backend-Entwicklung)

• Entwickelte als zweitgrößter von mehr als zwanzig Mitwirkenden die asynchrone Simulationspipeline.
• Kennzeichnete jedes Image in den GitHub-Actions-Deploy-Workflows mit Commit-SHA und SemVer.
• Diagnostizierte den RabbitMQ-Speicheralarm, der alle Simulationen zum Stillstand brachte, und korrigierte die Limits im Helm-Chart.
• Stellte die Testsuite auf pytest im Function-Style um und ließ die Testabdeckung in jeder Pipeline ausweisen.

Verwendete Sprachen und Software: Python, FastAPI, SQLAlchemy, Alembic, Celery, RabbitMQ, Redis, PostgreSQL, S3, EKS, Helm, Keycloak, GitHub Actions, pytest, mypy, ruff, SonarQube.

Interne KI-Plattform – Modellbereitstellung und Telemetrie

• Entwickelte den FastAPI-Service, der Open-Weight-Modelle auf GPU-Tiers als OpenAI-kompatible Endpunkte bereitstellt.
• Aktualisierte das EKS-Produktionssystem um zwei Kubernetes-Minor-Versionen und behob zonengebundene Speicherfehler.
• Erfasste jeden Modellaufruf mit Tokenanzahl, Kosten und Latenz über den OpenTelemetry-Operator.

Verwendete Sprachen und Software: Python, FastAPI, vLLM, LangGraph, pydantic-ai, OpenAI- und Anthropic-APIs, EKS, Helm, Flux CD, Terraform, GitLab CI, OpenTelemetry, Grafana.

Entwickelte Python-basierte KI-Microservices und Integrationen für eine AEC/VR-SaaS-App auf Unity-Basis, mit Fokus auf LLM-/VLM-Funktionen, retrieval-gestützte Systeme, RESTful APIs, containerisierte Bereitstellung und einen Automatisierungs-Microservice für die CAD-zu-Unity-Pipeline.

• Entwickelte einen eigenen Hybrid-A*-Algorithmus in C#, um Hospitalszenarien zu simulieren und frühe Designkonflikte anhand von Kollisions- und Raumdaten zu erkennen sowie strukturierte Berichte zu erzeugen.
• Löste und automatisierte das zeitaufwändige Problem, CAD-Dateien in nutzbare Unity-Umgebungen zu überführen, mit einer eigens entwickelten Echtzeit-Pipeline und einer ZeroMQ-basierten Kommunikationsebene, um Lasten auf mehrere Prozesse zu verteilen und Echtzeitfähigkeit zu erreichen.
• Entwickelte eine Docker-basierte FastAPI-Pipeline für die CAD-zu-Unity-Automatisierung, die bildbasierte Objekterkennung, Image Embeddings und vorab berechnete Metadaten kombiniert, um CAD-Objekte automatisch Unity-Verhaltensskripten zuzuordnen, Eigenschaften zu setzen und wiederholte KI-Inferenzaufrufe zu reduzieren.
• Erstellte Dokumentation und Beispiele, um technischen Nutzern zu helfen, die KI-Automatisierungspipeline zu verstehen, zu konfigurieren und zu erweitern.

Konversationeller KI-Assistent für Fragen zu Cloud-Infrastruktur und Sicherheit

• FastAPI-Backend mit Multi-Turn-Conversation-Handler, Token-Budgeting und Kontextfenster-Management entworfen.
• Amazon Bedrock (Claude 3 Sonnet/Haiku) integriert; RAG-Pipeline mit MongoDB-Chatverlauf und semantischer Suche aufgebaut.
• Factory Pattern für modulares Wechseln zwischen LLM-Anbietern implementiert; der Aufwand für das Onboarding neuer Modelle um 60% reduziert.
• Die LLM-Inferenzkosten um 35% gesenkt durch Modell-Tiering (Haiku vs. Sonnet) und Konsolidierung von Prompts/Entitäten.

Tech: Python, FastAPI, Amazon Bedrock, MongoDB, Streamlit, Pydantic.

• ▶ Echtzeit-Sprachassistenten entwickelt (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter einschließlich faster-whisper und Azure Speech getestet und bewertet. Latenz von unter 3 Sekunden erreicht, Groq API (Llama 3) mit Multi-Turn-Speicher eingesetzt – einschließlich direkter Behandlung von Sonderfällen bei Diktaten sowie der Erkennung von Namen und Zugangscodes.

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• CNN- und RNN-Architekturen mit Transfer Learning für reale Klassifikationsaufgaben entwickelt und feinabgestimmt — zentrale Deep-Learning-Fähigkeiten, die auf die multimodale LLM- und GenAI-Fahrzeugfunktionsentwicklung bei BMW übertragbar sind.
• Dropout, Batch Normalization und Early Stopping in verschiedenen Deep-Learning-Experimenten implementiert; streng mit Precision, Recall, F1-Score und Confusion Matrices bewertet für Zuverlässigkeit auf Produktionsniveau.
• Ein KI-gestütztes Anwesenheitsverwaltungssystem mit LBPH-Gesichtserkennung entwickelt, über eine Flask-Weboberfläche bereitgestellt und mit SMS-Benachrichtigungen in Echtzeit ergänzt — ein Beispiel für eine vollständige AI-Produktlieferung für echte Nutzer.
• In funktionsübergreifenden Teams zusammengearbeitet, um skalierbare, dokumentierte ML-Pipelines für Reproduzierbarkeit zu liefern — passend zu BMWs interdisziplinärem Team- und Forschungsumfeld.
• AI-Tools direkt in den Entwicklungsworkflow integriert, vom Design bis zum Testen, und dabei eine hohe Geschwindigkeit ohne Abstriche bei der Korrektheit gehalten.

• Unterrichtete Python, Pandas, Datenanalyse, Visualisierung und Power BI für mehr als 250 Studierende.
• Begleitete praktische Projekte von der Datenaufbereitung und explorativen Analyse bis zur Visualisierung und Dashboard-Erstellung.
• Erklärte komplexe analytische Konzepte verständlich für Zielgruppen mit unterschiedlichen technischen Kenntnissen.

• Entwickelte eine Python-Pipeline, die Web-Inhalte aus dem Lektionar in strukturierte tägliche JSON-Daten umwandelt und dabei liturgische Kalenderregeln für eine genaue Abdeckung von Wochentagen und Sonntagen anwendet.
• Stellte eine reine FastAPI-REST-API mit gemeinsamen Pydantic-Modellen bereit und lieferte einen Kirundi-first Web-Client für Browser und Mobile.
• Verantwortete die Datenebene und die Backend-Architektur, arbeitete eng an Systemarchitektur und Schnittstellen mit und automatisierte Aktualisierungen mit GitHub Actions; außerdem validierte ich das ETL mit pytest.
• Impact: Schuf eine verlässliche, API-gestützte Single Source of Truth für tägliche Bibellesungen auf Kirundi und ermöglichte so einen konsistenten Zugriff auf zuvor unstrukturierte Inhalte.

End-to-End-Verantwortung für alle Produkte – Konzeption, Architektur, Entwicklung und Produktivbetrieb als alleiniger Entwickler; daneben Kundengespräche, Angebote und Marketing.

Underwriting Copilot – KI-Assistent für die Industrieversicherung (produktiv im Kundeneinsatz)

• Unterstützt Underwriter bei der Analyse industrieller Versicherungs-Submissions – im Produktivbetrieb bei einem Industrieversicherer.
• Framework-unabhängige RAG-Architektur mit Hybrid Search (BM25 + pgvector) über große, heterogene Dokumentbestände.
• Zweistufige Evaluations- und Observability-Pipeline (Code-Assertions + LLM-as-Judge), die Antwortqualität, Retrieval-Genauigkeit und Citation-Integrität regressionssicher messbar macht.

Kaiki Menu Analyzer – Data-Intelligence-Plattform (produktiv im Kundeneinsatz)

• Erfasst und analysiert automatisiert Speisedaten aus rund 25.000 deutschen Restaurants.
• Skalierbare 7-Container-Architektur (FastAPI, partitioniertes PostgreSQL, Redis/RQ) mit LLM-gestützter Extraktion strukturierter Daten aus PDF, HTML und Bildern.
• Vollständige CI/CD-Pipelines (GitHub Actions), produktives Cloud-Deployment, interaktive Dashboards (Dash).

Kaiki GEO Atlas – GEO-Plattform (produktiv im Kundeneinsatz)

• Misst die Marken-Sichtbarkeit über fünf KI-Engines (ChatGPT, Gemini, Perplexity, Grok, Claude), jede web-search-augmentiert, orchestriert als DAG-Workflow-Pipeline (Dispatcher → Sub-Workflows → Scoring → Report) mit Fail-Isolation.
• 6-Container-Deployment (FastAPI, Celery, Redis, PostgreSQL); LLM-Kostenschätzung, PDF-Audit-Report, regelbasierte Cross-Signal-Insights (kein zusätzlicher LLM-Aufwand).

Data Pipeline & Analytics Platform – Wettbewerbsanalyse im Automotive-Aftermarket

• Automatisierte Daten-Pipeline mit Gap-Analyse-Algorithmen und rollenbasierter Zugriffskontrolle; 230+ Tests.
• Backend mit FastAPI, PostgreSQL, SQLAlchemy.

Produktentwicklung (in aktiver Entwicklung)

BankingGPT – KI-Assistent für das Beschwerdemanagement im Genossenschaftsbanking

• Sicherheitsarchitektur im Kern: kein KI-Entwurf erreicht den Kunden ohne menschliche Freigabe – die Freigabe-Entscheidung liegt in auditierbarem Code, nicht im Sprachmodell (monoton: das Modell darf hochstufen, nie senken).
• Echte agentische Bausteine, jeder mit eigener Grenze: das Modell wählt selbst Werkzeuge über einen MCP-Server (nur-lesend, Allowlist, gedeckelt, fail-safe); heikle Fälle gehen per offenem A2A-Protokoll (JSON-RPC, Agent Card, message/send/tasks/get; Client selbst implementiert) an einen eigenständigen Fach-Agenten (Wertpapier/Recht), der die Prüfpflicht nie senkt (per Test gepinnt).
• Evaluations-getrieben über zehn Analyse-Runden; deckte per unabhängigem Review und Blind-Tests einen Sicherheitsdefekt auf, den neun automatisierte Läufe übersehen hatten.
• Voice-AI-Frontend, live antwortend: gedeckte Fälle werden im Gespräch beantwortet, heikle eskalieren vor der Generierung; Antwortlatenz < 7 s gemessen (lokale GPU-STT/TTS).

Stack & Produktionsnähe: Python, pydantic-ai, FastAPI/Celery, PostgreSQL/pgvector, FastMCP, fasta2a, Docker; mehrmandantenfähig (physische Vektor-Isolation je Mandant), PII verschlüsselt, OWASP-LLM-reviewt, 275 Tests, CI/CD; anbieter-portabel (Ollama / EU-Cloud-Vertex).

After-Sales Assistant – agentischer RAG-/GraphRAG-Assistent auf öffentlichen OEM-Handbüchern (Automotive After-Sales)

• Genuin agentisch auf LangGraph: ReAct-Agent mit vier Werkzeugen und Gesprächsge-dächtnis – das Modell entscheidet selbst, ob es das Handbuch (RAG, Chroma), einen Wissensgraphen (GraphRAG, Neo4j/Cypher – Warnleuchten dekodieren) oder einen Werkstatt-/Buchungsdienst anspricht.
• Human-in-the-Loop vor der irreversiblen Aktion: vor jeder Terminbuchung pausiert der Graph (interrupt) und holt die ausdrückliche Bestätigung des Fahrers – dieselbe Freigabe-vor-Aktion-Disziplin wie in BankingGPT, in einem anderen Framework.
• Eval als CI-Gate: dreiteiliges Scorecard (RAGAS-Grounding + deterministische Tool-Routing-Genauigkeit + DeepEval-Safety: führt die Antwort bei kritischer Warnung zuerst die Warnung an?) blockt die Pipeline; provider-agnostisch (OpenAI/Azure/Anthropic), FastAPI mit Token-Streaming.

Stack: Python, LangChain/LangGraph, Chroma, Neo4j, RAGAS/DeepEval, FastAPI, Docker.