Rate Limiting Experten in Deutschland

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Übernahm die technische Leitung eines 4-köpfigen Teams, das innerhalb von 12 Monaten 3 wichtige Kundenplattformen mit Microservices-Architektur und Lösungen für Skalierbarkeit bereitstellte — 100% der geplanten Hauptfunktionen wurden vor dem Zeitplan und den geplanten Meilensteinen ausgeliefert (Ausgangslage: Frühere Releases verzögerten sich häufig um 1–2 Sprints).
• Führte Evaluierungen von KI-Modellen und Modellausgaben für LLM-/KI-Anbieter-APIs durch: Sicherheit, Vollständigkeit, Befolgung von Anweisungen und Prüfung der inhaltlichen Fundierung vor dem Go-live; reduzierte fehlerhafte Ausgaben in den KI-integrierten Release-Checklisten von wiederkehrenden UAT-Ergebnissen auf nahezu null bei der finalen Freigabe.
• Entwickelte die API-Entwicklung und Performance-Optimierung für Zahlungs-, Börsen- und KI-Dienste voran; strikt geschlossene Fehlerbehandlung und Payload-Validierung reduzierten die Überarbeitung von Integrationen im Vergleich zum ersten KI-Integrationsdurchlauf um ~35%.
• Setzte Softwaretests, Test-Frameworks, Qualitätssicherung von Code und Code-Refactoring mit Gates für die kontinuierliche Integration ein; die Akzeptanz von Pull Requests im ersten Durchlauf verbesserte sich im gesamten Team, und Hotfixes in der Produktion für KI-Adapter gingen nach Einführung der Review-Standards spürbar zurück.
• Verantwortete DevOps-Praktiken: Docker, GitHub Actions, Jenkins-kompatible Pipelines und Versionskontroll-Workflows — reduzierte die Bereitstellungszeit gegenüber der Ausgangslage vor der Automatisierung um ~50% und stabilisierte Releases in 3 Kundenumgebungen.
• Implementierte Verifier-/Oracle-artige Bestanden-Nicht-bestanden-Prüfungen in Container-Sandboxes (an Harbor/Terminal-Bench ausgerichtet); erstellte technische Dokumentation, sodass Fehler in einem Review-Zyklus behoben werden konnten.
• Leitete die funktionsübergreifende Zusammenarbeit mit Produkt- und Kundenstakeholdern; übersetzte KI-Evaluierungswerte und Risikobefunde in verständliche Kurzberichte für nichttechnische Partner und ermöglichte Go-/No-Go-Entscheidungen ohne zusätzliche Engineering-Meetings.
• Setzte agile Methoden für Sprintplanung und Backlog-Verantwortung ein; unterstützte Engineers dabei, dass Entwickler auf mittlerem Niveau bereits zur Hälfte des Projekts KI-Adapter-Module eigenständig verantworteten.

• ▶ Einen Echtzeit-Sprachassistenten gebaut (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter wie faster-whisper und Azure Speech gebenchmarkt und bewertet. Sub-3s-Latenz erreicht, Groq API (Llama 3) mit Multi-Turn-Memory genutzt - mit direkter Behandlung von Edge Cases bei Diktat, Namen und Passcode-Erkennung.

• Eine neue Domain-Driven-Design-Architektur für ein Kernsystem entworfen: eine zentrale Komponente reverse-engineered, die Data-Access-Schicht refaktoriert, um Datenbank-Round-Trips zu minimieren (für bessere Skalierbarkeit), und die Verarbeitung auf async migriert.
• Die Plattform in unabhängige .NET-Core-Microservices zerlegt (Database-per-Service) mit RabbitMQ Pub/Sub unter Einsatz des Outbox Pattern + Saga Choreography, hinter einem Ocelot API Gateway (JWT, Rate Limiting, CORS, Health Checks).
• Umsetzung mit .NET Core / Angular / SQL Server / EF Core sowie Docker und Azure DevOps CI/CD; Health Checks und CORS implementiert; technische Designs für Stories im agilen Scrum erstellt.
• Alleiniger ADR-Verantwortlicher; 3 Engineers betreut und Architekturentscheidungen direkt dem Director of Corporate IT präsentiert.

• Technische Programmverantwortung für die IPv6-Migration bei der DRV RP und DRV BW, mit Fokus auf Migrationsplanung, Umsetzungsstruktur und bereichsübergreifende technische Koordination.
• Entwurf und Implementierung eines operativen Steuerungsmodells mit Dashboard, Aktionsboard, KPI-Portfolio, Risikoregister und Entscheidungsindex, um technische Themen in strukturierte Lieferartefakte umzusetzen.
• Koordination der technischen Basis für Architektur und Rollout in den Bereichen IPv6-Adressierung, Segmentierung, Dual-Stack-Zielgestaltung, Test-Lab-Planung und teamübergreifende Abhängigkeiten.
• Unterstützung von sicherheits- und compliancebezogenen Anforderungen im Kontext von BSI, NIS2 und kritischer Infrastruktur und deren Übersetzung in nachvollziehbare Nachweise, Risiken und Management-Reporting.
• Erfolg: Aufbau eines wiederverwendbaren Intake-to-Governance-Workflows zur systematischen Erfassung technischer Maßnahmen, Risiken, offener Punkte und Nachweisanforderungen.
• Erfolg: Schaffung einer operativen Basis für die Programmdurchführung mit messbaren KPIs, klarer Verantwortlichkeit und transparenter Entscheidungsunterstützung.

• Vortrag zur Einführung in generische K.I. und Large Language Models
• Erläuterung rechtlicher Rahmenbedingungen (EU AI Act, US CLOUD Act, DSGVO)
• Systematische Betrachtung von KI-Tools entlang des SDLC und Holistische Systeme
• Vergleich On-Prem LLMs vs. cloudbasiert sowie Change-Management und Betriebsrat
• Moderation der Diskussion und Ableitung nächster Schritte für die Einführung von KI Entwicklungstools

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer)
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcenbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint Deployment
• Integration von MLflow für Experiment Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung im Azure Model Registry
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs mit CUDA (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung
• Einrichtung von Security (OAuth2) und Rate Limiting über APIM
• Automatisierung der Infrastruktur-Provisionierung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports
• Analyse und Architektur einer Softwarelösung, um effizient Massendaten (>3000 Nachrichten/Sek.) zu verarbeiten (market data store)
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung, Forwarding von Nachrichten an Read-Model Queues und Aufbau von Read Models für UI-Anzeige in MongoDB
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB
• Migration von MongoDB ClickHouse für Masseningests und automatische Deduplizierung mit ReplicatedMergeTree Engine in ClickHouse
• Aufbau eines Python Apache Arrow Flight Service zur Abfrage der ClickHouse-DB in Millisekunden für komplexe Abfragen (gRPC-Protokoll / ClickHouse Column-Based Queries)
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege
• Agentic Coding mit remote und local LLM (Claude, Ollama Qwen, OpenLLM) und MCP-Servern
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn)

• Entwicklung eines Proof of Concept für verteiltes Tracing mit OpenTelemetry innerhalb einer Microservices-Architektur, wodurch die Systembeobachtbarkeit verbessert und die mittlere Fehlerbehebungszeit reduziert wurde.
• Aufbau und Wartung von Backend-Services mit Java und Spring Boot, um hohe Zuverlässigkeit und Leistung in Zahlungsabläufen sicherzustellen.
• Implementierung umfassender automatisierter Tests mit JUnit und Mockito, Erreichung einer Testabdeckung von 95 %, um Codequalität und Wartbarkeit zu gewährleisten.
• Einblick in Zahlungsabwicklungsprozesse gewonnen, End-to-End-Systemzuverlässigkeit validiert und Domänenwissen in Finanzprozessen aufgebaut.
• Eingesetzte Technologien: Java, Spring Boot, Microservices, REST API, Kafka, Grafana, Datadog, Docker, MongoDB

• Entwicklung eines Multi-Agenten-Systems, das LangChain ZeroShotAgent mit maßgeschneiderten Tools für Live-APIs und Aufgabenautomatisierung verbindet.
• Aufbau eines FastAPI-Backends für die Erstellung, Triage und Zuweisung von Jira-Tickets, automatische Einstufung der Priorität, Duplikaterkennung, SLA-Konfiguration, Rufbereitschaftsplanung und bidirektionale Synchronisierung von Status und Kommentaren.
• Hinzufügen von Slack-Benachrichtigungen und RAG-Wissensabfrage mit FAISS oder pgvector zur Fehlerbehebung, optional PagerDuty-Eskalation bei Richtlinienverstößen.
• Orchestrierung der Agenten mit einem Router und einer Celery-Redis-Warteschlange, Wiederholungsversuche mit Backoff, Ratenbegrenzungen, Idempotenz-Schlüsseln und menschlichen Freigaben.
• Implementierung von Schutzmaßnahmen und Observability, Prompt-Versionierung, Token- und Kostenbudgets, PII-Redaktion, Tool-Nutzungs-Whitelists, Timeouts, OpenTelemetry-Tracing, Dashboards für Genauigkeit und Latenz sowie Deployment auf Kubernetes mit Feature Flags und Canary-Rollouts.

• Fortgeschrittenes, praxisorientiertes Cybersecurity-Training mit Schwerpunkt auf offensiven und defensiven Maßnahmen.
• Planung und Durchführung von Multi-Vektor-Penetrationstests, einschließlich Aufklärung, Privilegienausweitung und lateraler Bewegungen in hybriden Netzwerken.
• Implementierung von SOC-Automatisierungspipelines für Incident Response mit Python, Bash und SIEM-Integration.
• Durchführung digitaler Forensik und Threat-Intelligence-Operationen (Malware-Analyse, PCAP-Korrelation, IDS/IPS-Regelentwicklung).
• Spezialisierung auf adaptive Adversary Emulation, Blue-Team-Gegenmaßnahmen und Detection-Strategien basierend auf MITRE ATT&CK.