Azure OpenAI Service Experten in Deutschland

Stabilisierung einer Azure-/.NET-Landschaft im laufenden Betrieb.

• Architektur, DevOps und Betriebsfähigkeit; technische Entscheidungen unter Zeitdruck
• Azure DevOps, Monitoring, ETL/ELT, Cloud Security, FinOps und Data-Mesh-nahe Themen

Technologien: Azure DevOps, .NET, CI/CD, Monitoring, FinOps

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

Methodik: Agiles Projektmanagement

Ziel: Digitalisierung und Umsetzung der Anforderungen der CCD2 innerhalb der Consumer-Finance-Systeme.

Analyse, Identifikation und Bewertung von Fachanforderungen sowie deren Überführung in technische Umsetzungsanforderungen. Koordinierung und Statusreporting der unterschiedlichen Anforderungen. Dokumentation und Prozessmanagement anhand von UML und BPMN. Funktionsübergreifendes Stakeholder-Management, UAT-Tests, Datenmanagement, API-Architekturmanagement.

Tools: Jira, Confluence, Visual Code, Sql Developer, Enterprise Architect, MsOffice, Bruno, ALM, Camunda, Figma

• ▶ Echtzeit-Sprachassistenten entwickelt (STT → LLM → TTS-Pipeline), mehrere STT-Anbieter einschließlich faster-whisper und Azure Speech getestet und bewertet. Latenz von unter 3 Sekunden erreicht, Groq API (Llama 3) mit Multi-Turn-Speicher eingesetzt – einschließlich direkter Behandlung von Sonderfällen bei Diktaten sowie der Erkennung von Namen und Zugangscodes.

• Strategische Beratung zur Einführung von KI und Innovation für Unternehmen in hochwertigen Branchen wie Mode, Beauty, Retail und Hospitality.
• Entwicklung strategischer Roadmaps und Entscheidungsgrundlagen für die KI-Einführung in produktbezogenen und kreativen Bereichen.
• Unterstützung beim internen Storytelling, um Akzeptanz bei Teams und Führungskräften zu schaffen.
• Strukturierte Bewertung potenzieller KI-Use-Cases anhand von Reifegrad, Wirkung und technischer Machbarkeit.
• Vereinfachung komplexer KI-Konzepte, LLM-Strukturen und agentischer Workflows für Entscheidungsträger.
• Anwendung eines klaren Bewertungsmodells zur schnellen Wertrealisierung (Build–Buy–Vibe-Entscheidungsrahmen).
• Identifikation typischer Fallstricke bei der KI-Einführung und Ableitung nachhaltiger Einführungsansätze.
• Entwicklung kuratierter Trendradare und Positionierung von KI in hochwertigen Marken und regulierten Umgebungen.

• Eigenverantwortliche Begleitung der POS-Ausschreibung in der Warenhausgastronomie.

• Strukturierte Anforderungserhebung (fachlich und technisch).

• Erstellung einer managementtauglichen Leistungsbeschreibung als Entscheidungsgrundlage für Geschäftsführung und IT.

• Marktübersicht relevanter POS-Anbieter.

• Enge Abstimmung mit Galeria IT- und Fachabteilung.

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Gesamtverantwortung für den Projektlebenszyklus von der Umfangsdefinition bis zum Abschluss
• Enge Zusammenarbeit mit Plattform-Teams, IT-Führungskräften und externen Dienstleistern
• Anwendung von SAFe-Prinzipien und strukturierte Sprint-Arbeit
• Erstellung eines Migrationsfahrplans mit klaren Meilensteinen
• Überwachung des Lifecycles: Onboarding, Repository-Migration, Replikation von Berechtigungen und Systemtests
• Visualisierung der Architektur mit PlantUML und Gliffy sowie Dokumentation in Confluence
• Regelmäßige Statusberichte und Durchführung von Wissenstransfer-Sessions

• Aufbau eines KI-Systems für Trend-Scouting zur Automatisierung von Technologie-Intelligence in der Leistungselektronik und bei Halbleitern, kombiniert mit Azure OpenAI und LangChain, Scrapy-basiertem Web-Crawling für eine strukturierte, störungsfreie Datenerfassung sowie automatischer PDF-Berichterstellung für den internen F&E-Einsatz. Entwicklung einer FastAPI-basierten Webanwendung (Uvicorn) zur Validierung von LLM-Ausgaben, zum Testen von Prompt-Strategien und für eine interaktive Systembewertung.
• Entwicklung eines Echtzeit-Debuggers für STM32-Binärtelemetrie mit PyQt-basierter GUI, inklusive header-basierter Framesynchronisation, Anomalieerkennung, template-gesteuerter Payload-Dekodierung, zeitsynchronem Buffering und Live-Signalvisualisierung.
• Entwicklung eines KI-gestützten Designers für Leistungsdrosseln mit Surrogate-Regression-Modellen für eine genaue elektromagnetische und thermische Vorhersage. Integration einer Multi-Objective-NSGA-II-Optimierung zur Generierung effizienter, fertigungsgerechter Designs.

• Dozent für den GenAI-Track des Master School Institute of Technology
• Entwicklung einer Full-Stack-KI-Anwendung (React + Python/FastAPI) für den automatisierten Lieferanten-Produktimport mit intelligenter Spalten- und Kategorienklassifizierung (4-Layer, hierarchisch) inkl. Human-in-the-Loop-Validierung

End-to-End-Verantwortung für alle Produkte – Konzeption, Architektur, Entwicklung und Produktivbetrieb als alleiniger Entwickler; daneben Kundengespräche, Angebote und Marketing.

Underwriting Copilot – KI-Assistent für die Industrieversicherung (produktiv im Kundeneinsatz)

• Unterstützt Underwriter bei der Analyse industrieller Versicherungs-Submissions – im Produktivbetrieb bei einem Industrieversicherer.
• Framework-unabhängige RAG-Architektur mit Hybrid Search (BM25 + pgvector) über große, heterogene Dokumentbestände.
• Zweistufige Evaluations- und Observability-Pipeline (Code-Assertions + LLM-as-Judge), die Antwortqualität, Retrieval-Genauigkeit und Citation-Integrität regressionssicher messbar macht.

Kaiki Menu Analyzer – Data-Intelligence-Plattform (produktiv im Kundeneinsatz)

• Erfasst und analysiert automatisiert Speisedaten aus rund 25.000 deutschen Restaurants.
• Skalierbare 7-Container-Architektur (FastAPI, partitioniertes PostgreSQL, Redis/RQ) mit LLM-gestützter Extraktion strukturierter Daten aus PDF, HTML und Bildern.
• Vollständige CI/CD-Pipelines (GitHub Actions), produktives Cloud-Deployment, interaktive Dashboards (Dash).

Kaiki GEO Atlas – GEO-Plattform (produktiv im Kundeneinsatz)

• Misst die Marken-Sichtbarkeit über fünf KI-Engines (ChatGPT, Gemini, Perplexity, Grok, Claude), jede web-search-augmentiert, orchestriert als DAG-Workflow-Pipeline (Dispatcher → Sub-Workflows → Scoring → Report) mit Fail-Isolation.
• 6-Container-Deployment (FastAPI, Celery, Redis, PostgreSQL); LLM-Kostenschätzung, PDF-Audit-Report, regelbasierte Cross-Signal-Insights (kein zusätzlicher LLM-Aufwand).

Data Pipeline & Analytics Platform – Wettbewerbsanalyse im Automotive-Aftermarket

• Automatisierte Daten-Pipeline mit Gap-Analyse-Algorithmen und rollenbasierter Zugriffskontrolle; 230+ Tests.
• Backend mit FastAPI, PostgreSQL, SQLAlchemy.

Produktentwicklung (in aktiver Entwicklung)

BankingGPT – KI-Assistent für das Beschwerdemanagement im Genossenschaftsbanking

• Sicherheitsarchitektur im Kern: kein KI-Entwurf erreicht den Kunden ohne menschliche Freigabe – die Freigabe-Entscheidung liegt in auditierbarem Code, nicht im Sprachmodell (monoton: das Modell darf hochstufen, nie senken).
• Echte agentische Bausteine, jeder mit eigener Grenze: das Modell wählt selbst Werkzeuge über einen MCP-Server (nur-lesend, Allowlist, gedeckelt, fail-safe); heikle Fälle gehen per offenem A2A-Protokoll (JSON-RPC, Agent Card, message/send/tasks/get; Client selbst implementiert) an einen eigenständigen Fach-Agenten (Wertpapier/Recht), der die Prüfpflicht nie senkt (per Test gepinnt).
• Evaluations-getrieben über zehn Analyse-Runden; deckte per unabhängigem Review und Blind-Tests einen Sicherheitsdefekt auf, den neun automatisierte Läufe übersehen hatten.
• Voice-AI-Frontend, live antwortend: gedeckte Fälle werden im Gespräch beantwortet, heikle eskalieren vor der Generierung; Antwortlatenz < 7 s gemessen (lokale GPU-STT/TTS).

Stack & Produktionsnähe: Python, pydantic-ai, FastAPI/Celery, PostgreSQL/pgvector, FastMCP, fasta2a, Docker; mehrmandantenfähig (physische Vektor-Isolation je Mandant), PII verschlüsselt, OWASP-LLM-reviewt, 275 Tests, CI/CD; anbieter-portabel (Ollama / EU-Cloud-Vertex).

After-Sales Assistant – agentischer RAG-/GraphRAG-Assistent auf öffentlichen OEM-Handbüchern (Automotive After-Sales)

• Genuin agentisch auf LangGraph: ReAct-Agent mit vier Werkzeugen und Gesprächsge-dächtnis – das Modell entscheidet selbst, ob es das Handbuch (RAG, Chroma), einen Wissensgraphen (GraphRAG, Neo4j/Cypher – Warnleuchten dekodieren) oder einen Werkstatt-/Buchungsdienst anspricht.
• Human-in-the-Loop vor der irreversiblen Aktion: vor jeder Terminbuchung pausiert der Graph (interrupt) und holt die ausdrückliche Bestätigung des Fahrers – dieselbe Freigabe-vor-Aktion-Disziplin wie in BankingGPT, in einem anderen Framework.
• Eval als CI-Gate: dreiteiliges Scorecard (RAGAS-Grounding + deterministische Tool-Routing-Genauigkeit + DeepEval-Safety: führt die Antwort bei kritischer Warnung zuerst die Warnung an?) blockt die Pipeline; provider-agnostisch (OpenAI/Azure/Anthropic), FastAPI mit Token-Streaming.

Stack: Python, LangChain/LangGraph, Chroma, Neo4j, RAGAS/DeepEval, FastAPI, Docker.

KI-Assistenz und Zielbild für teilautonome Energieportfolio-Steuerung

Aufbau einer KI-Steuerungsschicht direkt auf dem tagesaktuellen Live-Portfolio eines großen Energieversorgers — nicht als isolierter Pilot, sondern als operative Erweiterung der bestehenden DB1- und Portfolio-Steuerung. Ziel ist die schrittweise Entwicklung von Assistenz über Monitoring/Alerting bis zu Analyse-Agenten mit Human-in-the-Loop-Freigaben, ergänzt um ein rollenspezifisches System of Engagement neben dem BI-System of Record. Parallel werden Business Case, Zielbild und Management-Pitch gegenüber statischem Monatsreporting erarbeitet.

• KI-Steuerungsschicht: Konzeption und Aufbau auf dem bestehenden Live-Portfolio-Datenprodukt (mehrere Mio. Verträge) — Ausbaustufen Assistenz → Monitoring/Alerting → Agenten mit Human-in-the-Loop-Freigaben.
• LLM-gestützte Datenanalyse: Semantische Abfragen, SQL-/Tool-Anbindung und ergänzende RAG-Komponenten auf Portfolio-, Plan-Ist- und Datenqualitätsdaten (Azure OpenAI, Snowflake) mit Drill-downs bis auf Einzelvertragsebene.
• Analyse-Agenten: Mehrstufige Agenten für Abweichungs- und Treiberanalysen zu Churn, Preisanpassungen, Mengen und Beschaffungskosten.
• Sichtenkonzept: Rollenspezifische Oberflächen für Fachbereich, Management und C-Level als System of Engagement neben dem BI-System of Record.
• Business Case & Pitch: Zielbild und Kosten-Nutzen-Argumentation gegenüber statischem Monatsreporting.
• LLM-Setup (Datenschutz & Security): Abstimmung mit IT-Security und Datenschutz — EU-Region, Datentrennung, Freigabeprozesse.
• Agenten-Architektur: Mehrstufige Agenten-Pipelines (Analyse → Validierung → Zusammenfassung) mit dokumentierten Datenquellen, Tool-Aufrufen, Prüfschritten und Quellenbezug je Aussage.
• Datenfundament: Aufsatz auf dem tagesaktuellen DB1-Datenprodukt (Snowflake, dbt) — Portfolio-, Plan-Ist- und Datenqualitätskennzahlen als gemeinsame Basis aller KI-Analysen.
• Guardrails & Evaluation: Evaluations- und Freigabeprozesse für LLM-Antworten bei steuerungsrelevanten Aussagen — Testsets, Metriken, Human-Review.
• Prototyping & Validierung: Iterative Validierung der Agenten-Antworten mit dem Fachbereich — Testfragen-Katalog, Feedback-Schleifen, Antwortqualität je Release.
• Roadmap & Ausbaustufen: Detaillierung der Stufen Assistenz → Monitoring/Alerting → teilautonome Steuerung inkl. Übergangskriterien und Governance je Stufe.
• Integration: Einbettung in die bestehende BI- und Datenlandschaft — BI bleibt System of Record, die KI-Schicht liefert interaktive Drill-down-Pfade als System of Engagement.
• Enablement: Befähigung der Anwender im Fachbereich — Prompting-Leitfäden, Schulungen und Betriebsmodell für den laufenden Einsatz.
• Steuerung: Koordination Fachbereich, Data Engineering, IT-Security & Datenschutz.
• Change Management: Kommunikation und Erwartungsmanagement gegenüber Fachbereich und Management entlang der Ausbaustufen.

Ergebnisse:

• Auf bestehendes tagesaktuelles Datenprodukt mit mehreren Millionen Verträgen aufgesetzt
• Mit Datenschutz und IT-Security abgestimmtes LLM-Setup in EU-Region mit Datentrennung und Freigaben etabliert
• Drei Ausbaustufen bis zur teilautonomen Steuerung definiert
• Rollenspezifische Sichten für Fachbereich, Management und C-Level konzipiert
• Business Case und Management-Pitch für die Ausbaustufen erarbeitet
• Iterativer Validierungsprozess für Antwortqualität mit dem Fachbereich etabliert
• Betriebsmodell für den Assistenzbetrieb konzipiert und in Validierung

Stack: Azure OpenAI, Azure AI Foundry, Snowflake, dbt, React, TypeScript, Entra ID, RAG, Agentic AI, Analyse-Agenten, Human-in-the-Loop, Prompt Engineering, LLM Evaluation, LLMOps, DSGVO / EU-Region, Azure DevOps, Python, SQL, Change Management

• Projektumgebung: Python, Java, Azure AI Studio & OpenAI Studio, Embedding-Modelle, LLM als Richter
• Projektsprache: Deutsch
• Projektrolle(n): Projektmanager
• Projektmanagement zur Verbesserung der Chatbot-Leistung
• Recherche und Bewertung von Ansätzen zur Verbesserung und Messung der Antwortgenauigkeit sowie zur Steigerung des Kontextverständnisses des Chatbots
• Abstimmung von Architekturentscheidungen mit dem technischen Team und den Architekten
• Koordination und Überführung von Forschungsergebnissen in Entwicklungstasks

Enterprise-KI-Inhaltskategorisierung und KI-gestützte Web-Recherche.

• Multi-LLM-Evaluierungs-Framework mit annotierten Daten aufgebaut
• LLM-Fehlerraten anhand annotierter Datensätze iteriert
• KI-gestützte Web-Recherche-Pipeline implementiert Technologie-Stack: LLM, evals, OpenRouter, Python, Node.js, TypeScript, React