pytest Experten in Deutschland

AI Readiness - Part 3: Erstellung eines E-Books zum Einsatz von KI im Softwaretest

• Konzeption und Erstellung eines E-Books zum sinnvollen und sicheren Einsatz von KI im Softwaretest aus Sicht eines erfahrenen Testexperten.
• Einsatz generativer KI (ChatGPT, Perplexity Pro) als Sparringspartner für Strukturierung, Formulierungsvorschläge und Variantenbildung; abschließende fachliche Bewertung und Freigabe aller Inhalte durch eigene Expertise.
• Ausarbeitung praxisnaher Chancen und Risiken von KI im Test, mit besonderem Fokus auf die Zusammenarbeit zwischen Testern und KI statt „Tester vs. KI“.
• Titel: „11 starke Gründe: Dream-Team statt Rivalen - Tester und KI sind gemeinsam unschlagbar“
• Untertitel: „Wie Mensch und Maschine im Softwaretest das perfekte Team bilden – und warum reines KI-Testing riskant ist.“
• Geplante Nutzung des E-Books als Grundlage für Workshops, Kundengespräche oder interne Schulungen.
• Technik: Generative KI, ChatGPT, Perplexity Pro, Microsoft Word, Adobe Acrobat, langjährige Praxiserfahrung im professionellen Testing, gesunder Menschenverstand.

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

• Claude-Code-Subagenten, MCP, Pydantic V2, pytest, bandit

• 3 spezialisierte Agenten entwickelt und produktiv eingesetzt, die die Arbeit entlang einer Kette weitergeben: Ein Forschungsagent erstellt eine zitierte Implementierungsspezifikation, ein Coding-Agent entwickelt den modularen Code und seine Tests, und ein Review-Agent bewertet die Ergebnisse nach Schweregrad und setzt die Korrekturen um. Jede Übergabe erfolgt als strukturiertes Dokument, sodass keine Phase vom Kontextfenster eines anderen Agenten abhängt.

• Den Forschungsagenten mit einem MCP-Server für akademische Recherche verbunden (Semantic Scholar, ArXiv, Hugging Face Hub, Zitationsverfolgung), sodass jede Referenz auf ein Tool-Ergebnis und nicht auf das Modell zurückgeht. Commits hinter ruff, mypy, pytest und bandit abgesichert, menschliche Freigabe vor Installationen und Commits verlangt und den Sitzungsstatus auf der Festplatte gespeichert, damit lange Läufe einen Kontext-Reset überstehen.

Projekt: Defekterzeugung auf Prüfstandsbildern von Metalloberflächen Umfeld: Automatisierte Sichtprüfung (AVI), Metallurgie & Fertigung

• Ziel & Umsetzung: Konzeption, Architektur und Training Generativer Adversarial Networks (Pix2PixHD / SPADE) zur Bild-zu-Bild-Transformation. Gezielte Generierung synthetischer Materialfehler (z. B. Risse, Einschlüsse, Zunder) auf rauen Metalloberflächen unter realen Prüfstands-Lichtverhältnissen zur datenschutzkonformen und effizienten Datensatz-Erweiterung (Data Augmentation).
• Technisches Design: Implementierung robuster Generative-AI- und Computer-Vision-Pipelines in Python und PyTorch. Nutzung von Semantic-Segmentation-Ansätzen zur maskengesteuerten Defektsynthese und nachgelagerter Evaluierung mittels EfficientDet-Objekterkennungs-Modellen.
• Business Impact: Massives Dataset-Upscaling (Faktor 10x) ohne zeit- und kostenintensive physische Prüfstandsläufe bei gleichzeitig drastisch gesteigerter Erkennungsleistung automatisierter Inspektionssysteme.

Eingesetzte Technologien & Skills: Python | PyTorch | SPADE | Pix2PixHD | EfficientDet | Machine Learning | Semantic Segmentation | Computer Vision

• Fachliche Führung über Hardware-, Firmware- und Software-Teams; Wirkungskreis Hardware-/Firmware-Team (4 Personen) und Führungskreis (5 Personen)
• Eine über 15 Jahre gewachsene Produktfamilie architektonisch konsolidieren, dokumentieren und auf CRA-Konformität ausrichten — vom Bare-Metal-IO-Modul bis zur Cloud-Schnittstelle.
• Das wichtigste Kundenprodukt binnen zwei Monaten mit der wesentlichen Anforderungs- und Architekturdokumentation versorgt — für eine über 15 Jahre gewachsene Firmware-Landschaft. Sie trägt heute die Modernisierungsstrategie des Kunden.
• Binnen drei Monaten eine monatliche Berichtslinie an Aufsichtsrat und Vorstand etabliert: seit 12/2025 neun Termine. Der Bericht selbst ist versioniert und wird aus der CI-Pipeline gebaut; er stützt sich auf automatisiert erhobene Aktivitäts- und Release-Daten statt auf Einschätzung.
• Container-basierte CI/CD-Infrastruktur von Grund auf gebaut: Cross-Compile, Host-Tests und Dokumentationsbau in einer durchgängigen Pipeline.
• Deklarative QA-Barrieren für DevOps- und Entwicklungsartefakte eingeführt — von Beginn an mit lefthook statt über pre-commit, ausgeführt in einem dedizierten Container-Image.

Verwendete Technologien: arc42, req42, tpo42, docToolchain, PlantUML, ArchiMate, C4-Modell, ADR, C, C++ (GTest), CMake, Bare Metal (ARM Cortex-M3/M7), OCI-Container, Jenkins, lefthook, Prometheus, Grafana, SBOM, CRA, OPC, SCADA, SPS-Anbindung, IPv6-Migration, Zero Trust, Soziokratie 3.0, Cynefin

Arbeitnehmerüberlassung

• System-Black-Box-Integrationstests (BBIT, IVVQ): Durchführung von Regressions-, Freigabe-, Bestätigungs- und Konformitätstests für sicherheitskritische Bremssteuergeräte in Bahnindustrie
• Softwaretest-Applikation & Integration: Runtime-Konfiguration von Software-Komponenten und Bibliotheken, Validierung von Schnittstellen, Konfigurationsabhängigkeiten und Komponenteninteraktionen
• Testautomatisierung (FEAT-Framework): Mitentwicklung und Weiterentwicklung eines automatisierten Testframeworks für Testausführung, Reporting und Ergebnisanalyse
• Funktionale Sicherheit (SiL4, FuSi): Sicherstellung der Einhaltung von Sicherheitsanforderungen, Traceability und Coverage sowie Normkonformität gemäß EN50126/28/29
• Testautomatisierung für Kommunikationskomponenten: Konfiguration und Validierung der Feldbus-(CAN) und Ethernet-basierten TCMS Datenkommunikation-Schnittstellen (TRDP und CIP)
• Anforderungsanalyse & Shift-Left (PTC Windchill ALM): Analyse von Software- und Systemartefakten zur Identifikation von Lücken, Mehrdeutigkeiten und Redundanzen im frühen SDLC
• Testdesign & Testfallentwicklung: Ableitung von Testbedingungen, Abdeckungsstrategien und Implementierung datengetriebener Testfälle (DDT) inkl. wiederverwendbarer Testdaten-Fixtures
• CI/CD & Automatisierung (Python, PowerShell, Jenkins, SVN): Automatisierung von Build-, Test- und HIL-Deployment-Prozessen sowie Integration in CI/CD-Pipelines
• Testdaten & Konfigurationsmanagement (XML): Pflege und Anpassung von XML-Testvektoren und Systemkonfigurationen mit automatisierter Integration in Testumgebungen
• Nicht-funktionales Testen: Durchführung von Performance- und Lasttests zur Bewertung von Stabilität und Systemverhalten
• Agile Entwicklung & Defect Management (JIRA, Confluence): Mitarbeit in Scrum-Teams, Testkoordination, Review von Testartefakten sowie Defect Tracking und Root-Cause-Analyse
• Fehleranalyse & Debugging (CANoe, CANalyzer): Analyse von Fehlern und Nachrichtenflüssen über mehrere Systemebenen (Applikation bis Bus)
• Modellbasierte Analyse (UML, Enterprise Architect): Spezifikation von SUT/SOW und Unterstützung der systematischen Teststeuerung
• Prozess- & Testdokumentation: Erstellung von Integrations- und Testdokumentation gemäß internen Qualitäts- und Zertifizierungsanforderungen

Multi-Agenten-Plattform zur Dokumentenerstellung

Problem:

Aus einem einzelnen Prompt ein gut recherchiertes, strukturiertes und mit Quellen belegtes Dokument erstellen und dabei die Kontrolle beim Nutzer belassen: Jeder Schritt kann geprüft, korrigiert oder erneut aufgerufen werden, bevor das System fortfährt.

Architektur:

Ein Multi-Agenten-System, das von einer zentralen Steuerung koordiniert wird. Mehr als 20 spezialisierte pydantic-ai-Subagenten (Verstehen, Strukturieren, Planen, Recherchieren, Schreiben, Zusammenstellen, Querverweise prüfen, Glossar, Zitate, Referenztabelle und mehr) geben Ergebnisse anhand eines gemeinsamen, in Postgres gespeicherten Plans (asyncpg) weiter. Eine Runner-Schicht weist jede Aufgabe anhand ihres Namens einem Agenten zu. Mechanische Schritte wie Formatierung, Inhaltsverzeichnis und Abbildungsverzeichnis werden durch deterministischen Code statt durch LLM-Aufrufe erledigt. Der Anbieter (Anthropic oder OpenAI) wird über eine Konfiguration festgelegt, und Antworten werden über Server-Sent Events gestreamt.

Hosting & Infrastruktur:

Ein zustandsloser Container läuft als Scaleway Serverless Container in einem privaten Netzwerk mit verwaltetem PostgreSQL, Objektspeicher für fertige Dokumente und Assets sowie zentraler Protokollübertragung (Loki / Scaleway Cockpit). Bereitstellung mit OpenTofu-Modulen und Deployment über GitLab CI; die Nutzung wird pro API-Schlüssel abgerechnet.

Mein Beitrag und wichtige Entscheidungen:

• Zentrale Entscheidungssteuerung: Ein Zufriedenheitsklassifikator wandelt die Freitext-Rückmeldung des Nutzers in eine Entscheidung um (weiterarbeiten, fortfahren, abbrechen oder eine frühere Aufgabe überarbeiten). Eine Middleware wendet sie auf den Plan an. Der Plan kann zu früheren Aufgaben zurückspringen und die darauffolgenden Schritte erneut ausführen.
• Parallele Recherche und Texterstellung: Die Planung erstellt einen Plan, aus dem ein Recherche-Design-Agent einzelne Rechercheaufgaben und ein Schreib-Design-Agent einzelne Schreibaufgaben erstellt, die jeweils mit der benötigten Recherche verknüpft sind. Jede Aufgabe wird in einem eigenen Agenten mit eigenem Gesprächsverlauf ausgeführt.
• Selbstprüfung und Einbindung des Menschen: Nach jedem Schritt prüft ein Agent für kritisches Denken das Ergebnis. Bevor der Plan fortgesetzt wird, kann der Nutzer eine Kritik annehmen, überarbeiten oder Fragen dazu stellen.
• MCP-Integrationen: Zwei entfernte MCP-Server für die Websuche und die interne Dokumentensuche sind über pydantic-ai angebunden, mit Wiederholungsversuchen und Timeouts für lang laufende Tool-Aufrufe. Klassifikator-Agenten entscheiden für jede Aufgabe, ob eine Websuche nötig ist. Ein kleines Modell fasst rohe Suchergebnisse zu strukturierten Erkenntnissen zusammen, bevor sie die Schreibagenten erreichen.

Nutzungsabrechnung:

Kunden authentifizieren sich mit einem API-Schlüssel, der über einen Schlüsselverwaltungsdienst geprüft wird. Der Verbrauch wird in Credits abgerechnet, berechnet anhand der Token-Nutzung pro Modell zuzüglich eines Aufschlags. Bei ausgeschöpftem Kontingent wird HTTP 429 zurückgegeben.

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• Konzeption und Bereitstellung von End-to-End-Machine-Learning-Pipelines für Klassifizierungs- und Prognosedatensätze mit Sicherstellung von Robustheit und Reproduzierbarkeit durch Best Practices im MLOps-Bereich.
• Direkter Beitrag zur Verbesserung der Genauigkeit von LLM-Modellausgaben durch die Entwicklung und Ausarbeitung spezialisierter Prompts auf Grundlage der Logik von End-to-End-ML- und SciML-Pipelines.
• Entwicklung von Trainingsdaten für große Sprachmodelle durch die Formulierung von Programmieraufgaben, die von den Modellen nicht gelöst werden konnten, sowie anschließende Dokumentation der korrekten Lösungen.

• KI-Integration (LLM & RAG): Konzeption und Aufbau eines internen, intelligenten RAG-Systems (Retrieval-Augmented Generation) auf Basis von LLMs, n8n und Vektordaten zur automatisierten Analyse technischer Dokumente und Fehlerprotokolle.
• Konzeption & Implementierung: Design einer robusten RS-232/UART-Kommunikationsschnittstelle für ein SBC-basiertes Embedded-Gerät zur Steuerung medizinischer Shaker-Systeme.
• Architektur & Protokolldesign: Umsetzung einer hochgradig wartbaren Softwarestruktur (OOP, SOLID) und Definition hardwarenaher, resilienter Kommunikationsprotokolle inklusive Multithreading und erweiterter Fehlerbehandlung.
• Qualitätssicherung & DevOps: Testautomatisierung mittels xUnit, Integrationstests direkt am Hardware-Target und Pflege der technischen Dokumentation nach strengen Medizintechnik-Standards via Azure DevOps.

Label: C#, .NET, LLMs, RAG, n8n, RS-232, UART, Multithreading, async/await, xUnit, gRPC/protobuf, Blazor, MudBlazor, EF Core, Visual Studio 2026, Azure DevOps

• Leitete die ganzheitliche Umsetzung von ML-/KI-Anwendungen für die QuantistryLab-Simulationsplattform – von der Anforderungsdefinition und Lösungsplanung über Entwicklung, Tests und Bereitstellung bis zur Unterstützung im Produktivbetrieb. Dabei koordinierte ich die Zusammenarbeit der Back-End-, DevOps- und ML-Teams.
• Entwarf und implementierte ein System zur Suche nach Verbindungen mit einem LLM mit offenen Gewichten, dem Agenten-Framework Pydantic AI und dem Model Context Protocol (MCP) und stellte es über FastAPI-Endpunkte bereit.
• Stellte den LLM-Service auf Basis von vLLM auf Kubernetes bereit und konfigurierte ihn.
• Entwickelte CI/CD-Pipelines und Helm-Charts, um Bereitstellungen in Staging- und Produktionsumgebungen zu automatisieren.
• Ergänzte das Suchsystem um OpenTelemetry-Spans und -Traces und integrierte es in die Observability-Plattform Honeycomb, um die Latenz einzelner Komponenten und Funktionsfehler zu überwachen.
• Entwickelte einen benutzerdefinierten Evaluierungsdatensatz und setzte Auswertungen für die Relevanz der Suchergebnisse, die Richtigkeit der Antworten, die Genauigkeit von Tool-Aufrufen und den Erfolg der Aufgaben von Anfang bis Ende um.
• Verkürzte die Vorhersagezeit für Infrarotspektren um 83 % (von 60 auf 10 Minuten), indem ich ein quantenmechanisches Modell durch ein vortrainiertes graph-neuronales Netzwerk ersetzte. Ich trainierte das Modell mit PyTorch weiter, entwickelte und containerisierte die Inferenzpipeline mit Docker und integrierte sie in die Plattform.
• Implementierte eine MLflow-Modellregistrierung mit MinIO-gestützter Artefaktspeicherung.
• Beriet Vertriebs- und Wissenschaftsteams zu ML-/KI-Anwendungen für potenzielle Kundenprojekte und brachte technisches Fachwissen in die Entwicklung vorgeschlagener Lösungen und Prototypen ein.

Technologien: AWS, Hetzner, Kubernetes, Helm, Docker, vLLM, Pydantic AI, MCP, Qwen, Llama 3, MLflow, MinIO, GitHub Actions, Python, FastAPI, OpenTelemetry, Honeycomb, PyTorch, Polars, pytest

• Entwicklung einer modellbasierten KI, in der natürliche Sprache als formale Beziehungen interpretiert wird.
• Begriffe der natürlichen Sprache werden nicht als starr betrachtet, sondern als flexibel. Sie können in einem Kontext ausgehandelt werden, sodass sich die Bedeutung durch iterative Spezifizierung ergibt.
• Entwicklung verschiedenster Modelllösungen.
• Unterstützt durch natürliche Sprache und Datenannotation.
• Von Anforderungen bis zu Code und anderen Lösungen.

• Konzeption und Entwicklung einer Multi-Tenant-SaaS-Plattform, mit der Unternehmen ihre eigenen Wissensdatenbanken aufbauen und mit individuell gebrandeten KI-Assistenten chatten können (White-Label-Ansatz mit dynamischem Branding pro Organisation).
• Implementierung einer skalierbaren RAG-Architektur mit einer GPT-4o-Tool-Use-Loop, hybrider semantischer Suche und strikter Mandantentrennung auf Datenbank- und Suchindex-Ebene.
• Aufbau persistenter, projektähnlicher Chat-Sessions inklusive Streaming-API (SSE), mehrsprachiger Unterstützung sowie Sprach-Ein- und Ausgabe (STT/TTS).
• Bereitstellung der Cloud-Infrastruktur als Infrastructure-as-Code, vollständig automatisierte CI/CD-Pipelines pro Kunde und ein Onboarding-Prozess für neue Mandanten.

Verwendete Technologien: Python, FastAPI, Pydantic (v2 noted), Next.js, React, TypeScript, Tailwind CSS, OpenAI / LLMs (GPT-4o), Azure AI Search, Cosmos DB, Azure Blob Storage, Azure Cognitive Services Speech, Azure App Service, Azure Container Registry, Retrieval-Augmented Generation (RAG), Server-Sent Events (SSE), Docker, Terraform, GitHub Actions, REST, OpenID Connect (OIDC), Multi-Tenancy

Konzeption und Entwicklung einer Azure-basierten KI- und Datenplattform, die verteilte Projektdokumente in durchsuchbares, strukturiertes Wissen für einen Enterprise-KI-Assistenten überführt. Kombination aus inkrementeller Dokumentverarbeitung, hybrider Keyword-/Vektorsuche, Wissensgraph-Extraktion und konversationeller KI für Microsoft Teams und Microsoft 365 Copilot. Implementierung von Python-Pipelines zur Verarbeitung von PDF-, Word-, Outlook- und Textdateien; Lifecycle-Management für Azure Cosmos DB; Azure AI Search; Azure AI Foundry und Azure OpenAI; identitätsbewusste Suche mit Microsoft Entra ID; Projektberechtigungen; eines TypeScript-Agenten mit Microsoft Agents SDK; Pulumi-Infrastruktur; robustem Scheduling sowie Werkzeugen für Wiederholungen und Diagnosen. Technologie-Stack: Python, TypeScript, FastAPI, Pydantic, Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure Cosmos DB, Blob/Table Storage, Container Apps/Jobs, Service Bus, Key Vault, Entra ID, Docker, Pulumi, pytest, Microsoft Teams und Microsoft 365 Copilot.