Red Teaming Experten in Germany

Conventional Paradigm Test (CPT) – KI-Evaluation & LLM-Forschung

Entwicklung eines experimentellen Evaluationsansatzes zur Untersuchung von „paradigmatic closure“ in Large Language Models – also der Frage, inwieweit LLMs die grundlegenden Annahmen, Wertungen und Grenzen der Paradigmen erkennen können, innerhalb derer sie Antworten generieren.

Konzeption und Erprobung eines ergänzenden Ansatzes zu klassischen AI-Benchmarks, der nicht primär faktische Richtigkeit oder Task Performance misst, sondern die Fähigkeit von Modellen untersucht, alternative Perspektiven zu erkennen, implizite Annahmen offenzulegen und die Grenzen des eigenen Antwort- bzw. Deutungsrahmens zu reflektieren.

Schwerpunkte: Entwicklung von Evaluationskriterien und Testfragen · LLM Evaluation und Comparative Model Analysis · Prompt- und Response-Analyse · qualitative Klassifikation von Modellantworten · Untersuchung von epistemic compression und value leakage · Benchmark- und Literaturrecherche · Entwicklung strukturierter Bewertungs- und Analyseverfahren

Im Rahmen von CPT wurden u. a. bestehende AI-Evaluationsansätze und Benchmarks analysiert sowie ein minimalistisches Testprotokoll entwickelt, das Modellantworten nach Reaktionsmustern wie DIRECT, CLARIFY, PLURALIST, REFUSE und META-AWARE klassifiziert. TruthfulQA wurde dabei als Testgrundlage für die experimentelle Anwendung und den Vergleich mit bestehenden Referenzantworten eingesetzt.

Technologien & Methoden: Large Language Models (LLMs) · Generative AI · Prompt Engineering · AI Evaluation · TruthfulQA · Benchmark Analysis · Human-in-the-Loop Evaluation · Qualitative Content Analysis · Research & Literature Review

• Führe Secure Code Reviews durch und gebe Secure-Coding-Beratung für die Anwendungs- und Plattformarchitektur.
• Entwickle Sicherheitsarchitektur für die Infrastruktur sowie Sicherheitsmonitoring-Architektur, Incident-Response-Playbooks und Controls nach dem Security-by-Design-Prinzip.

Ich implementierte eine Zero-Trust-Architektur fuer robuste, militaertaugliche maritime Container-Mini-Rechenraeume auf Basis von VMware & Tanzu zur Unterstuetzung containerisierter GIS-Workloads fuer Bodentruppen. Der besondere Fokus lag auf der Absicherung der Kommunikation, dem Workload-Schutz und dem Datenzugriff in umkaempften elektronischen Gefechtsumgebungen, die durch Jamming, Abfangen, Signalmanipulation und staendig wechselnde Einsatzbedingungen beeinflusst werden. Ich habe Use Cases so entworfen und architektonisch umgesetzt, dass jedes Element von Workload, Identitaet und System auch in degradierten oder gestoerten Szenarien weiterhin unabhaengig und sicher funktionieren konnte. Parallel dazu definierte ich die Enterprise- und Solution-Security-Architektur mit LeanIX, Bizzdesign und HOPEX als Enterprise-Architecture-, Repository- und Governance-Plattformen, um Architekturinventar, Beziehungen, Nachverfolgbarkeit, Zielbilder und Security Governance in komplexen Umgebungen zu pflegen. Fuer die architektonischen Designs nutzte ich Sparx Enterprise Architect, um formale Architekturperspektiven, Schnittstellen, Vertrauensgrenzen und Systemarchitektur sowohl in IT- als auch OT-Umgebungen zu beschreiben. Das Tool IriusRisk wurde fuer das Threat Modeling der Loesung eingesetzt, um architekturgetriebene Risiken zu identifizieren, Sicherheitsanforderungen abzuleiten und Gegenmassnahmen sowie Designluecken direkt aus den Loesungsmodellen zu erkennen. Das Risiko- und Compliance-Management wurde mit Archer unterstuetzt. Architekturentscheidungen, Kontrollluecken und operative Risiken wurden in gesteuerte Governance- und auditierbare Compliance-Massnahmen ueberfuehrt. Fuer Dokumentation, Zusammenarbeit und visuelles Design nutzte ich Confluence zur Pflege von Architecture Decision Records, Security Blueprints und Workflows. Lucidchart und draw.io verwendete ich zur Erstellung stakeholdergerechter Design-Artefakte. Ich habe ausserdem OT-Sicherheitskonzepte mit Unterstuetzung von Elektro- und Maschinenbauingenieuren in den Bereichen Oel, Fahrzeug-Bordsysteme, Bahn, Kraftwerke, Pharma, Gasturbinen und Nukleartechnik definiert. Ich erstellte die End-to-End-OT-Sicherheitsstrategie, beginnend bei der globalen Policy, weiterentwickelt zu Standards und Verfahren und schliesslich korreliert mit Bell-LaPadula, Purdue Model, SABSA, TOGAF ADM, CENELEC 50701, IEC 62443 und NIST-Standards. Zudem arbeitete ich mit Engineering-Teamleads zusammen, um kritische KBP-Assets zu identifizieren und sie unter Schutzmassnahmen zu stellen, mit denen SCADA-, PLC- und HMI-Assets segmentiert wurden. Ich trieb die Zusammenarbeit zwischen Security-, IT- und OT-Teams voran, um standardisierte Workflows und Use Cases fuer den OT-Security-Loesungskatalog zu erstellen, waehrend Defense-in-Depth- und Zero-Trust-Prinzipien in operative Umgebungen integriert wurden. Entscheidend war die Integration multidisziplinaerer Engineering-, Security- und Operations-Akteure in eine einheitliche Security-Blueprinting-Strategie und die Sicherstellung, dass Architektur, Threat Modeling, Governance und Dokumentation technisch robust und operativ praktikabel waren.

• Über 25 praxisorientierte Labs abgeschlossen, mit Fokus auf digitale Forensik, Incident Response und fortgeschrittene Threat-Hunting-Techniken.
• Top-Badges in Malware-Analyse, Enterprise-Log-Analyse und Threat Intelligence erworben.
• Spezialisierte Fähigkeiten im Erstellen forensischer Berichte und in Methoden der Beweissammlung zur Unterstützung von Vorfalluntersuchungen entwickelt.

• Durchführung von Cybersecurity-Bereitschaftsprüfungen auf Basis einer eigenen Prüfungsmethodik
• Analyse der externen Angriffsfläche mittels Graydaxe EASM-Plattform
• Reifegradbewertung und Ableitung priorisierter Handlungsempfehlungen

• Entwicklung umfassender Dienstleistungen in den Bereichen Cybersecurity, IT-Governance und KI
• Aufbau und Bereitstellung strategischer Sicherheitslösungen wie vCISO-Service, ISMS, SOC-as-a-Service (SIEM, SOAR, UseCases, PlayBooks, Threat Hunting, Incident Response), KI-gestützte Risiko- und Compliance-Tools sowie Frameworks für Outsourcing- und Drittparteienrisiken
• Begleitung von Unternehmen bei der Umsetzung regulatorischer Anforderungen und Zertifizierung (ISMS, NIS-2, DORA, CRA, KRITIS, ISO 27001, TISAX, BSI IT-Grundschutz, EU AI Act)
• Förderung von Innovationen in den Bereichen Cybersecurity-Automatisierung, KI-Governance und sichere digitale Transformation
• Verantwortung für Unternehmenswachstum, Kundenbeziehungen und strategische Partnerschaften

• Verbesserung des Informationssicherheits-Managementsystems (ISMS) auf Basis der ISO 27001, NIS2, DORA, B3S, TISAX und BSI IT-Grundschutz
• Durchführung umfassender Gap-Analysen zur Ermittlung von Gaps und Ableitung von Maßnahmenplänen nach oben genannten Standards und Regularien; Steuerung und KPIs
• Data Loss Prevention Strategie und Umsetzung mittels MS Purview
• Schwachstellen- und Patch-Management, Sicherheitsmonitoring
• Risikoanalyse und Bedrohungsmodellierung mittels Threat Modeling nach STRIDE
• Entwicklung von Vendor-Risikobewertungen, Implementierung von Risikoklassifizierungen, Durchführung von Lieferanten-Assessments und Implementierung technischer Monitoring-Lösungen (z. B. Security ScoreCard)
• Absicherung von Cloud-Umgebungen (AWS und Azure); Expertise in CSPM/CNAPP (Wiz), Cloud-Migration, sicheren CI/CD-Pipelines, Container-Sicherheit und Best Practices in AWS, Azure und Office 365
• Anwendungssicherheit: Penetrationstests, DevSecOps, OWASP, Pre-Commit Hooks, Schlüssel- und Secret-Management, IDE-Plugins, statische Quellcodeanalyse, Dependency-Checks, Container-Scanning, Schwachstellenmanagement, CIS-Benchmarks und Compliance
• Sicherheitsbewertung und -Härtung gemäß CIS-Benchmarks und Cloud Conformity in AWS, Office 365 und Azure

• Durchführung von Sicherheitsbewertungen und Penetrationstests an Microsoft-KI-Modellen für Text-, Bild- und Videoerzeugung.
• Durchführung von Prompt-Injection-Angriffen über verschiedene Eingabevektoren, darunter speziell gestalteter Text, steganografische Bilder und manipulierte visuelle Elemente (z. B. unterschiedliche Transparenz und eingebettete Inhalte).

• Ein eigenes Tool entwickelt, das mit dem Mistral 7B LLM Sicherheitslücken scannt, validiert und meldet.
• KI-Agenten, Bots und andere LLMs auf Sicherheit getestet, mit Schwerpunkt auf Prompt-Injektion, Modell-Inversion, Daten-Vergiftung, EDR/AV-Bypass- und Umgehungstechniken, Mitgliedschaftsinferenz, Modell-Umgehung, Overfitting auf bösartige Eingaben und kontextuelle Manipulation.
• Git-Repositories in SAST-Lösungen für Sicherheits-Scans eingebunden, Secrets-Scanning, DAST und SCA implementiert und ZAP für DAST in CI/CD-Pipelines genutzt.
• Schulungen zum Sicherheitsbewusstsein durchgeführt, CTF-Challenges und Schulungsmaterialien entwickelt, um das Sicherheitswissen der Entwickler zu verbessern.
• Halbjährliche Red-Teaming-Operationen nach dem MITRE-ATT&CK-Framework geplant und durchgeführt sowie interne und externe Pentests nach dem OWASP-Top-10-Framework für über 70 Anwendungen weltweit geleitet, was zur Entdeckung, Meldung und Behebung von Hunderten von Schwachstellen führte.
• HackerOne-Berichte triagiert.

• Konzipiert, entwickelt und weiterentwickelt ein Applied-KI-MVP, das ausführliche Audio-Interviews mithilfe agentenbasierter Orchestrierung und mehrstufigem Reasoning in strukturierte, langformatige Erzählformate über verschiedene Genres (z. B. Memoiren, institutionelles Wissen, thematische Essays) umwandelt.
• Zentrale Workflows in einem Next.js-Stack entworfen und implementiert, mit strukturierten Repräsentationen (JSON und andere Formate), Retrieval-gestützter Generierung und entstehenden Knowledge-Graph-Strukturen, um Kontext und Konsistenz über lange Dokumente hinweg zu wahren.
• Agentenverhalten in realistischen Erzählszenarien definiert und getestet, einschließlich idealer Nutzerpfade, Randfälle und Fehlerzustände, mit expliziten Kriterien für Kohärenz, faktische Übereinstimmung und Erfüllung der Nutzerabsicht.
• Führe derzeit gezielte Nutzertests mit ausgewählten Partnern durch, um Anwendungsfälle zu validieren und die nächsten Produktiterationen zu informieren.

• Entwarf ein kompaktes Framework zur Generierung von Prompt-Antwort-Sets für CRM-Lifecycle-Szenarien (Onboarding, Aktivierung, Retention, Reaktivierung).
• Umfasste adversariale Varianten (ambivalente Anfragen, widersprüchliche Anweisungen, Richtlinienfallen).
• Erstellte eine Bewertungsrubrik für Fakten, Ton und Kohärenz.
• Entwickelte eine schlanke Richtlinie zur Abstimmung von Annotatoren und Lösung von Meinungsverschiedenheiten.

• Infrastruktur für Red Team aufgebaut, um realistische Angriffssimulationen mit Sliver C2 und eigenen Tools durchzuführen
• Komplexe Red-Team-Operationen ausgeführt und KI-/LLM-Sicherheitsforschung für Prompt-Injection-Angriffe integriert
• Umfassende Breach-Assessment-Angriffe und Schwachstellenbewertungen in der Unternehmensinfrastruktur durchgeführt
• Ursachenanalysen und Purple-Team-Übungen durchgeführt und Berichte für die Geschäftsleitung erstellt
• LLM-Red-Team-Initiativen geleitet, um die Sicherheit von KI-Modellen wie GPT-4, Mistral und internen GenAI-Modellen zu verbessern

• Operative Geschäftsführung des Unternehmens: Aufbau von Teams und Infrastruktur, Entwicklung von Produkten, Analysen und Umsetzung von IT-Sicherheitsmaßnahmen

• Projekteinsätze im Umfeld der IT-Sicherheit mit Fokus auf der Etablierung von Blue Teaming-Aktivitäten (Defensive Prozesse und Technologien) zur Abwehr von Cyberangriffen

• Durchführung von Red Teaming-Prozessen, darunter Penetrationstests und Sicherheitsanalysen für Unternehmen

• Beratung beim Aufbau von Security Operation Centern und Einführung von SIEM-Systemen sowie Aufbau von Computer Incident Response Teams (CSIRT)

• Auditor für ISO 9001 und ISO 27001, §8a, ISO 27019, §11 1a EnWG, TISAX

• Beratung von Unternehmen der kritischen Infrastrukturen bezüglich Informationssicherheit und Erfüllung des IT-Sicherheitsgesetzes

• Aufbau von SIEM/SOC-Prozessen sowie SOC-Analysten-Arbeit (Splunk, ELK-Stack)

• Integration von Daten in Monitoring-Tools (Prometheus, Grafana)

• Beratung in Fragen von BSI IT-Grundschutz, ISO 9001, ISO 27001, BCM, ITIL und Risikomanagement

• Sicherheitsbewertungen und Penetrationstests von IT- und Netzwerkarchitekturen

• Leitung des Teams für Telekom-Sicherheitstests & SOC-Deployments bei Tier-1-Anbietern; kritische Schwachstellen um 30 % reduziert.
• Durchführung von 5G/O-RAN-Fuzzing, Penetrationstests und Schwachstellenrecherchen (Basebands, RAN, Core).
• Entwicklung von Testumgebungen für Protokoll-Fuzzing (AFL++, LibAFL) auf 5G-Stacks.
• Durchführung von Kundenworkshops zur sicheren Telekommunikation mit KI-unterstützten Abläufen.
• Forschung zu KI-gesteuertem SOC und Penetrationstests (LLMs für Log-Triage, Anomalieerkennung, adversariales Monitoring).