Vision-Language-Model-Experten in Deutschland

• Automatische Erkennung von Inhalten auf verschiedenen Dokumenten
• Recommendation Engine
• Dynamic Pricing

• Entwickelte ein Bewertungsframework für KI-generierte Multiview-Fahrvideos, das für Wahrnehmungs- und Embodied-AI/VLA-bezogene Trainingsworkflows gedacht ist.
• Entwarf automatisierte Prüfungen für zeitliche Kohärenz, Kamerakonsistenz, semantische Korrektheit und geometrische Multiview-Qualität und deckte dabei Ausfallmodi auf, die für autonome Systeme relevant sind.
• Kombinierte klassische Computer Vision, gelernte visuelle Repräsentationen und Vision-Language-Modelle, um komplexe Videoartefakte in messbare technische Signale zu überführen.
• Aufbau wiederholbarer Benchmarking- und Fehleranalyse-Workflows zur Unterstützung von Modellvergleichen, Datenqualitätsentscheidungen und Systemverbesserungs-Diskussionen.

• KI-basierte Wahrnehmungs- und multimodale Systeme für reale Umgebungen entwickelt und umgesetzt
• Machine-Learning- und Deep-Learning-Modelle mit Python, PyTorch, TensorFlow und OpenCV gebaut, trainiert und evaluiert
• Mit Vision-Language-Modellen (VLMs), Large Language Models (LLMs), transformerbasierten Architekturen und multimodalen KI-Systemen gearbeitet
• LoRA-basierte Fine-Tuning-Techniken angewendet und mit Diffusionsmodellen für generative und multimodale KI-Anwendungen experimentiert
• Multimodale Wahrnehmungspipelines mit Kamera-, LiDAR- und Sensordaten entwickelt
• End-to-End-Workflows für Datenverarbeitung, Modelltraining, Evaluation, Benchmarking und Robustheitsanalyse entworfen
• HuggingFace Transformers und moderne Deep-Learning-Frameworks für KI-Experimente und Deployment-Workflows genutzt
• GPU-beschleunigtes Rechnen, CUDA-basierte Verarbeitung sowie ONNX- und TensorRT-Optimierung für effiziente Inferenz und großskaliges Modelltraining eingesetzt
• Mit Industriepartnern wie Valeo und REHAU an angewandten KI- und intelligenten Systemprojekten zusammengearbeitet
• Skalierbare KI-Architekturen und prototypische Softwarelösungen für Automatisierungs- und Wahrnehmungsaufgaben entwickelt

• Embedded-Softwareentwicklung für EMS Sicherheitsplatinen in der Medizintechnik gemäß IEC 62304 / ISO 13485
• Technologien: C++, OpenCV, Python, Qt6, JTAG, UART, CMake, IEC 62304, ISO 13485

• Versicherungsdienstleister*

Herausforderung: Geschäftskritische Dokumente liefen über externe OCR-Dienstleister mit laufenden Kosten, Abhängigkeit und Datenschutzrisiken bei sensiblen Versicherungsdaten.

Umsetzung:

• Architektur und produktive Umsetzung einer On-Premise-OCR-Lösung mit vollständiger Datenhoheit
• Verfahren zur Erkennung von Dokumentstrukturen als Basis der automatisierten Weiterverarbeitung
• ML-, NLP- und LLM/VLM-basierte Informationsextraktion, insbesondere aus Rechnungen und Angeboten

Erfolg: Ablösung der externen Dienstleister: volle Datenhoheit, DSGVO-konforme Verarbeitung und 75 % geringere laufende OCR-Kosten p. a.

Verwendete Technologien: Python, Docker, Microservices, FastAPI, PyTorch, Torchvision, MongoDB, MySQL

• Entwicklung von Software-Tools im EICACS-Programm (LDACS-Projekt) zur Unterstützung sicherer Avionikkommunikation.
• Aufbau von Python-basierten Automatisierungs- und Überwachungsdiensten zur Validierung von KI-Komponenten gemäß Trustable-AI-Richtlinien.
• Konzeption von CI/CD- und Test-Pipelines, die die Reproduzierbarkeit und Zuverlässigkeit in allen Teams verbessern.

• Hauptforschung:
• Entwicklung eines kompakten (<700 Mio. Parameter) generativen Vision-Language-Modells für Whole Slide Images (WSI) durch Optimierung der Bild-Tokenisierung.
• Aufbau eines verbesserten Bewertungsrahmens, einschließlich eines kuratierten Frage-Antwort-Datensatzes und der Auswahl geeigneter Metriken.
• Vorbereitung für die Einreichung.
• Zusammenarbeit:
• Forschung zur Entdeckung digitaler Biomarker in der computergestützten Pathologie (CPath) mit KI-Methoden.
• Zusammenarbeit an Projekten mit internationalen Partnern, darunter das Francis Crick Institute (Vorhersage molekularer Biomarker beim Clear-Cell-Renalkarzinom), HeCOG Griechenland (Identifikation des Lynch-Syndroms beim Kolonkarzinom und multimodale Überlebensvorhersage beim Prostataadenokarzinom) sowie das National Cancer Center Hospital Japan (HIBIRD).
• Die Arbeit mit dem Francis Crick Institute wird derzeit für die Einreichung vorbereitet. Die gemeinsame Arbeit in Japan wurde bereits veröffentlicht, und die HeCOG-Projekte laufen noch.
• Konsortium:
• Steuerung der Zusammenarbeit zwischen den Institutionen und der Ziele als KatherLab-Vertreter für das LiSYM-Konsortium.
• Lehre:
• Zwei Jahre lang Online-Workshop-Sessions beim Clinicum Digitale durchgeführt und dabei Ärztinnen und Ärzte sowie Medizinstudierende in den Grundlagen von KI und Python geschult.
• Einen Workshop zu multimodalen Foundation Models bei der AI in Cancer Research Summer School in Korfu geleitet, organisiert im Rahmen von ESAC.
• Einen Vortrag über Vision-Language-Modelle bei der AI in Medicine Summer School gehalten, einer gemeinsamen Veranstaltung von EKFZ, GENIAL, dem TransformLiver Consortium und ESAC.

• Bewertet und analysiert ein kamerabasiertes Verkehrslicht- und Verkehrsschild-Erkennungssystem in verschiedenen auf LLM basierenden autonomen Fahrsystemen (LMDrive, BEVDriver)
• Implementiert eine VLM-basierte Einheit zur Generierung von Verkehrshinweisen für ein geschlossenes autonomes Fahrsystem, die den Fahrer bei unvorhergesehenen Vorfällen warnt
• Entwickelt einen eigenständigen, LLM-basierten lokalen Chatbot mit Llama, DeepSeek und Qwen inklusive MLflow-Evaluierungsframework

• Entwicklung einer durchgängigen KI-Pipeline zur Analyse von 2D-Explosionszeichnungen mithilfe von Computer Vision und Deep-Learning-Modellen.
• Integration einer YOLO-basierten Objekterkennung (Bounding Boxes, Nachbearbeitung, Überlappungsbehandlung) für präzise Erkennung von Bauteilen und Beschriftungen.
• Anwendung des Segment Anything Model (SAM) für eine feinkörnige Segmentierung und Trennung einzelner Komponenten.
• Implementierung von OCR- und Feature-Extraction-Modulen sowie Vergleich von Vision-Language-Modellen (VLM) und traditionellen Computer-Vision-Ansätzen hinsichtlich Genauigkeit, Laufzeit und Skalierbarkeit.

• Projektkoordination: Verwaltung von Zeitplänen, Liefergegenständen, Change Requests (CRs) und Ressourcen, inklusive Reifegrad-Gate-Reviews und Program Increments.
• Stakeholder-Management: Aufbau starker Beziehungen zu internen Teams und externen Kunden.
• BMW-Programme: BCP, BDC, MIC Next, IDC Evo, einschließlich funktionaler Validierung (einschließlich funktionaler Sicherheit), Produktvalidierung, Homologation und Compliance.
• Risikomanagement: Proaktives Erkennen und Lösen kritischer Risiken in Software-/Produkt-Freigaben durch bereichsübergreifende Koordination, um Projekte auf Kurs zu halten.

• Entwarf und implementierte multimodale Unterhaltungstoolchains, die Passagierinput, Fahrzeugkontext, Large-Language-Modelle (Text-zu-Text und Sprache-zu-Sprache) sowie Bildgenerierungsmodelle kombinieren, um interaktivere und immersivere In-Car-Erlebnisse zu bieten.
• Entwickelte und orchestrierte Tools für LLM-basierte Agenten, inklusive Sitzungsverwaltung, Hintergrundaufgaben, dynamischer Nutzerinteraktionen und persistentem Anwendungszustand.
• Untersuchte Multi-Agenten-Orchestrierungsframeworks für In-Car-Umgebungen, bewertete Kommunikationsprotokolle und Architekturstrategien für koordinierte und zuverlässige Agentenverhalten.

• Fokus auf die Erforschung der Schnittstelle zwischen Musik und KI.

• Entwickelte ein Framework zur Generierung synthetischer Daten mittels 3D-Simulation (NVIDIA Omniverse) und generativer KI (Stable Diffusion), um industrielle Oberflächendefekte zu modellieren und anzureichern.
• Trainierte und evaluierte Computer-Vision-Modelle (YOLO, DETR), erreichte 94% Erkennungsgenauigkeit bei realen Proben und demonstrierte einen erfolgreichen Simulation-zu-Realität-Transfer.
• Setzte Domain-Anpassung ein, um den Simulation-zu-Realität-Transfer zu verbessern, ermöglichte so skalierbare industrielle KI für automatisierte Qualitätsprüfungen und reduzierte Ausfallzeiten in der Produktion.

• Entwerfen und Implementieren einer durchgängigen Pipeline auf Basis von Siemens NX, um OBJ-CAD-Modelle in Graphdarstellungen zu konvertieren, durch KI-gesteuerte Gruppierung von Netzflächen zu Knoten und Flächenbenachbarungen als Kanten, um die GNN-Integration zu optimieren
• Erzeugen eines groß angelegten synthetischen 3D-CAD-Datensatzes, Annotieren von Bauteilen mit einigen MFCAD-ähnlichen Merkmalen, um ausgewogene, vielfältige Trainingsdaten für GNN-Workflows zu gewährleisten
• Unterstützung beim Entwurf, Training und der Evaluierung von Graph-Neural-Network-Architekturen für KI-gestützte Erkennung und Klassifizierung geometrischer Merkmale in 3D-CAD-Formen, um Feature-Erkennungs-Workflows zu beschleunigen