Vision-Language Model Experten in Deutschland

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• Automatische Erkennung von Inhalten auf verschiedenen Dokumenten
• Recommendation Engine
• Dynamic Pricing

• Entwickelte ein Bewertungsframework für KI-generierte Multiview-Fahrvideos, das für Wahrnehmungs- und Embodied-AI/VLA-bezogene Trainingsworkflows gedacht ist.
• Entwarf automatisierte Prüfungen für zeitliche Kohärenz, Kamerakonsistenz, semantische Korrektheit und geometrische Multiview-Qualität und deckte dabei Ausfallmodi auf, die für autonome Systeme relevant sind.
• Kombinierte klassische Computer Vision, gelernte visuelle Repräsentationen und Vision-Language-Modelle, um komplexe Videoartefakte in messbare technische Signale zu überführen.
• Aufbau wiederholbarer Benchmarking- und Fehleranalyse-Workflows zur Unterstützung von Modellvergleichen, Datenqualitätsentscheidungen und Systemverbesserungs-Diskussionen.

• KI-basierte Wahrnehmungs- und multimodale Systeme für reale Umgebungen entwickelt und umgesetzt
• Machine-Learning- und Deep-Learning-Modelle mit Python, PyTorch, TensorFlow und OpenCV gebaut, trainiert und evaluiert
• Mit Vision-Language-Modellen (VLMs), Large Language Models (LLMs), transformerbasierten Architekturen und multimodalen KI-Systemen gearbeitet
• LoRA-basierte Fine-Tuning-Techniken angewendet und mit Diffusionsmodellen für generative und multimodale KI-Anwendungen experimentiert
• Multimodale Wahrnehmungspipelines mit Kamera-, LiDAR- und Sensordaten entwickelt
• End-to-End-Workflows für Datenverarbeitung, Modelltraining, Evaluation, Benchmarking und Robustheitsanalyse entworfen
• HuggingFace Transformers und moderne Deep-Learning-Frameworks für KI-Experimente und Deployment-Workflows genutzt
• GPU-beschleunigtes Rechnen, CUDA-basierte Verarbeitung sowie ONNX- und TensorRT-Optimierung für effiziente Inferenz und großskaliges Modelltraining eingesetzt
• Mit Industriepartnern wie Valeo und REHAU an angewandten KI- und intelligenten Systemprojekten zusammengearbeitet
• Skalierbare KI-Architekturen und prototypische Softwarelösungen für Automatisierungs- und Wahrnehmungsaufgaben entwickelt

• Entwarf und baute eine mandantenfähige Python/Flask-API-Plattform mit JWT- und API-Key-Authentifizierung, berechtigungsbezogenem Zugriff und Service-Orchestrierung als Grundlage für KI-Anwendungen.
• Entwickelte ein multimodales RAG-System mit Hybrid-Chunking, dichten/sparsamen Embeddings, Hybrid-Retrieval, Reranking und Vektorsuche, um fundierte, sehr präzise Antworten über Unternehmensdaten hinweg zu liefern.
• Setzte KI-Workflows produktiv mit Docker, CI/CD, Redis-basiertem asynchronem Job-Tracking, Webhook-Callbacks, Integrationen externer KI-/Medien-Services und Laufzeit-Health-/Reliability-Kontrollen um.

• Embedded-Softwareentwicklung für EMS Sicherheitsplatinen in der Medizintechnik gemäß IEC 62304 / ISO 13485
• Technologien: C++, OpenCV, Python, Qt6, JTAG, UART, CMake, IEC 62304, ISO 13485

• Versicherungsdienstleister*

Herausforderung: Geschäftskritische Dokumente liefen über externe OCR-Dienstleister mit laufenden Kosten, Abhängigkeit und Datenschutzrisiken bei sensiblen Versicherungsdaten.

Umsetzung:

• Architektur und produktive Umsetzung einer On-Premise-OCR-Lösung mit vollständiger Datenhoheit
• Verfahren zur Erkennung von Dokumentstrukturen als Basis der automatisierten Weiterverarbeitung
• ML-, NLP- und LLM/VLM-basierte Informationsextraktion, insbesondere aus Rechnungen und Angeboten

Erfolg: Ablösung der externen Dienstleister: volle Datenhoheit, DSGVO-konforme Verarbeitung und 75 % geringere laufende OCR-Kosten p. a.

Verwendete Technologien: Python, Docker, Microservices, FastAPI, PyTorch, Torchvision, MongoDB, MySQL

• Entwicklung von Software-Tools im EICACS-Programm (LDACS-Projekt) zur Unterstützung sicherer Avionikkommunikation.
• Aufbau von Python-basierten Automatisierungs- und Überwachungsdiensten zur Validierung von KI-Komponenten gemäß Trustable-AI-Richtlinien.
• Konzeption von CI/CD- und Test-Pipelines, die die Reproduzierbarkeit und Zuverlässigkeit in allen Teams verbessern.

• Hauptforschung:
• Entwicklung eines kompakten (<700 Mio. Parameter) generativen Vision-Language-Modells für Whole Slide Images (WSI) durch Optimierung der Bild-Tokenisierung.
• Aufbau eines verbesserten Bewertungsrahmens, einschließlich eines kuratierten Frage-Antwort-Datensatzes und der Auswahl geeigneter Metriken.
• Vorbereitung für die Einreichung.
• Zusammenarbeit:
• Forschung zur Entdeckung digitaler Biomarker in der computergestützten Pathologie (CPath) mit KI-Methoden.
• Zusammenarbeit an Projekten mit internationalen Partnern, darunter das Francis Crick Institute (Vorhersage molekularer Biomarker beim Clear-Cell-Renalkarzinom), HeCOG Griechenland (Identifikation des Lynch-Syndroms beim Kolonkarzinom und multimodale Überlebensvorhersage beim Prostataadenokarzinom) sowie das National Cancer Center Hospital Japan (HIBIRD).
• Die Arbeit mit dem Francis Crick Institute wird derzeit für die Einreichung vorbereitet. Die gemeinsame Arbeit in Japan wurde bereits veröffentlicht, und die HeCOG-Projekte laufen noch.
• Konsortium:
• Steuerung der Zusammenarbeit zwischen den Institutionen und der Ziele als KatherLab-Vertreter für das LiSYM-Konsortium.
• Lehre:
• Zwei Jahre lang Online-Workshop-Sessions beim Clinicum Digitale durchgeführt und dabei Ärztinnen und Ärzte sowie Medizinstudierende in den Grundlagen von KI und Python geschult.
• Einen Workshop zu multimodalen Foundation Models bei der AI in Cancer Research Summer School in Korfu geleitet, organisiert im Rahmen von ESAC.
• Einen Vortrag über Vision-Language-Modelle bei der AI in Medicine Summer School gehalten, einer gemeinsamen Veranstaltung von EKFZ, GENIAL, dem TransformLiver Consortium und ESAC.

• Bewertet und analysiert ein kamerabasiertes Verkehrslicht- und Verkehrsschild-Erkennungssystem in verschiedenen auf LLM basierenden autonomen Fahrsystemen (LMDrive, BEVDriver)
• Implementiert eine VLM-basierte Einheit zur Generierung von Verkehrshinweisen für ein geschlossenes autonomes Fahrsystem, die den Fahrer bei unvorhergesehenen Vorfällen warnt
• Entwickelt einen eigenständigen, LLM-basierten lokalen Chatbot mit Llama, DeepSeek und Qwen inklusive MLflow-Evaluierungsframework

• Entwicklung eines Frameworks zur Generierung synthetischer Daten mithilfe von 3D-Simulation (NVIDIA Omniverse) und Generativer KI (Stable Diffusion) zur Modellierung und Erweiterung industrieller Oberflächenfehler.
• Training und Evaluierung von Computer-Vision-Modellen (YOLO, DETR) mit einer Detektionsgenauigkeit von 94% bei realen Proben sowie erfolgreicher Übertragung von der Simulation auf die Realität.
• Anwendung von Domänenanpassung zur Verbesserung der Übertragung von der Simulation auf die Realität, wodurch skalierbare industrielle KI für die automatisierte Qualitätsprüfung ermöglicht und Produktionsausfallzeiten reduziert wurden.

• Entwicklung einer durchgängigen KI-Pipeline zur Analyse von 2D-Explosionszeichnungen mithilfe von Computer Vision und Deep-Learning-Modellen.
• Integration einer YOLO-basierten Objekterkennung (Bounding Boxes, Nachbearbeitung, Überlappungsbehandlung) für präzise Erkennung von Bauteilen und Beschriftungen.
• Anwendung des Segment Anything Model (SAM) für eine feinkörnige Segmentierung und Trennung einzelner Komponenten.
• Implementierung von OCR- und Feature-Extraction-Modulen sowie Vergleich von Vision-Language-Modellen (VLM) und traditionellen Computer-Vision-Ansätzen hinsichtlich Genauigkeit, Laufzeit und Skalierbarkeit.

• Entwarf und implementierte multimodale Unterhaltungstoolchains, die Passagierinput, Fahrzeugkontext, Large-Language-Modelle (Text-zu-Text und Sprache-zu-Sprache) sowie Bildgenerierungsmodelle kombinieren, um interaktivere und immersivere In-Car-Erlebnisse zu bieten.
• Entwickelte und orchestrierte Tools für LLM-basierte Agenten, inklusive Sitzungsverwaltung, Hintergrundaufgaben, dynamischer Nutzerinteraktionen und persistentem Anwendungszustand.
• Untersuchte Multi-Agenten-Orchestrierungsframeworks für In-Car-Umgebungen, bewertete Kommunikationsprotokolle und Architekturstrategien für koordinierte und zuverlässige Agentenverhalten.

• Konzipierte eine agentenbasierte Echtzeit-Engine zur Angebotsorchestrierung, in der spezialisierte Agenten (Retrieval, Pricing/Optimierung und Richtlinien/Guardrails) zusammenarbeiten, um Promotionen über alle Touchpoints zu personalisieren, mittels RAG mit FAISS auf Delta Lake und latenzarmem Databricks Model Serving. Arbeit mit Produktmanagern und kommerziellen Stakeholdern zur Roadmap-Gestaltung und Bewertung neuer Agentenmuster für den Produktionseinsatz.

• Entwickelte einen agentenbasierten Data-Quality-Service, der Schema-Erkennung, Entity-Normalisierung und Validator-/Exception-Handling-Agenten orchestriert, um SKU-Feeds mehrerer Händler in großem Maßstab zu bereinigen. Verpackte Modellaufrufe in PySpark-UDFs für verteilte Inferenz, automatisiert über Databricks Workflows und CI/CD.

• Entwickelte eine multimodale, agentenbasierte Extraktions-Pipeline, in der Vision-, Parsing- und Compliance-Agenten zusammenarbeiten, um Marke, Verpackung und Volumen aus gescannten Bildern mit Claude 3 Sonnet und Swin Transformer-Encodern zu extrahieren. Orchestriert über Azure Event Hub, mit Speicherung der Ergebnisse in Delta Lake.

• Implementierte einen GS1-Taxonomie-Klassifizierungsservice, der auf kooperierenden Agenten für Inferenz, Drift-Monitoring und automatisierte Retrainings-Governance basiert, unter Nutzung von Falcon 180B (LoRA-feinjustiert) mit Batch-Pipeline auf Databricks.

• Erstellte einen hybriden Agenten-Workflow, bei dem ein Retrieval-Agent Kandidaten über Embeddings ermittelt und ein Reasoning/Verifikations-Agent (Mixtral 8x7B) die Übereinstimmung von Beleg und SKU überprüft, integriert in eine Streaming-Pipeline auf Databricks.

• Entwickelte eine multimodale Attribut-Inferenz-Pipeline, aufgebaut aus kooperierenden Vision-Sprach-, Regel-/Konsistenz- und Compliance-Agenten, um NutriScore, Nährwertfelder und Verpackungsarten aus Namen und Bildern mit LLaMA 3-8B und CLIP-Embeddings zu ermitteln.

• Entwickelte ein GenAI-basiertes Orchestrierungssystem, das Rezepte von mehreren Websites einliest, Zutaten über strukturierte Extraktions-Agenten analysiert und diese dynamisch über Tagging, semantisches Reasoning und Business-Rule-Agenten mit Echtzeit-Händlerangeboten verknüpft.