Vision-Language-Model-Experten in Deutschland

Unabhängige Engineering-Praxis mit Schwerpunkt auf kundenspezifischen KI-Systemen, produktiver Umsetzung und anteiliger technischer Leitung.

Ausgewähltes Kundenprojekt: Scalutions

• Rolle: Tätigkeit als anteiliger CTO und technischer Leiter mit direkter Entwicklungsverantwortung; verantwortlich für die Architektur und die agentische Infrastruktur hinter dem betreuten B2B-Outbound-Betrieb.

• Produkt: OutboundLoop entworfen und entwickelt, ein agentisches SDR-Betriebssystem für Recherche, Qualifizierung, personalisierte Ansprache, Kampagnenmanagement, menschliche Freigaben, Messung und kontinuierliche Verbesserung.

• Umfang: Verantwortung für den gesamten Systemlebenszyklus – von Geschäftsprozessen und Agentenverhalten über Kontextdesign, Modell-Routing, Integrationen, Evaluierung, Telemetrie, Zuverlässigkeit und Kostenkontrolle bis hin zum Produktivbetrieb.

• KI-basierte Wahrnehmungs- und multimodale Systeme für reale Umgebungen entwickelt und implementiert
• Machine-Learning- und Deep-Learning-Modelle mit Python, PyTorch, TensorFlow und OpenCV erstellt, trainiert und evaluiert
• Mit Vision-Language Models (VLMs), Large Language Models (LLMs), transformerbasierten Architekturen und multimodalen KI-Systemen gearbeitet
• LoRA-basierte Feinabstimmung angewendet und Diffusionsmodelle für generative und multimodale KI-Anwendungen erprobt
• Multimodale Wahrnehmungspipelines mit Kamera-, LiDAR- und Sensordaten entwickelt
• Durchgängige Arbeitsabläufe für Datenverarbeitung, Modelltraining, Evaluierung, Benchmarking und Robustheitsanalysen konzipiert
• HuggingFace Transformers und moderne Deep-Learning-Frameworks für KI-Experimente und Bereitstellungsprozesse eingesetzt
• GPU-beschleunigtes Rechnen, CUDA-basierte Verarbeitung sowie ONNX- und TensorRT-Optimierung für effiziente Inferenz und Modelltraining im großen Maßstab genutzt
• Mit Industriepartnern wie Valeo und REHAU an angewandten KI-Projekten und Projekten zu intelligenten Systemen zusammengearbeitet
• Skalierbare KI-Architekturen und Prototypen für Automatisierungs- und Wahrnehmungsaufgaben entwickelt

• Automatische Erkennung von Inhalten auf verschiedenen Dokumenten
• Recommendation Engine
• Dynamic Pricing

• Entwurf durchgängiger KI/ML-Lösungen mit starkem Fokus auf fortschrittliche LLM-Anwendungen, autonome agentische KI-Workflows mit dem MCP-Toolset, Berechnungen von vLM-Embeddings und robuste agentische RAG-Pipelines, um für Kunden aus verschiedenen Branchen einen konkreten Geschäftsnutzen zu schaffen.
• Entwicklung intelligenter agentischer KI-Workflows zur Automatisierung des Abrufs von Wissen und der Schlussfolgerungen für B2B-Kunden, um schneller Geschäftsnutzen zu erzielen.

• Embedded-Softwareentwicklung für EMS Sicherheitsplatinen in der Medizintechnik gemäß IEC 62304 / ISO 13485
• Technologien: C++, OpenCV, Python, Qt6, JTAG, UART, CMake, IEC 62304, ISO 13485

• Versicherungsdienstleister*

Herausforderung: Geschäftskritische Dokumente liefen über externe OCR-Dienstleister mit laufenden Kosten, Abhängigkeit und Datenschutzrisiken bei sensiblen Versicherungsdaten.

Umsetzung:

• Architektur und produktive Umsetzung einer On-Premise-OCR-Lösung mit vollständiger Datenhoheit
• Verfahren zur Erkennung von Dokumentstrukturen als Basis der automatisierten Weiterverarbeitung
• ML-, NLP- und LLM/VLM-basierte Informationsextraktion, insbesondere aus Rechnungen und Angeboten

Erfolg: Ablösung der externen Dienstleister: volle Datenhoheit, DSGVO-konforme Verarbeitung und 75 % geringere laufende OCR-Kosten p. a.

Verwendete Technologien: Python, Docker, Microservices, FastAPI, PyTorch, Torchvision, MongoDB, MySQL

• Entwickelte ein Bewertungsframework für KI-generierte Multiview-Fahrvideos, das für Wahrnehmungs- und Embodied-AI/VLA-bezogene Trainingsworkflows gedacht ist.
• Entwarf automatisierte Prüfungen für zeitliche Kohärenz, Kamerakonsistenz, semantische Korrektheit und geometrische Multiview-Qualität und deckte dabei Ausfallmodi auf, die für autonome Systeme relevant sind.
• Kombinierte klassische Computer Vision, gelernte visuelle Repräsentationen und Vision-Language-Modelle, um komplexe Videoartefakte in messbare technische Signale zu überführen.
• Aufbau wiederholbarer Benchmarking- und Fehleranalyse-Workflows zur Unterstützung von Modellvergleichen, Datenqualitätsentscheidungen und Systemverbesserungs-Diskussionen.

• Entwicklung von Software-Tools im EICACS-Programm (LDACS-Projekt) zur Unterstützung sicherer Avionikkommunikation.
• Aufbau von Python-basierten Automatisierungs- und Überwachungsdiensten zur Validierung von KI-Komponenten gemäß Trustable-AI-Richtlinien.
• Konzeption von CI/CD- und Test-Pipelines, die die Reproduzierbarkeit und Zuverlässigkeit in allen Teams verbessern.

• Entwarf und baute eine mandantenfähige Python/Flask-API-Plattform mit JWT- und API-Key-Authentifizierung, berechtigungsbezogenem Zugriff und Service-Orchestrierung als Grundlage für KI-Anwendungen.
• Entwickelte ein multimodales RAG-System mit Hybrid-Chunking, dichten/sparsamen Embeddings, Hybrid-Retrieval, Reranking und Vektorsuche, um fundierte, sehr präzise Antworten über Unternehmensdaten hinweg zu liefern.
• Setzte KI-Workflows produktiv mit Docker, CI/CD, Redis-basiertem asynchronem Job-Tracking, Webhook-Callbacks, Integrationen externer KI-/Medien-Services und Laufzeit-Health-/Reliability-Kontrollen um.

• Bewertet und analysiert ein kamerabasiertes Verkehrslicht- und Verkehrsschild-Erkennungssystem in verschiedenen auf LLM basierenden autonomen Fahrsystemen (LMDrive, BEVDriver)
• Implementiert eine VLM-basierte Einheit zur Generierung von Verkehrshinweisen für ein geschlossenes autonomes Fahrsystem, die den Fahrer bei unvorhergesehenen Vorfällen warnt
• Entwickelt einen eigenständigen, LLM-basierten lokalen Chatbot mit Llama, DeepSeek und Qwen inklusive MLflow-Evaluierungsframework

• Entwurf und Implementierung einer durchgängigen, auf Siemens NX basierenden Pipeline zur Umwandlung von OBJ-CAD-Modellen in Graphrepräsentationen durch KI-gestütztes Clustering von Mesh-Flächen zu Knoten und von Flächenadjazenzen zu Kanten, wodurch die Integration von GNNs vereinfacht wird
• Erstellung eines umfangreichen synthetischen 3D-CAD-Datensatzes und Annotation von Bauteilen mit wenigen MFCAD-ähnlichen Merkmalen, um ausgewogene und vielfältige Trainingsdaten für GNN-Workflows sicherzustellen
• Unterstützung beim Entwurf, Training und der Evaluierung von Graph-Neural-Network-Architekturen zur KI-gestützten Erkennung und Klassifizierung geometrischer Merkmale in 3D-CAD-Formen, wodurch Workflows zur Merkmalserkennung beschleunigt werden

• Entwicklung eines Frameworks zur Generierung synthetischer Daten mithilfe von 3D-Simulation (NVIDIA Omniverse) und Generativer KI (Stable Diffusion) zur Modellierung und Erweiterung industrieller Oberflächenfehler.
• Training und Evaluierung von Computer-Vision-Modellen (YOLO, DETR) mit einer Detektionsgenauigkeit von 94% bei realen Proben sowie erfolgreicher Übertragung von der Simulation auf die Realität.
• Anwendung von Domänenanpassung zur Verbesserung der Übertragung von der Simulation auf die Realität, wodurch skalierbare industrielle KI für die automatisierte Qualitätsprüfung ermöglicht und Produktionsausfallzeiten reduziert wurden.

• Entwicklung einer durchgängigen KI-Pipeline zur Analyse von 2D-Explosionszeichnungen mithilfe von Computer Vision und Deep-Learning-Modellen.
• Integration einer YOLO-basierten Objekterkennung (Bounding Boxes, Nachbearbeitung, Überlappungsbehandlung) für präzise Erkennung von Bauteilen und Beschriftungen.
• Anwendung des Segment Anything Model (SAM) für eine feinkörnige Segmentierung und Trennung einzelner Komponenten.
• Implementierung von OCR- und Feature-Extraction-Modulen sowie Vergleich von Vision-Language-Modellen (VLM) und traditionellen Computer-Vision-Ansätzen hinsichtlich Genauigkeit, Laufzeit und Skalierbarkeit.

• Entwarf und implementierte multimodale Unterhaltungstoolchains, die Passagierinput, Fahrzeugkontext, Large-Language-Modelle (Text-zu-Text und Sprache-zu-Sprache) sowie Bildgenerierungsmodelle kombinieren, um interaktivere und immersivere In-Car-Erlebnisse zu bieten.
• Entwickelte und orchestrierte Tools für LLM-basierte Agenten, inklusive Sitzungsverwaltung, Hintergrundaufgaben, dynamischer Nutzerinteraktionen und persistentem Anwendungszustand.
• Untersuchte Multi-Agenten-Orchestrierungsframeworks für In-Car-Umgebungen, bewertete Kommunikationsprotokolle und Architekturstrategien für koordinierte und zuverlässige Agentenverhalten.