Llama Experten in München

Mitgründung eines KI-nativen Startups für Sprachenlernen sowie Definition der Produktvision, KI-Architektur und technischen Roadmap. Entwicklung und Aufbau des KI- und Backend-Stacks einschließlich Pipelines zur Feinabstimmung von LLMs, individueller agentischer Workflows und skalierbarer Inferenzinfrastruktur. Das erste Produkt befindet sich derzeit in einer privaten Betaphase.

• Modelle für Chatbots, NLP und LLMs (z. B. Llama, Qwen, OpenAI) erforschen und entwickeln
• Chatbots mit RAG und In-Context Learning verbessern
• Supervised Fine-Tuning (PEFT, LoRA), Huggingface oder Unsloth
• Fortgeschrittene Trainingsmethoden: Test-Time Training, (transduktives) Active Learning, Reinforcement Learning
• Serving mit hohem Durchsatz mit vLLM
• Embedding-Modelle anwenden (z. B. SentenceTransformers), Similarity-/Vektorsuche oder Vektor-DB oder Ranking (z. B. LlamaIndex, Faiss, LangChain)
• Synthetische Daten erzeugen und filtern, Clustering
• Halluzinationen erkennen
• Chatbot-Modelle bewerten (Rouge, BLEU, F1-Score, Recall, Precision)
• Visualisierung von Experimenten (matplotlib)

KI-gestützte Automatisierung der Einkäufe auf einer Druckerei-Website mit Auswahl von Lieferzeiten, Bestelloptionen, Bestellung, Bezahlung und Hochladen der Druckdaten aus der Lumiz-Cloud.

• Leiter der technischen Gesamtintegration NSC (National Secure Cloud, Projekt mit ca. 60 Mitarbeiter).

• Technische Integration von allen Subprojekten in ein Produkt, Definition von Schnittstellen, Basiskomponenten einer Cloud inklusive Hardware, technische Architektur der Basis IABG.

• Entwicklung eines Cloud Management Platforms (CMP), die in der Lage ist, Private/Mixed Cloud von beliebiger Komplexität anhand einer textuellen Beschreibung mit einem Click oder interaktiv zu erstellen.

• CMP beinhaltet auch den kompletten Zyklus Hardware Management.

• Als Basis wird Kubernetes, Openstack und Hadoop benutzt.

• Die Managementschicht beinhaltet Harbor, Gitea, Longhorn, Keycloak, Rancher und Jenkins, die automatisch konfiguriert sind.

• Privat Cloud kann beliebige Workloads von Kunden ausführen, darunter volle Hadoop Schicht mit HDFS, Spark, MapRed, Mezos, HBase und ca. 20 weiteren ML/DL Technologien.

• Hadoop Worker Cluster kann auch ohne Kubernetes on Bare Metal oder Commodity Hardware automatisch installiert werden.

• Openstack mit Nova, Neutron, Ironic, Swift, Cinder, Ceph.

• Entwicklung einer Java Anwendung Rudi: Soap, Rest, Containers, DB.

• Technologien: Kubernetes (K3s, Rke2, Minikube, Harbor, Gitea, Jenkins, Longhorn, Keycloak, Rancher), Openstack (Nova, Neutron, Keystone, Swift, Ceph, Cinder, Sahara, Magnum, Kayobe, Kolla, Bigrost, Ironic), Hadoop (HDFS, Ambari, Solr, Livy, Ranger, YARN, Tez, HBase, Kafka, Hive, Zookeeper, MapReduce, Spark, Oozie, Flink), Virtualizierung (Kubernetes (K3S), VMware, Oracle), Skripting (Ansible, Puppet, Juju, Shell, Groovy, Gradle, Maven).

• Konzipierte eine agentenbasierte Echtzeit-Engine zur Angebotsorchestrierung, in der spezialisierte Agenten (Retrieval, Pricing/Optimierung und Richtlinien/Guardrails) zusammenarbeiten, um Promotionen über alle Touchpoints zu personalisieren, mittels RAG mit FAISS auf Delta Lake und latenzarmem Databricks Model Serving. Arbeit mit Produktmanagern und kommerziellen Stakeholdern zur Roadmap-Gestaltung und Bewertung neuer Agentenmuster für den Produktionseinsatz.

• Entwickelte einen agentenbasierten Data-Quality-Service, der Schema-Erkennung, Entity-Normalisierung und Validator-/Exception-Handling-Agenten orchestriert, um SKU-Feeds mehrerer Händler in großem Maßstab zu bereinigen. Verpackte Modellaufrufe in PySpark-UDFs für verteilte Inferenz, automatisiert über Databricks Workflows und CI/CD.

• Entwickelte eine multimodale, agentenbasierte Extraktions-Pipeline, in der Vision-, Parsing- und Compliance-Agenten zusammenarbeiten, um Marke, Verpackung und Volumen aus gescannten Bildern mit Claude 3 Sonnet und Swin Transformer-Encodern zu extrahieren. Orchestriert über Azure Event Hub, mit Speicherung der Ergebnisse in Delta Lake.

• Implementierte einen GS1-Taxonomie-Klassifizierungsservice, der auf kooperierenden Agenten für Inferenz, Drift-Monitoring und automatisierte Retrainings-Governance basiert, unter Nutzung von Falcon 180B (LoRA-feinjustiert) mit Batch-Pipeline auf Databricks.

• Erstellte einen hybriden Agenten-Workflow, bei dem ein Retrieval-Agent Kandidaten über Embeddings ermittelt und ein Reasoning/Verifikations-Agent (Mixtral 8x7B) die Übereinstimmung von Beleg und SKU überprüft, integriert in eine Streaming-Pipeline auf Databricks.

• Entwickelte eine multimodale Attribut-Inferenz-Pipeline, aufgebaut aus kooperierenden Vision-Sprach-, Regel-/Konsistenz- und Compliance-Agenten, um NutriScore, Nährwertfelder und Verpackungsarten aus Namen und Bildern mit LLaMA 3-8B und CLIP-Embeddings zu ermitteln.

• Entwickelte ein GenAI-basiertes Orchestrierungssystem, das Rezepte von mehreren Websites einliest, Zutaten über strukturierte Extraktions-Agenten analysiert und diese dynamisch über Tagging, semantisches Reasoning und Business-Rule-Agenten mit Echtzeit-Händlerangeboten verknüpft.

• Aufbau des Unternehmens mit Fokus auf Connectivity für IIoT und Industrie 4.0, iRPA/Prozessautomatisierung, Advanced Robotics und Smart Systems, Sensors and Services
• Projektleitung und Software-Architektur für IoT-Gateway-Entwicklung (seit 2020) mit Protokollübersetzung, IT/OT-Konvergenz und GRC
• Entwicklung von RPA-Bots zur Automatisierung und Überwachung industrieller Prozesse mit agentischem AI-Ansatz (seit 2020)
• Implementierung von Unsupervised Clustering und Anomalieanalyse für Zeitreihendaten in BigData-Streaming-Pipelines (seit 2021)
• Einführung eines Docker-basierten Release-Trains für OTA-Updates mit DevSecOps und CI/CD (seit 2018)

• Softwareentwicklung eines B2B-SaaS zur KI-basierten Suche in internen Kandidatenpools von Personalberatungen
• Konzeption als mandantenfähige, hybride Architektur mit eigenen GPU-Servern und sicherer Cloud-Anbindung
• KI-Engineering
• LLMOps
• Python
• FastAPI

• Vision-Language-Action-(VLA)- und Diffusion-Policy-Modelle auf NVIDIA Jetson Orin und Jetson Thor bereitgestellt und optimiert, um Echtzeit-Inferenz-Latenz-Ziele für humanoide Roboter-Steuerungsschleifen zu erreichen.
• TensorRT-Engine-Pipelines (PyTorch → ONNX → TensorRT) mit INT8/FP8 Post-Training-Quantisierung, Design von Kalibrierungsdatensätzen und quantisierungsbewusster Validierung aufgebaut, wodurch der Inferenz-Speicherbedarf auf Jetson um mehr als das 3-Fache reduziert wurde, ohne Genauigkeitsverlust.
• Eigene CUDA-C++-Plugins und CUDA Graphs für latenzdeterministische, echtzeitfähige Policy-Ausführung entwickelt – und damit harte Laufzeit- und Speichergrenzen auf eingebetteten GPU-Zielsystemen eingehalten.
• Eine Inferenz-Engine für VLA-Modelle auf Basis von llama.cpp entwickelt, die verschiedene VLA-Policies unter einer einzigen Runtime zusammenführt und jede als eine einzelne, selbst enthaltene GGUF verpackt, die kein Python oder PyTorch benötigt.
• GPU-Ausführung mit NVIDIA Nsight Systems und Nsight Compute profiliert und optimiert, CUDA-Kernel-Engpässe, Sättigung der Speicherbandbreite und SM-Auslastungsprobleme über Jetson-Orin- und Thor-Compute-Profile hinweg identifiziert und damit eine Performance-Optimierung über mehrere Schichten umgesetzt.