Amazon SageMaker Experten in München

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

"Reasoning Models: Von den Grundlagen der LLMs zur NOC-Automatisierung."

• Entwurf durchgängiger KI/ML-Lösungen mit starkem Fokus auf fortschrittliche LLM-Anwendungen, autonome agentische KI-Workflows mit dem MCP-Toolset, Berechnungen von vLM-Embeddings und robuste agentische RAG-Pipelines, um für Kunden aus verschiedenen Branchen einen konkreten Geschäftsnutzen zu schaffen.
• Entwicklung intelligenter agentischer KI-Workflows zur Automatisierung des Abrufs von Wissen und der Schlussfolgerungen für B2B-Kunden, um schneller Geschäftsnutzen zu erzielen.

• Verantwortlich für die Administration von OpenShift/Kubernetes On-Prem und den Entwickler-Support.
• Automatisierte die URP-Infrastruktur mit Python, Ansible, Kustomize sowie dem ArgoCD- und Argo Workflow/Events-Stack.
• Schrieb Smoke- und Lasttests für die URP-Infrastruktur mit Python, Kustomize und ApplicationSets.
• Unterstützte beim Aufbau und der Bereitstellung der URP-Infrastruktur in Google Cloud (GKE).
• Implementierte Monitoring für die URP- und ArgoCD-Umgebung mit Splunk Cloud.
• Führte Systemadministrationsaufgaben auf RedHat Linux, Kubernetes/OpenShift, ArgoCD, GitLab, Bitbucket Enterprise, Kafka und MongoDB durch.

• Agiler Aufbau einer multimodalen Analyseplattform für Trainingsmaterial (Video, Audio, Dokumente) nach Scrum
• Extraktion kontextrelevanter Inhalte basierend auf Nutzerprofilen & Kompetenzdimensionen
• Personalisierte Ausspielung von Lerninhalten zur Steigerung der Vertriebsperformance
• Enge Abstimmung mit Sales-Teams & Stakeholdern zur Validierung der Features
• Einsatz von Gemini, Whisper, Python & JavaScript, Deployment auf AWS, Perl für Skripte zum Datenimport
• Integration in bestehende Tools & CRM-Systeme zur reibungslosen Einführung
• Genutzte Technologien: Python, OpenAI, Datenbanktechnologien wie PostgreSQL, CI/CD für AirFlow-DAGs, FastAPI

• Entwarf und implementierte eine fortschrittliche, agentenbasierte RAG-Pipeline mit LangChain und LangGraph zur strukturierten Datenextraktion aus PDFs. Dabei kamen Tools, Zustandsverwaltung und OpenAI-LLMs (GPT-4) zum Einsatz, um die Genauigkeit zu verbessern und komplexe Dokumentstrukturen zu verarbeiten.
• Entwickelte einen Google-KI-Agenten zur Extraktion strukturierter Informationen aus PDF-Dokumenten und stellte ihn auf Vertex AI bereit.
• Entwickelte Datenpipelines mit Azure Data Factory und Databricks, um Daten aus Azure Blob Storage aufzunehmen, mit PySpark zu verarbeiten und über Linked Services in Azure SQL Database zu laden.
• Verpackte KI-Agenten und Dienste mit Docker in Container, um eine einheitliche lokale Entwicklung und Bereitstellung zu ermöglichen.
• Verwendete PySpark und Dask für Datenbankabfragen in Verbindung mit Azure Blob Storage und Document Storage.
• Entwickelte einen ReAct-Agenten, der mithilfe von Tools und der Integration von Azure Document Intelligence strukturierte Daten aus PDF-Dokumenten extrahiert.
• Wirkte am Projekt zur Validierung von CPO-Rechnungen mit. Dabei wurden mit Databricks vorhandene CDRs ermittelt und die gesamten gültigen Kosten berechnet.
• Entwickelte einen dialogfähigen KI-Agenten (Chatbot) mit einem FastAPI-Backend, integrierte RAG für eine präzise Tariferkennung und stellte den Dienst mit Azure Container Apps bereit.
• Verwendete Tools: Azure, Azure OpenAI, Azure Document Intelligence, Azure Blob Storage, Google ADK, Google Cloud, Vertex AI, Gemini, Databricks, LangChain, LlamaIndex Ollama, Docker, PySpark, Azure SQL, Azure Data Factory, Azure AI Agent, Microsoft SQL Server

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Entwicklung der KI-Strategie für einen großen österreichischen Einzelhändler mit über 10 Mrd. € Jahresumsatz.
• Entwicklung einer Go-to-Market-Strategie für KI-Services eines norwegischen Beratungsunternehmens, spezialisiert auf SAP-Technologien.
• Durchführung von KI-für-Business-Schulungsprogrammen für eine führende deutsche Supermarktkette.
• Definition der Projektstruktur und Roadmap für AI-Governance bei einem großen deutschen Hersteller.
• Zertifizierte:r Facilitator für den AI Design Sprint™, Leitung von Use-Case-Discovery-Workshops für Großunternehmen.
• IEEE Certified AI Ethics Assessor mit Expertise im Aufbau von AI-Governance-Frameworks gemäß der EU AI-Verordnung.
• Gründer von aiethicsassessor.com als Wissensbasis für AI-Governance und AI-Gesetzgebung.
• Autor eines Bestsellers auf Udemy zum Thema Datenarchitektur.
• Entwicklung intelligenter Agenten mit Low-Code/No-Code-Plattformen zur Automatisierung komplexer Geschäftsprozesse.

• Konzipierte eine agentenbasierte Echtzeit-Engine zur Angebotsorchestrierung, in der spezialisierte Agenten (Retrieval, Pricing/Optimierung und Richtlinien/Guardrails) zusammenarbeiten, um Promotionen über alle Touchpoints zu personalisieren, mittels RAG mit FAISS auf Delta Lake und latenzarmem Databricks Model Serving. Arbeit mit Produktmanagern und kommerziellen Stakeholdern zur Roadmap-Gestaltung und Bewertung neuer Agentenmuster für den Produktionseinsatz.

• Entwickelte einen agentenbasierten Data-Quality-Service, der Schema-Erkennung, Entity-Normalisierung und Validator-/Exception-Handling-Agenten orchestriert, um SKU-Feeds mehrerer Händler in großem Maßstab zu bereinigen. Verpackte Modellaufrufe in PySpark-UDFs für verteilte Inferenz, automatisiert über Databricks Workflows und CI/CD.

• Entwickelte eine multimodale, agentenbasierte Extraktions-Pipeline, in der Vision-, Parsing- und Compliance-Agenten zusammenarbeiten, um Marke, Verpackung und Volumen aus gescannten Bildern mit Claude 3 Sonnet und Swin Transformer-Encodern zu extrahieren. Orchestriert über Azure Event Hub, mit Speicherung der Ergebnisse in Delta Lake.

• Implementierte einen GS1-Taxonomie-Klassifizierungsservice, der auf kooperierenden Agenten für Inferenz, Drift-Monitoring und automatisierte Retrainings-Governance basiert, unter Nutzung von Falcon 180B (LoRA-feinjustiert) mit Batch-Pipeline auf Databricks.

• Erstellte einen hybriden Agenten-Workflow, bei dem ein Retrieval-Agent Kandidaten über Embeddings ermittelt und ein Reasoning/Verifikations-Agent (Mixtral 8x7B) die Übereinstimmung von Beleg und SKU überprüft, integriert in eine Streaming-Pipeline auf Databricks.

• Entwickelte eine multimodale Attribut-Inferenz-Pipeline, aufgebaut aus kooperierenden Vision-Sprach-, Regel-/Konsistenz- und Compliance-Agenten, um NutriScore, Nährwertfelder und Verpackungsarten aus Namen und Bildern mit LLaMA 3-8B und CLIP-Embeddings zu ermitteln.

• Entwickelte ein GenAI-basiertes Orchestrierungssystem, das Rezepte von mehreren Websites einliest, Zutaten über strukturierte Extraktions-Agenten analysiert und diese dynamisch über Tagging, semantisches Reasoning und Business-Rule-Agenten mit Echtzeit-Händlerangeboten verknüpft.

• Aufbau der Plattform querifai.ai, um Nicht-Programmierern das Testen und Vergleichen von KI-Drittanbieterdiensten zu erleichtern
• Entwicklung kundenspezifischer KI-Workflows für Kunden auf querifai
• Durchführung von Projekten an der Schnittstelle von Managementberatung und Data Science

• Evaluation RAG für juristische Beratung (Kauf oder Eigenentwicklung)
• Evaluierung und Machbarkeitsnachweis (PoC) für ein ERP-Arbeitszeiterfassungsmodul
• Beratung bei der Auswahl von Foundation-Modellen
• Einrichtung einer KI-Entwicklungsumgebung (Abschaffung von Schatten-KI)
• KI-Strategieberatung
• Durch KI gestützte Codeerstellung und Kontext-Engineering werden Änderungssätze umfangreicher
• Fundierte Software-Engineering-Kompetenz, Code-Reviews und Absicherung durch die Pipeline und fachlich automatisierte Testfälle

• Plattform: Python-Ökosystem, RHEL 8, K10, AWS IoT Core, AWS Lambda, MLOps
• Software: Java JEE/Cloud, IntelliJ IDEA, AWS IoT Core, AWS Edge und Lambda, AWS SageMaker SDK, Docker Compose, Kubernetes, Openshift 4, Tekton, Flux, Helm Charts, JSON/XML-Technologien, Nginx, Apache Spark, OpenAI (GPT Plus, DALL-E 3, Whisper), GAN, GitHub Copilot, KI, Machine Learning, Deep Learning, Jupyter Notebooks, TensorFlow 2, Colab, Keras API, Prometheus, Grafana, Conda, Python 3.9, SciPy-Stack (NumPy, pandas, scikit-learn, matplotlib)
• Zuständig für Webinar:
• IoT Edge Computing, Architektur, Komponenten, Ressourcen, Management
• IoT Edge Computing mit MicroK8s, Design und Erstellung von Flows/Diagrammen für AWS, Three-Step-Modell für IoT-Ökosystem
• IoT-Prozesse, Konnektivität, Datentransfer und Deployment, Sicherheit
• Optimierung des Edge Computing für Netzwerke, Services im IoT (AWS SQS Queue, SNS-Benachrichtigungen, Events, Analytics, Button, Device Management/Defender, Things Graph)
• Machine-/Deep-Learning-Frameworks (Modelle, Training, Optimierung der Pipelines, Deployment in der Cloud/am Edge, Monitoring der Workloads mit Prometheus und Grafana)
• Performance-Optimierung für niedrige Latenz/Resilienz mittels adaptiver ML/DL/RL-Modelle für Kundendaten aus dem IoT
• Analyse großer Sensordatenmengen mit Apache Spark, Kafka-Clustern
• Kasten K10 Data Management Platform auf Kubernetes-Multi-Cluster mit Helm Chart: Deployment, Backup/Disaster Recovery (RTO/RPO), Data Lifecycle und Security Management
• Implementierung eines mehrschichtigen neuronalen Netzes (ANN) mit TensorFlow 2 und Colab für Regression und Klassifikation; Datenanalyse und Aufbereitung für Applikationen; Entwicklung von Test- und Trainingsmodellen; Deployment der Modelle
• Automatisierung von Business-Streamline-Prozessen mit KI (Azure OpenAI, Discord-Bots/Zapier, AI-Assistenten-Apps IntelliJ, GitHub Copilot)