CatBoost-Experten in Deutschland

Statistischer Prognosealgorithmus

• Verbesserung eines statistischen probabilistischen Prognosealgorithmus für Umsätze + Evaluierung
• Migration von R/On-Premise zu Python/Snowflake
• Überführung in den Produktivbetrieb auf Snowflake in Zusammenarbeit mit Data Engineers & DevOps

Monitoring-Dashboard

• Data Engineering zur Aufbereitung & Bereitstellung notwendiger Daten/Ressourcen auf Snowflake
• Entwicklung & Bereitstellung eines Streamlit-Dashboards in Snowflake

ML-basierte probabilistische Prognosen auf Vertex AI

• Entwicklung eines ML-basierten probabilistischen Prognosealgorithmus von Grund auf
• Implementierung einer MLOps-Pipeline in Kubeflow auf Google Cloud Vertex AI

Tech Stack: Python, Snowflake/Snowpark, R, Streamlit, Gitlab/Gitlab CICD, Terraform, Google Cloud, Vertex AI (aiplatform SDK, gcloud CLI, Feature Store, Model Registry usw.), kubeflow

• Es handelt sich um ein Startup innerhalb von REWE, in dem wir ein neues Prognosesystem auf der Google Cloud Platform von Grund auf aufbauen müssen. Obwohl meine offizielle Rolle MLOps heißt, umfassen meine tatsächlichen Aufgaben auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) und Aufgaben eines Data Scientists wie Feature Engineering und Modelltraining.
• GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
• Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT zur Implementierung von Datenmodellen
• CI/CD: GitLab. Wir haben eine CI/CD-Pipeline entwickelt, die die Bereitstellung neuer Releases bis in die Produktionsumgebung automatisiert.
• Entwicklung eines Feature Stores und Datensynchronisierung zwischen Umgebungen
• Data Science: Bewertung verschiedener Prognosemodelle, darunter CatBoost, Contextual Gamma und Random Forest; Implementierung von Trainingspipelines mit Kubeflow auf Vertex AI; Skalierung und Entwicklung einer ereignisgesteuerten Schnittstelle mit Kafka als Prognoseservice; Bewertung von MLFlow für Modellverfolgung und Modellregister
• Implementierung einer REST-API mit KeyCloak OAuth2 und OpenID (JWT)
• Monitoring: Implementierung von Dashboards mit Grafana, Prometheus, Mimir, Streamlit und Loki zur Überwachung von Prognosemetriken, GCP- und Snowflake-Kosten für Pipelines sowie Systemmetriken
• Entwicklung von Copilot Agent Skills

• Ein Multi-Agenten-System entwickelt, das LangChain ZeroShotAgent mit benutzerdefinierten Tools für Live-APIs und die Aufgabenautomatisierung verbindet.
• Ein FastAPI-Backend für das Erstellen, Priorisieren und Zuweisen von Jira-Tickets entwickelt, mit automatischer Klassifizierung des Schweregrads, Duplikaterkennung, SLA-Einrichtung, On-Call-Rotation sowie bidirektionaler Synchronisierung von Status und Kommentaren.
• Slack-Benachrichtigungen und RAG-Wissensabfragen mit FAISS oder pgvector ergänzt, um Lösungsvorschläge zu machen, mit optionaler Eskalation über PagerDuty bei Richtlinienverstößen.
• Agenten mit einem Router und einer Celery- plus Redis-Warteschlange orchestriert, mit Wiederholungsversuchen und Backoff, Ratenbegrenzungen, Idempotenzschlüsseln und Freigaben durch Menschen im Prozess.
• Guardrails und Observability implementiert, einschließlich Prompt-Versionierung, Token- und Kostenbudgets, PII-Schwärzung, Tool-Allowlists, Timeouts, OpenTelemetry-Tracing und Dashboards für Genauigkeit und Latenz. Bereitstellung auf Kubernetes mit Feature Flags und Canary-Rollouts.

• Entwarf und implementierte LLM-basierte KI-Agenten, RAG-Pipelines und Vektorsuchlösungen zur Entscheidungsunterstützung in der Retail-Banking-Abteilung.
• Entwickelte und lieferte robuste KI-Pipelines mit Schutzmechanismen, Fehlerbehandlung, Monitoring und Fallback-Logik, um hohe Zuverlässigkeit und Einhaltung der Datenschutzbestimmungen zu gewährleisten.
• Entwickelte und implementierte ML-Modelle zur Erkennung von Transaktionsanomalien, wodurch die Betrugserkennung und Risikobewertung in großen Datensätzen für das Kreditrisikomodell verbessert wurden.
• Erstellte, bewertete und optimierte ML-Modelle zur Generierung von Propensity Scores für Kunden, die in personalisierten Targeting-Kampagnen für Kreditkarten und Privatkreditprodukte eingesetzt wurden.
• Entwickelte eine NLP-Pipeline mit BERT-Embeddings und spaCy NER für SMS-/E-Mail-Analysen und Kundenanfragenprotokolle.
• Trainierte Machine-Learning-Modelle mit Isolation Forest, um Nutzerverhalten zu klassifizieren und Anomalien zu erkennen.
• Extrahierte, bereinigte, angereicherte und feature-engineerte Datensätze aus verschiedenen Quellen, um Feature Stores zu erstellen, die das Training von ML-Modellen ermöglichten.
• Leitete die Entwicklung von Dashboards mit Power BI, Grafana und Prometheus zur Überwachung der Modellleistung, KPI-Trends und Marketing-Kennzahlen.
• Erstellte Multi-Touch-Attributionsmodelle mit logistischer Regression und zeitverfallbasierten Gewichtungen zur Bewertung der Lead-Qualität.
• Entwickelte skalierbare ETL-Pipelines aus CRM, T24, SAP und ERP zur Unterstützung von Millionen monatlicher Transaktionen.
• Integrierte Testverfahren und CI/CD-Workflows für eine stabile Bereitstellung von Datenpipelines.

• Konzipierte eine agentenbasierte Echtzeit-Engine zur Angebotsorchestrierung, in der spezialisierte Agenten (Retrieval, Pricing/Optimierung und Richtlinien/Guardrails) zusammenarbeiten, um Promotionen über alle Touchpoints zu personalisieren, mittels RAG mit FAISS auf Delta Lake und latenzarmem Databricks Model Serving. Arbeit mit Produktmanagern und kommerziellen Stakeholdern zur Roadmap-Gestaltung und Bewertung neuer Agentenmuster für den Produktionseinsatz.

• Entwickelte einen agentenbasierten Data-Quality-Service, der Schema-Erkennung, Entity-Normalisierung und Validator-/Exception-Handling-Agenten orchestriert, um SKU-Feeds mehrerer Händler in großem Maßstab zu bereinigen. Verpackte Modellaufrufe in PySpark-UDFs für verteilte Inferenz, automatisiert über Databricks Workflows und CI/CD.

• Entwickelte eine multimodale, agentenbasierte Extraktions-Pipeline, in der Vision-, Parsing- und Compliance-Agenten zusammenarbeiten, um Marke, Verpackung und Volumen aus gescannten Bildern mit Claude 3 Sonnet und Swin Transformer-Encodern zu extrahieren. Orchestriert über Azure Event Hub, mit Speicherung der Ergebnisse in Delta Lake.

• Implementierte einen GS1-Taxonomie-Klassifizierungsservice, der auf kooperierenden Agenten für Inferenz, Drift-Monitoring und automatisierte Retrainings-Governance basiert, unter Nutzung von Falcon 180B (LoRA-feinjustiert) mit Batch-Pipeline auf Databricks.

• Erstellte einen hybriden Agenten-Workflow, bei dem ein Retrieval-Agent Kandidaten über Embeddings ermittelt und ein Reasoning/Verifikations-Agent (Mixtral 8x7B) die Übereinstimmung von Beleg und SKU überprüft, integriert in eine Streaming-Pipeline auf Databricks.

• Entwickelte eine multimodale Attribut-Inferenz-Pipeline, aufgebaut aus kooperierenden Vision-Sprach-, Regel-/Konsistenz- und Compliance-Agenten, um NutriScore, Nährwertfelder und Verpackungsarten aus Namen und Bildern mit LLaMA 3-8B und CLIP-Embeddings zu ermitteln.

• Entwickelte ein GenAI-basiertes Orchestrierungssystem, das Rezepte von mehreren Websites einliest, Zutaten über strukturierte Extraktions-Agenten analysiert und diese dynamisch über Tagging, semantisches Reasoning und Business-Rule-Agenten mit Echtzeit-Händlerangeboten verknüpft.

• Aufbau eines neuen BI-Teams, eines Snowflake-Datenlagers und einer BI-Infrastruktur von Grund auf
• Leitung des BI-Teams zur Förderung datenbasierter Entscheidungen im gesamten Bereich der Frachtabfertigung.
• Entwicklung und Pflege von unternehmensweiten Datenlösungen für Leistungsmessung, Prognosen und operative Effizienz.
• Zusammenarbeit mit Stakeholdern zur Abstimmung der BI-Strategie auf die Geschäftsziele in einem Logistikumfeld mit hohem Durchsatz.