ClickHouse Experten in Deutschland

• TrendReel, Produktions-LLM-Agenten- und RAG-System (Python, LangChain, OpenAI, Groq/Llama 3, Claude, FastAPI, Kubernetes, PostgreSQL).
• Entwarf und baute ein produktives mehrstufiges LLM-Agentensystem: einen Script-Generierungs-Agenten mit einer plattformbezogenen Psychologie-Datenbank, 7 viralen Narrativ-Frameworks und strukturierter Qualitätsbewertung, der in Echtzeit je nach Ausgabemetriken zwischen Claude- und Groq-Backends wechselte.
• Implementierte Multi-Provider-LLM-Routing (Claude primär, Groq/Llama 3 Fallback) mit Priority-Chain-Failover und qualitätsbasiertem Provider-Wechsel und erreichte dabei eine Senkung der Inferenzkosten um 95 %, während messbare Qualitätsgrenzen eingehalten wurden.
• Aufbau einer fortschrittlichen RAG-artigen Retrieval-Pipeline mit Wissensbasen pro Plattform, semantischem Content-Matching und strukturierter Ausgabeevaluation über 7 Entscheidungs-Frameworks, direkt vergleichbar mit kontextbasiertem Reasoning in Multi-Tenant-Enterprise-Dokumenten-Workflows.
• BrainyAI, adaptive KI-Lernplattform (Python, LangChain, Groq Llama 3.3-70B, OpenAI, Next.js, Supabase, Redis).
• Integrierte Groq Llama 3.3-70B mit einem auf Bildungsniveau abgestimmten Prompting, wobei Wortschatz-Tiefe, Zitierkomplexität und Denkstil dynamisch über vier Leistungsstufen von Lernenden angepasst wurden.
• Nexus Prime, Multi-Tenant-SaaS-Plattform für Marketing- und Wachstumsautomatisierung (25 Module, 99 Backend-Router, 153 Frontend-Dateien).
• Aufbau einer 25-Modul-, 99-Router-Multi-Tenant-SaaS-Plattform für Ad-Remix, Affiliates, WhatsApp-Inbox, E-Mail und Warenkorbwiederherstellung, die vier Abo-Stufen von $199 bis $1,999 pro Monat mit integrierter Stripe-, Paystack- und Flutterwave-Abrechnung bedient.
• KI-Videoüberwachungsplattform, Multi-Tenant-Edge- und Cloud-Computer-Vision-System derzeit aktiv im Kundengespräch.
• Entwarf eine Multi-Tenant-KI-Videoüberwachungsplattform, die Edge-YOLO26-Inferenz auf NVIDIA Jetson Orin NX Boxen mit einer zentralen GKE-Cloud-Schicht (Postgres, Pub/Sub, ClickHouse, R2, Keycloak) für Ereignisspeicherung, Dashboards, Alarme und Multi-Tenancy kombiniert.

• Entwicklung und Bereitstellung von Microservices in Kotlin und Spring Boot, Integration von AWS Secrets Manager zur Absicherung von Zugangsdaten und Reduzierung von Netzwerkaufrufen durch den Spring-Cache.
• Überarbeitung eines Kafka-Consumers mit Spring Kafka und semaphorbasiertem Backpressure, um die Anzahl der Datensätze zu begrenzen und den Heap-Speicher bei Lastspitzen stabil zu halten; Umstellung auf Batch-Upserts zur Reduzierung von Datenbankaufrufen; Ergänzung von Testcontainers-Integrationstests für Kafka und die Datenbank als Grundlage für künftige Änderungen.
• Automatisierung des Finanzabstimmungsprozesses in Spring Boot (Kotlin) mit Spring Scheduler, Transaktionsgrenzen, JPA/Hibernate auf MySQL und Flyway-Migrationen, wodurch das Buchhaltungsteam 16+ Stunden pro Woche einspart.
• Entwicklung und Dockerisierung eines End-to-End-Test-Frameworks für Zahlungen in Robot (Python) mit wiederverwendbaren Keyword-Bibliotheken und Profilen; Integration in GitLab CI (JaCoCo XML- und HTML-Berichte), um Releases zu beschleunigen und die Codeabdeckung auf 80% zu erhöhen.
• Umsetzung durchgängiger Observability mit Datadog durch Instrumentierung der Services mit Datadog APM, Verknüpfung von Metriken und Logs, Bereitstellung von Dashboards sowie Erstellung von Monitoren mit Burn-Rate-Warnungen und Anomalieerkennung, um die Zuverlässigkeit zu erhöhen und Stakeholdern klare Einblicke zu geben.

• An der Konzeption der neuen Integrationsschicht für Finanzdienstleistungen mitgewirkt und die Architekturgespräche moderiert
• Das Sicherheitskonzept und die Freigabe der Anwendung überwacht
• Infrastruktur-Setup und Best Practices für das Kotlin-Backend vorbereitet

• Neuanbindung der Produkt-Schnittstellen des Financial Dataware House (FDW) direkt an die Abacus 360 Native Schnittstellen
• IT-Umgebung: PC, Client-Server, Citrix Remote-Client, Oracle DB
• Mapping des FDW-Outbound auf Abacus 360 Native
• Analyse der Anforderungsdokumente, Fachkonzepte und bestehenden Schnittstellenregeln
• Definition neuer FDW-Regeln für den Outbound nach Abacus 360
• Anpassung von Testscripten für die neuen Schnittstellen
• Durchführung von Tests zur Sicherstellung der korrekten Datenlieferung und Verarbeitung

• Versicherungsdienstleister*

Herausforderung: Geschäftskritische Dokumente liefen über externe OCR-Dienstleister mit laufenden Kosten, Abhängigkeit und Datenschutzrisiken bei sensiblen Versicherungsdaten.

Umsetzung:

• Architektur und produktive Umsetzung einer On-Premise-OCR-Lösung mit vollständiger Datenhoheit
• Verfahren zur Erkennung von Dokumentstrukturen als Basis der automatisierten Weiterverarbeitung
• ML-, NLP- und LLM/VLM-basierte Informationsextraktion, insbesondere aus Rechnungen und Angeboten

Erfolg: Ablösung der externen Dienstleister: volle Datenhoheit, DSGVO-konforme Verarbeitung und 75 % geringere laufende OCR-Kosten p. a.

Verwendete Technologien: Python, Docker, Microservices, FastAPI, PyTorch, Torchvision, MongoDB, MySQL

• Bestandsaufnahme der bestehenden Reporting-Landschaft und strategische Bündelung des Bedarfs
• Migration und Konsolidierung von Reports auf Metabase, Anbindung an ClickHouse als Datengrundlage
• Aufbau und Pflege von Datenpipelines

Stack: Metabase · ClickHouse · Appsmith · Airflow

• Skalierbare REST-APIs für Unternehmenskunden entworfen und bereitgestellt
• Migration von Altsystemen auf moderne, wartbare Systeme geleitet, wodurch sich die Bereitstellungszeit verkürzte und tägliche Deployments möglich wurden
• Junior-Entwickler betreut und bereichsübergreifend zusammengearbeitet, um technische Roadmaps an den Geschäftszielen auszurichten und die Teamgeschwindigkeit um 50% zu steigern.
• Tech-Stack: PHP (Symfony), Golang, PostgreSQL, MySQL, GCP, Terraform, Kubernetes

• Konzeptionierung und Entwicklung der "Credit Risk Engine" mit Camunda, Node.js und TypeScript
• Greenfield-Projekt zur Kreditkarten-Bonitätsberechnung von Bestands- und Neukunden, inklusive EBA KPIs, SCHUFA und CRIF Scorings
• Aufbau und Modellierung von Workflows (BPMN) und Entscheidungslogiken (DMN) mit Camunda Modeler in enger Zusammenarbeit mit den Stakeholdern
• Implementierung von Service Tasks, User Tasks und Jobs mit Nest.js, Node.js und TypeScript, inklusive Exception Handling
• Backend For Frontend (BFF), Frontend mit React, Tailwind und Antd UI Library
• CI/CD mit Gitlab, Kubernetes/Rancher

• Aufbau und Betrieb einer End-to-End-MLOps-Plattform auf Azure ML und Kubernetes (Kubeflow) zur automatisierten Bereitstellung, Überwachung und Skalierung von Forecasting-Modellen (u. a. Temporal Fusion Transformer, Informer, Autoformer)
• Implementierung von CI/CD-Pipelines in Azure DevOps für den vollständigen ML-Lifecycle – von Ressourcenbereitstellung (Terraform), Datentransformation (Hugging Face Datasets, Pandas, PyTorch, CUDA-Cluster) über Training und Evaluation bis hin zu Model Registry und Endpoint Deployment
• Integration von MLflow für Experiment Tracking, Modellversionierung, Performance-Monitoring und automatisierte Registrierung im Azure Model Registry
• Entwicklung und Containerisierung von PyTorch-Trainingsjobs mit CUDA (Azure Notebook, Jupyter Notebooks) für Preis- und Zeitreihenprognosen (PFC-Modelle) mit automatischem Rollout über Azure ML Endpoints und REST/gRPC-Schnittstellen, Docker-Containerisierung, Absicherung über OAuth 2.0
• Einrichtung von Monitoring- und Alerting-Mechanismen (Prometheus, MLflow Metrics), Log-Zentralisierung und Kostenüberwachung
• Einrichtung von Security (OAuth2) und Rate Limiting über APIM
• Automatisierung der Infrastruktur-Provisionierung und Modellbereitstellung mittels Terraform, Helm und Azure CLI; Anbindung an bestehende Marktdatensysteme und Event-Pipelines
• Migration bestehender Workloads und Datenbanken (IONOS → Azure, MongoDB) mit Integration in zentrale MLOps-Workflows und interne Netzwerke
• Erweiterung der Plattform um LLM-basierte Tools (LangChain, LangServe) zur Integration von GPT-basierten Analysemodulen in bestehende Spring-Boot-Dienste für Marktanomalie-Erkennung und automatisierte Reports
• Analyse und Architektur einer Softwarelösung, um effizient Massendaten (>3000 Nachrichten/Sek.) zu verarbeiten (market data store)
• Spring Boot / Java 21 Container-Entwicklung mit RabbitMQ zur Verteilung von Börsendaten über MongoDB (Kubernetes) mit Schnellspeicherung von Daten in Redis RMaps, Deduplizierung, Forwarding von Nachrichten an Read-Model Queues und Aufbau von Read Models für UI-Anzeige in MongoDB
• Einbindung von RESTHeart zur Erzeugung einer REST API gegen MongoDB
• Migration von MongoDB ClickHouse für Masseningests und automatische Deduplizierung mit ReplicatedMergeTree Engine in ClickHouse
• Aufbau eines Python Apache Arrow Flight Service zur Abfrage der ClickHouse-DB in Millisekunden für komplexe Abfragen (gRPC-Protokoll / ClickHouse Column-Based Queries)
• Aufbau eines Angular-Frontends zur Vereinfachung der Datenabfrage und Stammdatenpflege
• Agentic Coding mit remote und local LLM (Claude, Ollama Qwen, OpenLLM) und MCP-Servern
• Entwicklung von Python-Skripten zur Transformation und Bereinigung eingehender Börsendaten (Pandas, scikit-learn)

• IoT-Plattform zum Verbinden und Transformieren von Daten sowie zum Gewinnen konkreter Erkenntnisse
• Entwicklung einer Microservice-Lösung zur Beobachtbarkeit, um Einblicke für Entwickler und den Betrieb zu verbessern
• Umfangreiche Performance-Optimierungen in .NET-Code, Datenbanken und Zeitreihen
• Architekturberatung für Entwicklerteams zu Performance, Skalierbarkeit, Zuverlässigkeit und Codequalität
• Bewertung und Entwicklung von PoCs für neue Technologien, einschließlich Zeitreihendatenbanken und Messaging-Plattformen
• Technologien: C#/F#/Rust, InfluxDB, ClickHouse, Prometheus, Grafana, k6, RabbitMQ, EMQX, Docker, Kubernetes, Azure AKS

• Entwicklung einer zentralen Abrechnungs-App für Cloud-Kosten bei der DB
• AWS
• Python
• AWS CDK
• RDS
• Spark (PySpark)
• Glue
• Lambda
• CI/CD (GitLab)
• React/Typescript
• Datenoptimierung
• Scrum

• Beratung und Entwicklung in einem Greenfield-Projekt zur Erfassung von Sensordaten.

• Die neue Lösung soll ein bestehendes System ersetzen, in dem die Logik größtenteils fest verdrahtet ist und das hauptsächlich für den deutschen Markt ausgelegt war.

• Das neue System soll internationale Märkte unterstützen und ermöglicht einfache Änderungen von Logik und Konfiguration.

• Das neue System muss mehrere Zeitzonen sowie internationale Anforderungen und Vorschriften berücksichtigen.

• Enge Zusammenarbeit mit dem internen Softwarearchitekten, Entwicklung von Enterprise Architect-Modellen, Proof-of-Concepts und Implementierungen.

• Das gesamte System folgt einem generativen Ansatz, bei dem C#-Code, Datenbank, Dashboards und Berichte aus kompakten Beschreibungen generiert werden.

• Das System soll stabil und sicher sein. Verschlüsselung, Hashing und Signaturen werden durchgängig eingesetzt.

• Nach umfangreichen Leistungsmessungen und verschiedenen Auswertungen haben wir uns für die ClickHouse-Datenbank entschieden, die hervorragende Performance und eine recht gute SQL-Kompatibilität bietet.

• Sparx Enterprise Architect, JAMA, Miro.

• ClickHouse-Datenbank, Linux / Debian / Ubuntu, GitLab.

• Docker, Cobasoft Log & LogVw.

• Microsoft: Visual Studio, C#, ASP.NET, Test.

• HTML5, CSS, JavaScript, JSON.

• Edge, FireFox, Chrome, Chromium.

• Code- und HTML-Generierung.

• Arbeit an einem Projekt für redundante Kriseninfrastruktur
• Verwendete Technologien: TypeScript, Node, Java, MongoDB, Kafka

• Leitete ein Team von 6 Softwareentwicklern zur Entwicklung und Wartung einer KI-gesteuerten Gesundheitsplattform, die automatisierte Diagnosen und Verschreibungen auf Basis von Echtzeit-EKG-Datenanalysen ermöglicht
• Entwarf und entwickelte ein robustes Revenue-Cycle-Management-(RCM)-System, das HL7- und FHIR-APIs integriert, um nahtlose Interoperabilität, Echtzeit-Datenaustausch und HIPAA-konforme Datenverarbeitung zu ermöglichen, wodurch die Abrechnungseffizienz, die Anspruchsbearbeitung und die Einhaltung gesetzlicher Vorgaben im Gesundheitswesen verbessert wurden
• Migrierte eine veraltete monolithische Anwendung zu einer skalierbaren Microservices-Architektur, steigerte die Systemmodularität, Skalierbarkeit und Wartbarkeit und setzte dabei wichtige Designmuster wie Strangler, Database-per-Service, API-Gateway, Saga und CQRS für eine effiziente Service-Kommunikation und Transaktionsverwaltung um
• Konzipierte und leitete ein C# 9/.NET 6 Microservices-Ökosystem für Hotelreservierungen, Zahlungen und Treueprogramme, das eine Verfügbarkeit von 99,99 % über mehr als 10 Dienste ermöglicht
• Definierte OpenAPI-/Swagger-Verträge und generierte automatisch Client-SDKs, wodurch die Integrationszeit zwischen Frontend und Backend um 50 % reduziert wurde
• Containerisierte jeden Service mit Docker und orchestrierte Bereitstellungen mit Kubernetes, wodurch die Release-Zeit von Tagen auf Stunden verkürzt wurde
• Entwarf PostgreSQL-Schemata, optimiert für hochvolumige Transaktionslasten, und implementierte Redis-Caching-Schichten, um leseintensive Endpunkte um 80 % zu beschleunigen
• Erstellte Kafka-Streaming-Pipelines für Echtzeit-Verfügbarkeitsupdates und Audit-Logs, verarbeitete über 2 Millionen Ereignisse pro Stunde mit Ende-zu-Ende-Zustellungsgarantie
• Implementierte Unit- und Integrationstests für React-Anwendungen mit Jest und React Testing Library, erreichte über 80 % Testabdeckung, verbesserte die Zuverlässigkeit der Komponenten und verhinderte Regressionen
• Definierte und implementierte AWS-Cloud-Infrastruktur mit Terraform, containerisierte und orchestrierte Microservices mit Docker und Kubernetes und verbesserte so die Automatisierung und Skalierbarkeit des Systems
• Entwickelte eine skalierbare Full-Stack-Buchungsanwendung mit React 18 und Django REST Framework, integrierte Celery und Redis für asynchrone Task-Verarbeitung und setzte die Anwendung auf GCP mit Cloud Run und Firestore ein, um Echtzeit-Planung, Zahlungsabwicklung und automatisierte Benachrichtigungen zu ermöglichen
• Betreute Junior-Entwickler durch Code-Reviews, Pair Programming und Wissensaustausch-Sessions, steigerte die Team-Effizienz um 30 % und pflegte gleichzeitig umfassende API-Dokumentation mit Swagger/OpenAPI