Apache Kafka Experten in Berlin

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

• Ein 35-köpfiges Engineering-Team (Core Engineering, QA und SRE) innerhalb von 12 Monaten aufgebaut und skaliert und dadurch die Blockchain-Entwicklung von Midnight auf Paritys Substrate-Framework beschleunigt.
• Die strategische Ausrichtung definiert und die Technologieentwicklung als wichtiges Mitglied des Führungsteams an den Geschäftszielen ausgerichtet.
• Softwareentwicklungsprozesse optimiert und agile Methoden eingeführt, wodurch die operative Effizienz und Codesicherheit verbessert wurden.
• Projekte in einem schnelllebigen Startup-Umfeld durch effektives Projektmanagement und Ressourcenallokation umgesetzt.

• Aufbau der Enterprise-Architecture-Abteilung. Vorbereitung der Konvergenz von IT / OT.
• Kartografie der weltweiten Business-Applikationslandschaft (6 Länder).
• Konzept für ein Graphenmodell der Applikationslandschaft. Sicherung der Ergebnisse in der Open-Source-Graph-Datenbank Neo4j. Verschiedene Berichte in der DB-Abfragesprache Cypher und der Visualisierungskomponente Bloom. Automatische Generierung der IT-Architekturdiagramme.
• Entwicklung einer Applikationstaxonomie zur Entdeckung redundanter Applikationen.
• Anwendung von Gartners Software-Portfolio-Management-TIME-Modell (Tolerate, Invest, Migrate and Eliminate) zur Portfoliosteuerung.
• Enterprise-Architecture-Governance: Etablierung von Architekturrichtlinien zur Dokumentation von Maßnahmen und Entscheidungen.
• Prozessmodellierung nach Porter (Value Chain).
• Verschiedene Architekturfreigaben von Maßnahmenanfragen und Dokumentation in Architecture Decision Records (ADR).
• Mitarbeit an der RACI-Matrix für verschiedene Prozesse.
• Arbeiten an Business Capabilities als Vorbereitung für einen LeanIX-Roll-out.
• Mitarbeit bei der Konzeption für die IT/OT-Konvergenz.
• Etablierung von Architekturrichtlinien in einer sehr pragmatisch orientierten Unternehmenskultur. Das Wissen über Applikationen und Verantwortlichkeiten ist weltweit verstreut.

• Eine neue Benachrichtigungsplattform von Grund auf entwickelt und implementiert, um bestehende und zukünftige Services zu ersetzen
• Zusammenarbeit mit anderen Teams zur Integration weiterer Fachbereiche

Tech-Stack:

• Daten: Scala 3, Apache Kafka, Python, Airflow, Astronomer
• BE-FE: TypeScript, NestJS, Java, Spring Boot, Vue
• DevOps: AWS, PostgreSQL, Docker, GitHub Actions, Kubernetes, Helm, ArgoCD

• Leitete die Entwicklung von mehr als 15 Microservices (Java 17, Spring Boot) zur Unterstützung der Kundeninteraktionen; migrierte die Systeme von On-Premises zu GCP Kubernetes, verbesserte die Skalierbarkeit und senkte die Infrastrukturkosten um 20%.
• Optimierte Benutzerdienste durch Caching mit CouchDB und die Überarbeitung von APIs, verkürzte die Antwortzeiten um 35% und verbesserte die Kundenerfahrung.
• Implementierte Canary-Deployments, FluxCD GitOps und CI/CD-Optimierungen in GitLab, verkürzte die Vorlaufzeit für Releases um 25% und ermöglichte Rollouts ohne Ausfallzeiten.
• Richtete Gesundheitsprüfungen in Grafana und Anodot-Warnungen zur Überwachung von Latenz, Fehlern und Durchsatz ein und senkte die MTTR um 40%.
• Entwickelte sichere APIs mit OAuth2, DPoP und Gatekeeper, integrierte REST und GraphQL und erreichte mit Unit- und E2E-Tests eine Testabdeckung von über 90%.
• Unterstützte Junior-Entwickler als Mentor, förderte agile Best Practices und arbeitete funktionsübergreifend an der Umsetzung wichtiger, zuverlässiger Funktionen für Kunden.

Übertragungsnetzbetreiber – Plattform zur Netzwerkbereitstellung (Teamleitung)

• Entwarf den Saga-Orchestrator in Python, der Netzwerkstrukturen mit Rollback bereitstellt.
• Gliederte IP, Identität und Ressourcenverteilung in Bounded Contexts mit eigenen Datenbanken und typisierten Clients auf.
• Implementierte den Datenzugriff mit DDD-Repositories und Units of Work, ohne SQL im Domänencode.
• Führte Integrationstests mit echten PostgreSQL- und RabbitMQ-Containern sowie API-Fuzzing für jeden Service ein.
• Führte einen Agenten-Workflow ein, bei dem jede Änderung mit einer Spezifikation beginnt und ein Mensch jeden Merge freigibt.
• Rollte die automatische OpenTelemetry-Instrumentierung per GitOps über achtzehn Kubernetes-Cluster aus.
• Leitete die Reaktion auf Vorfälle bei festgefahrener Bereitstellung und hielt jeden Ausfall in einem Post-Mortem fest.

Verwendete Sprachen und Software: Python, FastAPI, Pydantic v2, SQLAlchemy async, PostgreSQL, RabbitMQ, Celery, pytest, testcontainers, schemathesis, Helm, Flux CD, GitLab CI, OpenTelemetry, pi coding agent.

Softwareproduktunternehmen – SaaS für Rechenzentrumssimulation (Backend-Entwicklung)

• Entwickelte als zweitgrößter von mehr als zwanzig Mitwirkenden die asynchrone Simulationspipeline.
• Kennzeichnete jedes Image in den GitHub-Actions-Deploy-Workflows mit Commit-SHA und SemVer.
• Diagnostizierte den RabbitMQ-Speicheralarm, der alle Simulationen zum Stillstand brachte, und korrigierte die Limits im Helm-Chart.
• Stellte die Testsuite auf pytest im Function-Style um und ließ die Testabdeckung in jeder Pipeline ausweisen.

Verwendete Sprachen und Software: Python, FastAPI, SQLAlchemy, Alembic, Celery, RabbitMQ, Redis, PostgreSQL, S3, EKS, Helm, Keycloak, GitHub Actions, pytest, mypy, ruff, SonarQube.

Interne KI-Plattform – Modellbereitstellung und Telemetrie

• Entwickelte den FastAPI-Service, der Open-Weight-Modelle auf GPU-Tiers als OpenAI-kompatible Endpunkte bereitstellt.
• Aktualisierte das EKS-Produktionssystem um zwei Kubernetes-Minor-Versionen und behob zonengebundene Speicherfehler.
• Erfasste jeden Modellaufruf mit Tokenanzahl, Kosten und Latenz über den OpenTelemetry-Operator.

Verwendete Sprachen und Software: Python, FastAPI, vLLM, LangGraph, pydantic-ai, OpenAI- und Anthropic-APIs, EKS, Helm, Flux CD, Terraform, GitLab CI, OpenTelemetry, Grafana.

• Konzipiert, entwickelt und eingeführt eine interne Webanwendung zur Veranstaltungsplanung, die von über 100 Abteilungsleitern für eine große Veranstaltung genutzt wurde, obwohl keine dedizierte Testphase stattfand.

• Einen reibungslosen und fehlerfreien Betrieb beim ersten Live-Einsatz sichergestellt, wodurch das Tool für zukünftige Veranstaltungen übernommen wurde.

• Catering-Berechnungen und zugehörige Workflows automatisiert, wodurch E-Mail-Kommunikation und manueller Aufwand für die Essensplanung deutlich reduziert wurden.

• Bereitstellung und Hosting auf einem Linux-Server mittels Coolify verwaltet, einschließlich Einrichtung der Anwendung und Laufzeitbetrieb.

• Einen Kommunikationsdesigner im Bereich UX eingestellt und angeleitet und dabei alle technischen Entscheidungen und die Implementierung eigenständig verantwortet.

• Architektur der Azure Landing Zone: Entwurf und Implementierung einer Azure Landing Zone mit Hub-and-Spoke-Architektur und Unterstützung mehrerer Regionen. Sie bildet die sichere, skalierbare und hochverfügbare Grundlage für Daten- und ML-Plattformen für autonomes Fahren und Parken.
• Compliance mit Azure Policy: Durchsetzung von Sicherheits- und Compliance-Standards über Azure-Abonnements hinweg mit Azure Policy (Guardrails, deny/audit/deploy-if-not-exists), wobei konstant sehr hohe Sicherheitsbewertungen der Infrastruktur erreicht wurden.
• Infrastructure-as-Code: Automatisierung der Bereitstellung und Konfiguration von Azure-Ressourcen mit Terraform und Bicep; Änderungen werden über geprüfte CI/CD-Pipelines ausgerollt.
• Azure Databricks und Unity Catalog: Umfassende Erfahrung im Betrieb von Azure Databricks mit Unity Catalog für zentrale Data Governance, Zugriffskontrolle, Datenherkunft und Auditing über mehrere Workspaces hinweg.
• Monitoring und Observability: Aufbau und Betrieb von Infrastruktur-Monitoring und Logging mit Azure Monitor, Prometheus, Grafana und Loki, einschließlich Plattformzustand, Alarmierung, Fehleranalyse und Kapazitätsentwicklung.
• Plattform im großen Maßstab: Architektur und Betrieb von Cloud-Daten- und ML-Plattformen zur Verarbeitung und Simulation von Fahrzeugdaten im PB-Bereich; Orchestrierung von auf Argo Workflows basierenden Recompute- und Autolabeling-Services mit einer Skalierung auf mehr als 100k+ gleichzeitig laufende Pods auf AKS.
• Reproduzierbares ML: Aufbau reproduzierbarer Trainingsumgebungen mit Versionierung von Datensätzen und Nachverfolgung der Datenherkunft, wodurch Audits und zuverlässige Experimente ermöglicht werden.
• Operative Exzellenz: Automatisierung der Verwaltung von GitHub-Organisationen und CI/CD-Pipelines zur Verbesserung der Entwicklerproduktivität und Zuverlässigkeit von Deployments; Automatisierung wiederkehrender Betriebsprozesse.
• FinOps: Entwicklung einer transparenten Ressourcen- und Kostenverfolgung für Azure-Umgebungen mit mehreren Projekten.
• Führung: Technische Leitung für Infrastrukturthemen in Zusammenarbeit mit Entwicklungs-, DevOps- und Sicherheitsteams; technischer Interviewer und Mitglied des Recruiting-Gremiums zum Ausbau des Engineering-Teams.

• Entwicklung und Bereitstellung von Microservices in Kotlin und Spring Boot, Integration von AWS Secrets Manager zur Absicherung von Zugangsdaten und Reduzierung von Netzwerkaufrufen durch den Spring-Cache.
• Überarbeitung eines Kafka-Consumers mit Spring Kafka und semaphorbasiertem Backpressure, um die Anzahl der Datensätze zu begrenzen und den Heap-Speicher bei Lastspitzen stabil zu halten; Umstellung auf Batch-Upserts zur Reduzierung von Datenbankaufrufen; Ergänzung von Testcontainers-Integrationstests für Kafka und die Datenbank als Grundlage für künftige Änderungen.
• Automatisierung des Finanzabstimmungsprozesses in Spring Boot (Kotlin) mit Spring Scheduler, Transaktionsgrenzen, JPA/Hibernate auf MySQL und Flyway-Migrationen, wodurch das Buchhaltungsteam 16+ Stunden pro Woche einspart.
• Entwicklung und Dockerisierung eines End-to-End-Test-Frameworks für Zahlungen in Robot (Python) mit wiederverwendbaren Keyword-Bibliotheken und Profilen; Integration in GitLab CI (JaCoCo XML- und HTML-Berichte), um Releases zu beschleunigen und die Codeabdeckung auf 80% zu erhöhen.
• Umsetzung durchgängiger Observability mit Datadog durch Instrumentierung der Services mit Datadog APM, Verknüpfung von Metriken und Logs, Bereitstellung von Dashboards sowie Erstellung von Monitoren mit Burn-Rate-Warnungen und Anomalieerkennung, um die Zuverlässigkeit zu erhöhen und Stakeholdern klare Einblicke zu geben.

• Tätigkeit als technischer Berater zur Optimierung mehrschichtiger Ensemble-Modelle, die ResNet, CNN-BiGRU-Attention und XGBoost kombinieren.
• Begleitung der Implementierung eines Logistic-Regression-Meta-Learners zur Lösung von Problemen mit unausgeglichenen Klassen; dabei wurden 92.86% Genauigkeit und 0.9644 AUC bei den Datensätzen PTB-XL und Chapman-Shaoxing erreicht.

• Produktvision und -strategie definiert und umgesetzt; dabei mit UX-, Architektur- und Entwicklungsteams zusammengearbeitet, was zu einer Verbesserung der Nutzerzufriedenheit an wichtigen Produktkontaktpunkten um 30% führte.
• Die durchgängige Verwaltung des Produktlebenszyklus übernommen und die Einführung von 5 wichtigen Produktaktualisierungen geleitet, wodurch die Produkteffizienz und die Nutzung von Funktionen um 25% gesteigert wurden.
• Epics, Funktionen und User Stories definiert und strukturiert; validiert und sichergestellt, dass 100% der abgeschlossenen Stories vor der Veröffentlichung der Definition von ‘Done' entsprachen.
• Backlog-Pflege, Priorisierung (WSJF, MoSCoW) und Sprintplanung geleitet und so eine pünktliche Bereitstellung von 95% der Funktionen in vierteljährlichen Release-Zyklen sichergestellt.
• Mit folgenden Technologien gearbeitet: API, Angular, Node, ReactNative (Mobile), SQL, Kafka, AWS cloud mit ES (Elastic search) und JSON file indexes.
• Confluence und Jira 10 Jahre lang zur Pflege von Produktdetails und Produkt-Backlogs verwendet.
• Figma, Sketch und Miro 4 Jahre lang verwendet.
• Funktionsübergreifende Teams geleitet und die Arbeit mit Entwicklern, Designern und Geschäftsbereichen koordiniert, wodurch die Markteinführungszeit für wichtige Funktionen um 40% verkürzt wurde.
• Produktdemos, UAT und Go-to-Market-Strategien (GTM) geleitet, was im ersten Quartal nach der Einführung zu einer Steigerung der Nutzungsrate um 15% führte.
• Die Mitgliedererfahrung auf Anthems digitaler Gesundheitsplattform verbessert, was zu einem Anstieg der aktiven Nutzerinteraktion um 20% und einer Steigerung der Mitgliederbindung um 10% führte.

• Gründete ein KI-gestütztes SaaS für Terminplanung und Geschäftsverwaltung für kleine und mittlere Unternehmen und verantwortete Technologiestrategie, Architektur, Produktentwicklung, UX, Abrechnung und Go-to-Market.
• Entwickelte und realisierte eine mandantenfähige Plattform mit REST-APIs, RBAC, CRM, Abrechnung und Benachrichtigungen für das Manager-Dashboard, die Admin-Konsole, das Buchungserlebnis und iOS-/Android-Anwendungen.
• Führte und betreute 7 Softwareentwickler, 1 DevOps-Ingenieur, 1 QA-Ingenieur und 1 UX/UI-Designer und arbeitete gleichzeitig praktisch in den Bereichen Backend, Frontend und Produktentwicklung.
• Entwickelte KI-Sprach- und Chat-Agenten mit Python/FastAPI, OpenAI- und Anthropic-APIs, RAG, pgvector und Tool-Calling; integrierte Twilio, Google Calendar/Meet, Stripe und Firebase.
• Verantwortete die Produktiv-Infrastruktur und automatisierte die Auslieferung in getrennten Umgebungen mit Docker, Nginx, GitHub Actions und Grafana; vertrat das Unternehmen bei Acceleratoren und internationalen Startup-Veranstaltungen.

Ausgewählter Tech-Stack: Python, FastAPI, Node.js, Vue 3, React/Next.js, React Native, PostgreSQL, Redis, Docker

• Aufbau unabhängiger Projekte im Bereich KI/Entwickler-Tools.
• Erprobung von Produktideen, schnellem Prototyping und Validierung der Markteinführung.
• Entwicklung eines KI-nativen Betriebsmodells – unter Einsatz agentischer Pipelines, dynamischer Kontextschemata und strenger Evaluierungs-Frameworks, um den Hebel einzelner Entwickler zu vervielfachen und Umsetzungshürden zu beseitigen.

Ich arbeite als unabhängiger / interimistischer / Fractional CTO / Engineering Director, technischer Leiter, Entwickler und Coach. Ausgewählte Erfolge:

• Fractional CTO für ein Music-Tech-Startup. Ich half dabei, weitere Finanzierung zu ermöglichen, indem ich die technische Strategie und den Plan hinter dessen Vision und Pitch Deck entwickelte und anschließend umsetzte: von der Vision zu einer funktionierenden Beta, von 0 auf 1, termingerecht und innerhalb des Budgets gemäß diesem Plan.
• KI-Automatisierung für ein Compliance-Unternehmen. Ein jährlicher Rechercheprozess — bei dem eine Person tagelang Tabellen durchging und Websites manuell prüfte, weshalb er so teuer war, dass er jahrelang nicht mehr durchgeführt wurde — läuft nun jeden Monat automatisch und benötigt etwa eine Stunde zur Überprüfung. Veraltete oder fehlende Daten wurden zu aktuellen Daten, zwölfmal pro Jahr.
• Ein KI-Entwicklungs-Autopilot. Agents übernehmen ein freigegebenes Ticket, implementieren test-first, überprüfen die Lösung anhand eines laufenden Systems und eröffnen einen Pull Request. Ein KI-Komitee prüft verschiedene Kategorien und erstellt auf Grundlage meiner Spezifikationen Risikobewertungen. Ohne einen Menschen wird nichts gemergt.
• Coaching und Sparring für Engineering Leader. Die Entwicklung von Engineering Managern war als Director der größte Teil meiner Arbeit; heute mache ich das im direkten Einzelgespräch.