Infrastructure as Code Experten in Berlin

Backend für KI-Plattform – Senior Developer

Beauftragt, das Backend einer KI-Plattform von Grund auf zu konzipieren und aufzubauen – einschließlich Multi-Provider-LLM-Orchestrierung und Echtzeitinfrastruktur für KI-Influencer-Personas im großen Maßstab.

Aufgaben und Verantwortlichkeiten

• Architektur und Implementierung einer Multi-LLM-Orchestrierungsschicht mit Semantic Kernel zur Integration von GPT-4 und weiteren Anbietern für die zentrale Plattformlogik und KI-Influencer-Personas. Reduzierung des Aufwands beim Modellwechsel durch Abstraktion der Anbieter-APIs hinter einer einheitlichen Schnittstelle.
• Entwurf und Entwicklung eines Backends von Grund auf mit C# / .NET 10, einschließlich Domain-Modellierung mit DDD, versionierter RESTful-API-Schicht und Aufbau der Cloud-Infrastruktur auf Azure.
• Aufbau einer Echtzeit-Chat-Infrastruktur mit Server-Sent Events (SSE), Nachrichtenspeicherung und Zustellgarantien für den Live-Betrieb von KI-Influencer-Personas im großen Maßstab.
• Entwicklung eines Medienverwaltungsdienstes mit Anbindung an Cloud-Objektspeicher für den Upload und Abruf von durch Influencer generierten Inhalten.
• Erstellung einer Integrations- und Unit-Test-Suite mit Daten-Seeding für zuverlässige Regressionstests aller zentralen Plattformabläufe, wodurch die Produktionsfehlerrate deutlich sank.

Werkzeuge und Technologien: C#, .NET, ASP.NET Core, Python, TypeScript, MySQL, Semantic Kernel, EF Core, Minimal APIs, LLM Orchestration, Prompt Engineering, Agentic AI, Generative AI, AI-Assisted Engineering, Claude Code, GitHub Copilot, Google Gemini, OpenAI API, Ollama, Redis, Azure, Azure Container Apps, Azure Database for MySQL, Docker, GitHub Actions, Clean Architecture, Vertical Slice Architecture, CQRS, Domain-Driven Design, REST API, xUnit, Integration Testing, Unit Testing, Jira, Confluence, Scrum

• Aufbau, Wartung und Härtung von Kubernetes-Clustern mit Ansible und ArgoCD
• Schlagwörter: Ansible, AWX, Kubernetes, NetApp, Prometheus, CI/CD ArgoCD, SSO, Fluent-bit, HAProxy, Calico, Keycloak, oauth2-proxy, SealedSecrets, kubeseal, Aqua kube-bench, CIS-Benchmarks, Aqua Trivy operator

• Architektur der Azure Landing Zone: Entwurf und Implementierung einer Azure Landing Zone mit Hub-and-Spoke-Architektur und Unterstützung mehrerer Regionen. Sie bildet die sichere, skalierbare und hochverfügbare Grundlage für Daten- und ML-Plattformen für autonomes Fahren und Parken.
• Compliance mit Azure Policy: Durchsetzung von Sicherheits- und Compliance-Standards über Azure-Abonnements hinweg mit Azure Policy (Guardrails, deny/audit/deploy-if-not-exists), wobei konstant sehr hohe Sicherheitsbewertungen der Infrastruktur erreicht wurden.
• Infrastructure-as-Code: Automatisierung der Bereitstellung und Konfiguration von Azure-Ressourcen mit Terraform und Bicep; Änderungen werden über geprüfte CI/CD-Pipelines ausgerollt.
• Azure Databricks und Unity Catalog: Umfassende Erfahrung im Betrieb von Azure Databricks mit Unity Catalog für zentrale Data Governance, Zugriffskontrolle, Datenherkunft und Auditing über mehrere Workspaces hinweg.
• Monitoring und Observability: Aufbau und Betrieb von Infrastruktur-Monitoring und Logging mit Azure Monitor, Prometheus, Grafana und Loki, einschließlich Plattformzustand, Alarmierung, Fehleranalyse und Kapazitätsentwicklung.
• Plattform im großen Maßstab: Architektur und Betrieb von Cloud-Daten- und ML-Plattformen zur Verarbeitung und Simulation von Fahrzeugdaten im PB-Bereich; Orchestrierung von auf Argo Workflows basierenden Recompute- und Autolabeling-Services mit einer Skalierung auf mehr als 100k+ gleichzeitig laufende Pods auf AKS.
• Reproduzierbares ML: Aufbau reproduzierbarer Trainingsumgebungen mit Versionierung von Datensätzen und Nachverfolgung der Datenherkunft, wodurch Audits und zuverlässige Experimente ermöglicht werden.
• Operative Exzellenz: Automatisierung der Verwaltung von GitHub-Organisationen und CI/CD-Pipelines zur Verbesserung der Entwicklerproduktivität und Zuverlässigkeit von Deployments; Automatisierung wiederkehrender Betriebsprozesse.
• FinOps: Entwicklung einer transparenten Ressourcen- und Kostenverfolgung für Azure-Umgebungen mit mehreren Projekten.
• Führung: Technische Leitung für Infrastrukturthemen in Zusammenarbeit mit Entwicklungs-, DevOps- und Sicherheitsteams; technischer Interviewer und Mitglied des Recruiting-Gremiums zum Ausbau des Engineering-Teams.

• Migration der unternehmensweiten Autorisierungsplattform von Styra DAS zu Open-Source OPA über die Integration mit Skipper (Zalandos Golang-basiertem Ingress-Proxy)
• k8s-Ressourcen optimieren und native Prometheus-Metriken mit OPA integrieren
• Migration von einer internen Monitoring-Lösung zu Prometheus CRs + Dash0

Tech Stack: Java/Kotlin, Golang, Python, Spring Boot, AWS, Kubernetes, Docker, OpenTofu, Prometheus, Grafana

• Fractional Leadership; Beratung von Startups und Scale-ups in der Wachstumsphase zu Datenstrategie, ML-Produkten und Plattform-Grundlagen
• Aufbau von Entscheidungssystemen für Growth, Personalisierung und Produktexperimente in E-Commerce, Digital Health, Energie und Logistik
• Erforschung von Agentic AI und LLM-basierten Tools für produktionsreife Muster

• Codebase-Bewertung & Problemdesign: Komplexe Software-Engineering-Probleme gegen große Open-Source-Python-Codebasen (einschließlich pandas) entworfen und unter Last getestet, was tiefes Kontextverständnis und architektonisches Wissen erforderte, um sauber abgegrenzte, realistische Problemstellungen zu erstellen, die strengen Korrektheitsvorgaben entsprechen.
• Analyse von Agentenfehlern: Lösungen von LLM-Coding-Agenten auf Korrektheit und Vollständigkeit geprüft und dabei aussagekräftige Fehler in der Behandlung von Edge Cases, im dtype-Verhalten und in der Logik zur NaN-Weitergabe über mehrere Spalten hinweg identifiziert; Ergebnisse präzise für die weitere Auswertung dokumentiert.
• Programmgesteuerte Test-Suite-Entwicklung: Umfassende pytest-Suites erstellt, um Agenten-generierte Lösungen programmgesteuert gegen definierte Anforderungen zu prüfen, mit gezielter Abdeckung von Randbedingungen und Fehlermodi, die naive Implementierungen nicht erfassen.
• Containerisierte Umgebungs-Entwicklung: Docker-Umgebungen für reproduzierbare Agentenausführung gebaut und debuggt, einschließlich git-basierter Repository-Bereitstellung, Dependency-Pinning mit npm ci und Erstellung von Multi-Stage-Dockerfiles für Linux-basierte Container.

OpsWorker verwandelt Kubernetes-Alerts in Root-Cause-Analysen, zusätzlich zu dem Monitoring, das ein Team bereits betreibt. Ich leite die technische Seite: die Agentenarchitektur, die AWS-Infrastruktur, auf der das Ganze läuft (vollständig in EU-Regionen), und die Engineering-Entscheidungen dahinter, standardmäßig nur lesend im Cluster, der Mensch bleibt für die Bewertung im Loop. Der Stack darunter: Amazon Bedrock und Bedrock AgentCore, Agenten gebaut mit dem Strands Agents SDK, die Claude- und OpenAI-APIs sowie die Kubernetes-API.

• Ein maßgeschneidertes Tool mit dem Mistral-7B-LLM entwickelt, um Sicherheitslücken zu scannen, zu prüfen und zu melden.
• KI-Agenten, Bots und andere LLMs auf Sicherheit getestet, mit Schwerpunkt auf Prompt Injection, Modellinversion, Datenvergiftung, EDR-/AV-Umgehungs- und Tarntechniken, Membership Inference, Modellumgehung, Overfitting auf bösartige Eingaben und kontextuelle Manipulation.
• Repositories in SAST-Lösungen für Sicherheitsscans eingebunden, Secret Scanning und DAST implementiert, SCA eingesetzt und ZAP für DAST in CI/CD-Pipelines genutzt.
• An Security-Awareness-Schulungen mitgewirkt sowie CTF-Herausforderungen und Schulungsmaterialien entwickelt, um das Sicherheitswissen von Entwicklern zu verbessern.
• Halbjährliche Red-Team-Einsätze auf Grundlage des MITRE-ATT&CK-Frameworks geplant und durchgeführt sowie interne und externe Penetrationstests nach dem OWASP-Top-10-Framework für weltweit 70+ Anwendungen geleitet. Dabei wurden Hunderte von Sicherheitslücken erkannt, gemeldet und behoben.
• HackerOne-Berichte geprüft und bearbeitet.

• Versicherungsdienstleister*

Herausforderung: Geschäftskritische Dokumente liefen über externe OCR-Dienstleister mit laufenden Kosten, Abhängigkeit und Datenschutzrisiken bei sensiblen Versicherungsdaten.

Umsetzung:

• Architektur und produktive Umsetzung einer On-Premise-OCR-Lösung mit vollständiger Datenhoheit
• Verfahren zur Erkennung von Dokumentstrukturen als Basis der automatisierten Weiterverarbeitung
• ML-, NLP- und LLM/VLM-basierte Informationsextraktion, insbesondere aus Rechnungen und Angeboten

Erfolg: Ablösung der externen Dienstleister: volle Datenhoheit, DSGVO-konforme Verarbeitung und 75 % geringere laufende OCR-Kosten p. a.

Verwendete Technologien: Python, Docker, Microservices, FastAPI, PyTorch, Torchvision, MongoDB, MySQL

• Durchführung von Cybersecurity-Bereitschaftsprüfungen auf Basis einer eigenen Prüfungsmethodik
• Analyse der externen Angriffsfläche mittels Graydaxe EASM-Plattform
• Reifegradbewertung und Ableitung priorisierter Handlungsempfehlungen

• Mentor eines Teams aus 6 ML-Platform-Engineers durch wöchentliche 1:1s, technische Design-Reviews und Best Practices; Verbesserung der Team-Produktivität um 35% durch strukturierte Sprint-Planung und Programme zur Skill-Entwicklung
• Definition der ML-Plattform-Roadmap 2025–2026 in Zusammenarbeit mit Data Science, Cloud Engineering und Product Teams; Priorisierung von automatisierter Model Governance, Cost-Attribution-Systemen und Multi-Environment-Deployment-Strategien
• Zusammenarbeit mit Stakeholdern aus Data Science, SRE und Product, um die Fähigkeiten der ML-Plattform mit den Geschäftszielen abzustimmen; Reduktion der Deployment-Hürden für Data Scientists um 60% durch Self-Service-Plattformen
• Architektur und Lieferung einer produktionsreifen MLOps-Plattform für 50+ Modelle in Produktion mit automatisierten Promotion-Pipelines, Versionierung und Rollback-Funktionen; Erreichung eines SLA von 99,5% Plattform-Uptime
• Design einer verteilten ML-Pipeline-Architektur mit Metaflow und Argo Workflows (Vertex Pipelines-kompatibel); Verkürzung der Modell-Trainingszeit um 30% und der Deployment-Zyklen von 2 Wochen auf 3 Tage durch vollständige CI/CD-Automatisierung
• Aufbau containerisierter ML-Services auf Kubernetes mit Auto-Scaling-Policies, Resource Quotas und Multi-Tenancy-Isolation; Optimierung der Infrastrukturkosten um 180K $ pro Jahr (25% Reduktion)
• Implementierung von Monitoring, Alerting und Performance-Tracking mit Prometheus, Grafana und Custom Instrumentation; Reduktion der Debugging-Zeit für Modelle um 50% und Einführung von SLOs für die Modell-Performance
• Leitung der Entwicklung einer RAG-basierten Document-Intelligence-Plattform mit LangChain, LangGraph und Vektor-Datenbanken; Implementierung von Agentic-AI-Workflows für die automatisierte Verarbeitung von Finanzdokumenten
• Implementierung von Infrastructure-as-Code mit Terraform für reproduzierbare Umgebungseinrichtung und GitOps-Workflows; Reduktion von Infrastruktur-Drift-Vorfällen um 80%
• Design von rollenbasiertem Zugriff für die ML-Plattform, Implementierung von Model-Lineage-Tracking und Aufbau von Audit Trails für regulatorische Compliance nach Enterprise-IAM-Best Practices

• Entwicklung und Implementierung eines unternehmensweiten Discovery-Frameworks basierend auf Ulwicks Ergebnisgetriebener Innovation; ermöglichte es 7 Product Ownern, unrealisierten Wert systematisch durch eine gemeinsame Ergebnissprache und eine Opportunity-Scoring-Methodik zu identifizieren und zu quantifizieren
• Umwandlung der Product-Owner-Rolle von reinen Backlog-Verwaltern zu strategischen Experimentierern; Einrichtung eines festen Zeitbudgets für autonome Hypothesentests und Discovery-Aktivitäten
• Neugestaltung der Customer Journey Maps, damit sie bei tatsächlichen Nutzerbedürfnissen (Tool-Auswahlphase) beginnen anstatt am Plattform-Einstiegspunkt; Eliminierung manueller Datenaggregationsarbeiten, die zuvor von Projektteams durchgeführt wurden
• Einführung des OKR-Frameworks in 4 Produktteams; Festlegung vierteljährlicher Objectives mit messbaren Key Results (z. B. 40 % Reduzierung des manuellen Integrationsaufwands, Steigerung der Self-Service-Nutzung)
• Vereinheitlichung von 3 separaten Roadmaps durch teamübergreifendes Abhängigkeits-Mapping und gemeinsame Servicevereinbarungen
• Unterstützung des Enterprise-Sales-Zyklus durch ROI-Modellierung und technische Due-Diligence für Automotive- und Verteidigungskunden

• Zentrale Teile der Infrastruktur-Engine und der Cloud-Integrationen von formae in Go entwickelt und Ressourcenlebenszyklen über Cloud- und Kubernetes-Umgebungen hinweg verwaltet.
• Eine erweiterbare Plugin-Architektur und ein SDK für die Integration von Infrastruktur-Providern und -Ressourcen entwickelt und umgesetzt, einschließlich AWS, Kubernetes und Helm.
• Agentenbasierte Infrastruktur-Workflows entwickelt, die formae über MCP für Tools wie Claude Code, Codex und Cursor zugänglich machen.
• Direkt mit potenziellen Kunden an technischen Evaluierungen, Implementierungsdesigns und Migrationswegen von bestehenden Infrastruktur-Workflows zu formae gearbeitet.
• Die Weiterentwicklung von formae durch die Open-Source-, Multi-Cloud- und Cloud-Plattform-Releases unterstützt, mit Fokus auf zuverlässige Infrastruktur-Orchestrierung und eine gute Entwicklererfahrung.