Amazon Athena Experten in Berlin

• Entwicklung eines unternehmensweiten, auf Fabric basierenden Governance-Frameworks für Datenprodukte, Erstellung von Datenverträgen und KPIs zur Schemavalidierung, um Vollständigkeit, Aktualität und SLA-Standards für Reporting-Datenprodukte sicherzustellen.
• Einführung von Pipeline-Observability durch die Integration von Daten aus der Dagster-Orchestrierung in automatisierte Data-Health-Reports sowie proaktive Validierung von Datenintegrität und Pipeline-Zuverlässigkeit, bevor sich die Reporting-Schichten in der Produktion aktualisieren.
• Etablierung von BI-as-Code und einer durchgängigen Governance mit Git-basierter Versionskontrolle, CI/CD und Alpha→GA-Release-Management, wodurch Lineage, die Erkennung von Schemaänderungen und die Nachverfolgbarkeit von Änderungen in der Produktion verbessert wurden.

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

CRM- und Umsatzplattform zur Verwaltung von Abrechnungs- und Abonnement-Workflows.

• Skalierte die Zahlungsinfrastruktur über Datenprodukte, den Ausbau von Lastschriftzahlungen und die automatisierte Missbrauchsprävention. Dadurch wurden $416K jährliche operative Einsparungen ($8K/Woche) erzielt, indem redundante Gateway-Aufrufe eliminiert wurden.
• Verantwortete Backlog und Sprint-Umsetzung für autonome Pipelines zur Erkennung von Checkout-Missbrauch und entwickelte Echtzeit-Risikoleitplanken sowie Geschwindigkeitsheuristiken, die Card-Testing-Angriffe blockierten.
• Entwickelte User Stories und Datenabgleichsmechanismen für einen Enterprise-Abrechnungsmigrator. Dadurch wurden unterbrechungsfreie Übergänge von Abonnementstatus erreicht und $60K Infrastrukturkosten eingespart.
• Erweiterte die europäischen Lastschriftfunktionen (SEPA), steuerte squadübergreifende API-Abhängigkeiten und automatisierte die Fehlerbehandlung von Webhooks, um Reibungsverluste im Checkout zu vermeiden.

• Architektur der Azure Landing Zone: Entwurf und Implementierung einer Azure Landing Zone mit Hub-and-Spoke-Architektur und Unterstützung mehrerer Regionen. Sie bildet die sichere, skalierbare und hochverfügbare Grundlage für Daten- und ML-Plattformen für autonomes Fahren und Parken.
• Compliance mit Azure Policy: Durchsetzung von Sicherheits- und Compliance-Standards über Azure-Abonnements hinweg mit Azure Policy (Guardrails, deny/audit/deploy-if-not-exists), wobei konstant sehr hohe Sicherheitsbewertungen der Infrastruktur erreicht wurden.
• Infrastructure-as-Code: Automatisierung der Bereitstellung und Konfiguration von Azure-Ressourcen mit Terraform und Bicep; Änderungen werden über geprüfte CI/CD-Pipelines ausgerollt.
• Azure Databricks und Unity Catalog: Umfassende Erfahrung im Betrieb von Azure Databricks mit Unity Catalog für zentrale Data Governance, Zugriffskontrolle, Datenherkunft und Auditing über mehrere Workspaces hinweg.
• Monitoring und Observability: Aufbau und Betrieb von Infrastruktur-Monitoring und Logging mit Azure Monitor, Prometheus, Grafana und Loki, einschließlich Plattformzustand, Alarmierung, Fehleranalyse und Kapazitätsentwicklung.
• Plattform im großen Maßstab: Architektur und Betrieb von Cloud-Daten- und ML-Plattformen zur Verarbeitung und Simulation von Fahrzeugdaten im PB-Bereich; Orchestrierung von auf Argo Workflows basierenden Recompute- und Autolabeling-Services mit einer Skalierung auf mehr als 100k+ gleichzeitig laufende Pods auf AKS.
• Reproduzierbares ML: Aufbau reproduzierbarer Trainingsumgebungen mit Versionierung von Datensätzen und Nachverfolgung der Datenherkunft, wodurch Audits und zuverlässige Experimente ermöglicht werden.
• Operative Exzellenz: Automatisierung der Verwaltung von GitHub-Organisationen und CI/CD-Pipelines zur Verbesserung der Entwicklerproduktivität und Zuverlässigkeit von Deployments; Automatisierung wiederkehrender Betriebsprozesse.
• FinOps: Entwicklung einer transparenten Ressourcen- und Kostenverfolgung für Azure-Umgebungen mit mehreren Projekten.
• Führung: Technische Leitung für Infrastrukturthemen in Zusammenarbeit mit Entwicklungs-, DevOps- und Sicherheitsteams; technischer Interviewer und Mitglied des Recruiting-Gremiums zum Ausbau des Engineering-Teams.

• Führte End-to-End-Produktentdeckungs- und Strategieprojekte für Gründer in der Frühphase (Pre-Seed) durch und definierte Produktvision, OKRs sowie Go-to-Market-Strategien und Roadmaps für ihre Cloud-basierten und KI-gestützten Lösungen.
• Entwickelte skalierbare Produkt-Betriebsmodelle (Agile/Scrum, Backlog-Governance, KPI-Frameworks) im Rahmen der Partnerschaft, um die Vorhersagbarkeit der Lieferung zu verbessern und die Entwicklungszyklen für Features um bis zu 30 % zu verkürzen.
• Erstellte skalierbare Produkt-Roadmaps, die an Finanzierungsmeilensteine angepasst waren, und half Gründern, Produktvision, Produkt<>Markt-Fit und Traktion gegenüber Investoren klar zu kommunizieren.

• Skalierbare REST-APIs für Unternehmenskunden entworfen und bereitgestellt
• Migration von Altsystemen auf moderne, wartbare Systeme geleitet, wodurch sich die Bereitstellungszeit verkürzte und tägliche Deployments möglich wurden
• Junior-Entwickler betreut und bereichsübergreifend zusammengearbeitet, um technische Roadmaps an den Geschäftszielen auszurichten und die Teamgeschwindigkeit um 50% zu steigern.
• Tech-Stack: PHP (Symfony), Golang, PostgreSQL, MySQL, GCP, Terraform, Kubernetes

• Mitwirkung an über 20 erfolgreichen Projekten