Jan Krol-Datenexperte

• Entwicklung und Umsetzung einer standardisierten Big-Data-Architektur für gruppenweite Plattform-Services im Bereich Transport & Logistik auf Azure
• Automatisierung von Lösungen mit Infrastructure as Code (Terraform, Ansible)
• Vorstellung und Abstimmung von Teilprojektarchitekturen auf Azure
• Umsetzung von Echtzeit-Datenstreaming mit Apache Kafka und Monitoring-Lösungen
• Beratung zur Azure-Plattformstrategie und zu Referenzarchitekturen
• Entwicklung von Mechanismen zur proaktiven Behebung von Sicherheitslücken in Azure- und Kubernetes-Clustern
• Konzeption von Container-Orchestrierungsplattformen mit Kubernetes CI/CD
• Erstellung von Benutzer- und Berechtigungskonzepten nach Konzernvorgaben
• Übernahme von Betriebsservices in einem agilen Team

Services: Azure Purview, Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Terraform, GitLab Runner, Azure DevOps

• Begleitung interner E-Commerce-Produktteams bei der Entwicklung, Umsetzung und Wartung von performanten Datenverarbeitungs- und Integrationssystemen
• Migration bestehender Datendienste, Pipelines und Assets auf eine neue ereignisbasierte serverlose Architektur
• Entwicklung und Ausführung von Lambda-Funktionen und PySpark-Jobs
• Entwurf der Architektur und Integration mit Kafka für die Echtzeitverarbeitung und Analyse von Event-Daten
• Umsetzung von PySpark-Transformationen, Filterungen und Aggregationen
• Sicherstellung einer effizienten und zuverlässigen Anbindung an Kafka, Konfiguration von Sicherheitseinstellungen und Integration mit weiteren Komponenten
• Aufbau umfangreicher Test- und Monitoring-Mechanismen
• Bereitstellung eines performanten, skalierbaren Event-Systems für datengetriebene Entscheidungen

Services: AWS Glue, Apache Spark, Data Catalog, S3, Athena, Redshift, Lambda, ECS, Step Functions

• Trieb die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks voran, um die Datenverarbeitung zu vereinfachen und zu verbessern
• Aufbau einer anspruchsvollen Data-Management-Plattform auf Databricks
• Entwarf und implementierte eine effiziente Ingestion-Plattform für den Data Hub
• Leitete die Konzeption und Einführung einer unternehmensweiten Datenstrategie, die auf die Geschäftsziele abgestimmt war
• Entwickelte ein umfassendes Data-Governance-Framework, das Datengenauigkeit, Datenschutz und Compliance sicherstellte
• Übernahm die Bereitstellung und Anpassung der Data-Management-Plattform auf Databricks
• Verbesserte Datenverarbeitung, Analyse und Reporting mit Power BI
• Entwickelte einen robusten Data Hub mit fortschrittlichen Ingestion-Pipelines auf Basis von AWS EventBridge
• Optimierte den Datenfluss von verschiedenen Quellen zu zentralen Speichersystemen (Data Lake House auf Azure)
• Arbeitete mit bereichsübergreifenden Teams zusammen, um die Data-Management-Plattform in die bestehende IT-Infrastruktur zu integrieren
• Führte Schulungen und Workshops durch, um eine datengetriebene Kultur zu fördern und die Datenkompetenz zu stärken

Services: Azure Databricks, Databricks Data Catalog, AWS EventBridge, Kinesis, Event Hub, Structured Streaming, Apache Spark